Video Frame / Image Interpolation 연구분야중 최신 논문인 RIFE의 demo code를 바탕으로 조사하였습니다. 목차 1. RIFE 모델 다운로드 2. RIFE를 이용한 Video Frame Interpolation 3. RIFE를 이용한 Image Interpolation(일반 이미지) 4. RIFE를 이용한 Image Interpolation(CT 이미지) 1. RIFE 모델 다운로드 Pretrained된 RIFE 모델을 다운로드 합니다. !git clone https://github.com/hzwer/arXiv2020-RIFE !gdown --id 1wsQIhHZ3Eg4_AfCXItFKqqyDMB4NS0Yd !7z e RIFE_trained_model_HDv2.zip 필요..
-CT의 원리 CT(Computed tomography)는 X-ray를 이용하여 몸의 단면을 촬영하고 컴퓨터를 통해 영상화하는 영상진단기법입니다. -Reconstruction(재구성) 재구성하기 위한 대표적인 2가지 방법 1. lterative algorithm 이 방식은 여러 각도에서 더한 값들을 이용해 각각의 intensity를 찾아내는 방식이다. 이 방식은 아주 정확한 값을 도출한다는 장점이 있지만 연산시간이 느리다는 단점이 있습니다. 2. Filtered backprojection algorithm Lterative algorithm의 단점으로 인해 대부분의 CT가 이 방식을 따릅니다. 각도별로 projection해 sinogram을 만들고 filter를 곱해 filtered된 sinogram을 ..
# SSD 주요 구성 요소 1. Multi Scale Feature Layer 2. Anchor Box Sliding window 기법으로 object를 detect하는 방법 중 하나는 이미지의 스케일을 다르게하여 이미지의 스케일이 크면 작은 object , 스케일이 작아지면 큰 object를 detect할 수 있었습니다. 즉, Multi Scale Feature Layer은 다르크기의 Feature Map을 이용한 Object Detection입니다. # Anchor Box의 역할 RPN에서 Positive / Negative Anchor Box를 나누어 학습을 했습니다. 여기서 학습할때 개별 Anchor Box 별로 Detection 하려는 Object유형 softmax값,수정 좌표값정보를 가질 수 ..
# Faster RCNN = RPN + Fast RCNN SS 후 ROI방식에서 딥러닝 네트웍인 RPN # Faster RCNN의 구조 # Region Proposal Network 구현 이슈 > 데이터로 주어질 피처는 pixel값. target은 ground turth bounding box인데 이를 이용해 어떻게 Region Proposal 할수 있나 ? # Anchor Box Object가 있는지 없는지의 후보 Box Anchor Box의 구성 총 9개의 Anchor Box 3개의 서로다른 크기, 3개의 서로다른 비율로 구성 Anchor Box 특징 만약 세로박스가 없다면 사람 detect qnfrk >> 서로다른 크기,비율인 이유 # 이미지와 Feature Map에서 Anchor Box > 실제로..
# RCNN의 발전 # Fast RCNN의 주요 특징 (From SPP Net) 1. SPP Layer를 ROI Pooling Layer로 변경 2. SVM을 Softmax로 변환 3. Multi-task loss 함수로 Classification과 Regression을 함께 최적화 # ROI Pooling - Feture Map 상의 임의의 크기의 Pooling 영역으로 매핑 - 매핑시 일반적으로 Max Pooling 적용 # ROI Pooling을 적용한 Fast RCNN 구조 # Fast RCNN 구조 # Multi-task loss
RCNN의 주요 문제점 보완 -RCNN 개선 방안 2000개의 Region Proposal 이미지를 CNN을 Feature Extraction 하지말고 원본이미지만 Feature Map 생성뒤에 원본이미지의 Selective Search로 추진된 영역의 이미지만 Feature Map으로 매핑하여 별도 추출 개선방안 문제점 > CNN은 서로다른 size의 이미지를 수용하지 않는데 Flatten Fully Connection Input의 크기가 고정되어야 하기 때문 서로다른 크기의 Region Proposal 이미지 개선방안 > 서로다른 사이즈의 Region Proposal 이미지를 SPP Net의 고정된 크기 vector로 변환하여 FC에 1D Flattened된 input 제공 # SPP( Spatial..
Region Proposal방식에 기반한 Object Detection RCNN 모델의 Classification Dense layer로 이해 이미지 크기 동일 Region Proposal수행후 도출된 이미지 하나하나에 CNN 연산 적용 # RCNN의 Training - classification 1. 원본이미지에 selective search 적용 2. ImageNet으로 Feature Extractor pretrain 시킨다. 3. Ground Truth와 SS predicted 된 영역 IOU가 0.5이상인 경우만 해당 클래스로, 나머지는 Background로 fine-tuning 4. Ground Truth로만 학습하되 0.3IOU 이하는 Background로 설정 0.3이상이지만 g.t아닌 경우..
# OpenCV 이미지 로딩 - imread()를 이용한 이미지 로딩 > OpenCV에서 이미지 로딩은 imread('파일명')을 이용 , imread()은 파일을 읽어 넘파이 배열로 변환 (x,y,z)세로,가로,채널 * OpenCV가 이미지를 RGB 형태가 아닌 BRG 형태로 로딩하기 때문에 이미지의 색감이 변한다. - 이미지 로딩시 BGR을 RGB로 변환 > cvtColor (이미지 배열 , cv2.COLOR_BGR2RGB) 이용 - OpenCV 이미지 배열을 파일에 쓰기 > opencv에서 메모리에 있는 이미지 배열을 저장하려면 imwrite('출력파일명',img_array)이용. 이때 imwrite()로 인해 BGR형태인 이미지 배열을 다시 RGB 형태로 변환하여 저장함 . 즉 , imread()..
많은 Detection과 Segmentation 딥러닝 패키지가 아래의 Dataset 기반으로 pretrain 되었습니다. # PASCAL VOC 다양한 분야의 이미지 분류 - Annotation > 이미지의 Detection 정보를 별도의 설명파일로 제공하는것. Object의 bounding box위치나 Object 이름등을 특정 포맷으로 제공한다. PASCAL VOC Dataset 구조 - Annotations : xml포맷 , 한개 파일에 하나의 이미지에대한 정보를 담고 있다. - ImageSet : 어떤 이미지를 train , test , val 에 사용할것인지 매핑 정보 - JPEG Images : Detection과 Segment에 사용할 원본 이미지 - SegmentationClass : S..
먼전 Object Detection의 원리를 알아보기전 비교적 쉬운 Object Localization 과정을 살펴보겠습니다. # Object Localization 과정 즉, 원본 이미지를 VGG/Resnet등으로 pretrain된 Feature Extrator를 이용해 추상화된 형태인 Feature Map을 만든 뒤, Fully Connected layer에 연결해 classification과 regression을 수행한다. # Object Localization 예측 결과 # Objcet Detection - 두개 이상의 Object 검출 >> 이미지를 어느위치에서 Object를 찾아야 하는가 ? (Object가 있을만한 곳) 1. Sliding Window 방식 > Window를 왼쪽 상단에서부터..