RIFE 모델을 이용한 Video Frame / Image Interpolation

Video Frame / Image Interpolation 연구분야중  최신 논문인 RIFE의 demo code를 바탕으로 조사하였습니다.

 

 

목차

1. RIFE 모델 다운로드

2. RIFE를 이용한 Video Frame Interpolation

3. RIFE를 이용한 Image Interpolation(일반 이미지)

4. RIFE를 이용한 Image Interpolation(CT 이미지)

 

 

 

1. RIFE 모델 다운로드

 Pretrained된 RIFE 모델을 다운로드 합니다.

!git clone https://github.com/hzwer/arXiv2020-RIFE

!gdown --id 1wsQIhHZ3Eg4_AfCXItFKqqyDMB4NS0Yd
!7z e RIFE_trained_model_HDv2.zip

 

필요한 디렉토리를 만들고 필요한 모듈을 설치합니다.

!mkdir /content/arXiv2020-RIFE/train_log
!mv *.pkl /content/arXiv2020-RIFE/train_log/
%cd /content/arXiv2020-RIFE/
!gdown --id 1i3xlKb7ax7Y70khcTcuePi6E7crO_dFc
!pip3 install -r requirements.txt

 

2. RIFE를 이용한 Video Frame Interpolation

 > 돌리는 과정에서 다양한 옵션을 줄 수 있는데 대표적으로 exp=1로 지정하면 60fps변환, exp=2로지정하면 약 100fps로 video가 변환됩니다.

!nvidia-smi
!python3 inference_video.py --exp=2 --video=demo.mp4 --skip

 

변환 전/후의 총 Frame과 fps 변화

 > frame 과 fps 모두 증가한 것을 알 수 있고 변환된 영상이 확실이 변환 전 보다 매끄러워짐을 알 수 있었습니다.

 

import cv2

video_input_path = '/content/arXiv2020-RIFE/demo.mp4'
video_output_path = '/content/arXiv2020-RIFE/demo_4X_100fps.mp4'

cap_input = cv2.VideoCapture(video_input_path)
frame_cnt_input = int(cap_input.get(cv2.CAP_PROP_FRAME_COUNT))
fps_input= cap_input.get(cv2.CAP_PROP_FPS)

cap_output = cv2.VideoCapture(video_output_path)
frame_cnt_output = int(cap_output.get(cv2.CAP_PROP_FRAME_COUNT))
fps_output = cap_output.get(cv2.CAP_PROP_FPS)
print('변환 전 총 Frame 갯수:', frame_cnt_input)
print('변환 전 Fps는 ',fps_input)
print('\n============ 변환 ===========\n')
print('변환 후 총 Frame 갯수:', frame_cnt_output)
print('변환 후 Fps는',fps_output)


변환 전 총 Frame 갯수: 1342
변환 전 Fps는  25.0

============ 변환 ===========

변환 후 총 Frame 갯수: 3485
변환 후 Fps는 100.0

 

3. RIFE를 이용한 Image Interpolation(일반 이미지)

 > RIFE는 Video frame interpolation 뿐 아니라 image에도 적용할 수 있습니다. 두 이미지 사이에 새로운 이미지를 생성하여 mp4파일이나 gif 파일로 만들 수 있습니다.

!python3 inference_img.py --img demo/I0_0.png demo/I0_1.png

 

(demo code를 그대로 실행하면 오류가 떠 inference_img.py 코드를 조금 수정 후 돌렸습니다.)

 

Input으로 2장의 이미지입니다.

다음은 새로 생긴 이미지(3장) 입니다. 즉, 입력으로한 두장의 이미지 사이에 3장의 이미지가 추가 된 것을 알 수 있었습니다.(총 5장)

 

4. RIFE를 이용한 Image Interpolation(CT 이미지)

http://www.castlemountain.dk/atlas/index.php?page=mulrecon에서 다운로드 하였습니다.(JPEG파일)

http://castlemountain.dk/mulrecon/abdomenBladderCancerCT.zip : 다운로드 주소

 

입력 이미지로 다음의 이미지를 삽입하였습니다.

출력 결과 위의 두 이미지 사이에 밑의 3이미지가 추가로 생성되었습니다.