TV 혼합현실을 위한 RGB segmentation 최적화 및 분산처리 방법 = A method of distribution and RGB matting optimization for TV mixed reality

국문 초록 (Abstract)

모바일 디바이스와 스마트 글래스의 확산/보급으로 다양한 AR/VR/MR(혼합현실) 어플리케이션이 출시 되었으나, 사용자들이 일반적으로 가정에서 많이 사용하는 대형 화면인 TV에서 이용할 수 있는 AR/VR/MR 어플리케이션은 거의 없는 실정이다. TV 디바이스에서 이러한 오버레이(Overlay) 기법을 이용하려면 별도의 카메라나 CPU가 필요한데, 이를 이용하기 위해 사용자들이 별도의 투자를 하기 어렵기 때문이다.
본 논문에서는 이러한 상황을 디바이스의 분산된 영상처리로 극복하여 누구나 쉽게 고차원의 미디어 서비스를 사용하기 위한 방안을 제시하고자 한다. 사용자에게 가장 친숙한 모바일 디바이스와, 디지털 TV신호를 수신하기 위한 셋톱박스를 연동하여 다양한 AR/VR/MR 서비스를 이용할 수 있는 방법을 제안하고 실제 시스템 구현과 실험을 통해 제안된 방법의 품질 및 실시간성 향상을 검증한다.
특히, TV-모바일 연동 환경에서의 MR을 구현하기 위해 모바일에서 촬영한 영상을 실시간으로 사용자와 배경으로 분리하는 segmentation과 그 과정에서 정확히 분리되지 않는 에러 부분의 정확도를 높이기 위한 여러 방법들에 대한 연구를 기술하였으며, 전송 지연을 최소화하기 위해 생성한 알파맵을 WebM등의 알파 채널의 코덱이 없는 legacy 셋톱박스 장비에서 사용할 수 있도록 전송하는 방법에 대해 기술하였다. 그리고 셋톱박스에서 WebGL을 이용하여 오버레이 형태로 AR서비스를 제공하는 방법에 대해 제시하였다.

목차 (Table of Contents)

• 목 차
• 요약 i
• 목차 ii
• 그림 목차 . iv
• 표 목 차 v
• 제 1 장 서론 . 1
• 1.1.연구의 배경 . 1
• 1.2.문제점 정의 및 연구의 목적 2
• 1.3.논문의 구성 2
• 제 2 장 문헌 및 관련 연구 . 4
• 2.1.AR/MR/AV/VR . 4
• 2.2.OpenGL/WebGL 6
• 2.3.미디어 스트리밍 방식 9
• 2.3.1.RTSP (Real Time Streaming Protocol) 10
• 2.3.2.HLS (HTTP Live Streaming) . 11
• 2.4.H.264 11
• 2.5.매팅(Matting) 영상 분리 및 합성 12
• 2.5.1 색상차를 이용한 배경 분리 . 13
• 2.5.2.딥러닝을 이용한 배경 분리 . 13
• 제 3 장 시스템의 구조 및 설계 . 15
• 3.1.전체 서비스 구조 15
• 3.2.모바일에서의 배경 분리 16
• 3.2.1.기준 이미지 생성 16
• 3.2.2.Eigbg을 이용한 배경 분리 . 17
• 3.2.3.duplication based Hole filling 17
• 3.3.알파채널 전송 . 19
• 3.3.1.모바일과 셋톱박스의 페어링 19
• 3.3.2.레거시 시스템에서의 알파채널 전송 . 19
• 3.4.셋톱박스의 TV 애플리케이션(application) 20
• 3.4.1.WebGL을 이용한 Blending 20
• 제 4 장 시스템의 구현 및 검증 . 22
• 4.1.TV기반의 AR/AV 시스템 구현 . 22
• 4.2.TV기반의 AR/AV 시스템 검증 . 22
• 제 5 장 요약 및 결론 24
• 참고문헌 25