Mixed reality telepresence platform to exchange emotion and sensory information based on MPEG-V standard

국문 초록 (Abstract)

국제표준화 규격인 MPEG-V를 준수하여 원격지 사용자간에 몰입도 있는 텔레프레즌스 경험을 제공하고 일반적인 정보뿐 아니라 감정 표현을 전달하고 공유하는 사용자 경험을 제공하기 위해 혼합 현실 텔레프레즌스 플랫폼의 연구 및 개발이 수행되었다. 구현된 시스템은 원격지 개인장소의 VR HMD를 착용한 사용자에게 원격지 현장의 실감형 생방송 영상을 제공한다. 또한 이전에 수행됐던 연구의 문제점을 보완하고자 원격지 개인장소 사용자의 존재감 향상을 위해 VR HMD 사용자와 비슷한 외형을 가지도록 구현된 3D 아바타를 적용하였으며, 또한 사용자의 감정표현을 위해 감정에 따른 신체 자세를 정의하여 웨어러블 디바이스가 자동으로 자세를 인식하고, 해당하는 감정을 현장에 전송하여 원격지의 사용자들과 감정을 공유하는 새로운 인터페이스를 구현하였다. 제안하는 텔레프레즌스 플랫폼을 원격 스포츠 관람에 적용하여 현장 데모를 통해 피험자들 간에 감정표현 전달을 시연하였으며, 현실 환경과 텔레프레즌스 환경간의 비교실험을 진행했다. 피험자들이 실험 후에 응답한 설문지로부터 수집된 데이터를 몰입도, 존재감, 시스템 만족도 및 상호작용의 네 부분에서 평가하여 제안하는 텔레프레즌스 플랫폼의 효과에 대해 분석하였다.

다국어 초록 (Multilingual Abstract)

In this paper, a mixed reality telepresence platform is proposed. Through the proposed platform, the primary user — a virtual reality (VR) head-mounted display (HMD) user — can share his or her emotional expression with a remotely located user. The implemented system provides a platform to experience an immersive live scene through an HMD (Head-Mounted Display) and sensory information to the primary user at a private place (Remote place). Moreover, as the improvement of previous telepresence research I conducted, a realistic 3D avatar which looks as similar as the VR HMD user, has implemented for enhancing of both personal and social presence. Also, by utilizing pre-defined body postures for expressing user's emotion, the VR HMD user can share one's emotional status to another user through using a pair of wearable devices. Data from twenty subjects were collected through questionnaires after the experiment, and the collected data were evaluated in four parts of immersion, presence, system satisfaction, and interaction.