모바일 증강현실 물체와 몰입형 상호작용을 위한 비전기반 동작제어

전준철 ( Junchul Chun ) 한국인터넷정보학회 2011 인터넷정보학회논문지 Vol.12 No.3

비전기반 인간컴퓨터 상호작용은 컴퓨터와 인간의 상호소통을 자연스럽게 제공하는 측면에서 과학과 산업분야에서 주목받는 연구 분야이다. 특히 최근 모바일 증강현실의 활용에 대한 수요증대는 증강된 가상 객체와 사용자간의 효과적인 상호작용 기술 개발을 요구하고 있다. 본 논문에서는 안드로이드기반 모바일 플랫폼에서 비 마커기반의 새로운 모바일 증강현실객체생성 및 제어 방법을 제시하였다. 전통적인 마커를 대신하여 비 마커기반 모바일 증강현실 시스템에서는 사용자에게 친숙한 손 인터페이스를 이용하였다. 기존의 데스크 탑 기반의 증강현실에 비하여 제한된 시스템 사양을 이용하는 비 마커기반모바일 증강현실을 구현하기위하여 마커의 역할을 수행할 손의 최적영역을 모바일 장치의 카메라로부터 실시간으로 검출 하여 객체를 증강시키는 방법을 제시하였다. 손의 최적영역의 추출은 YCbCr 스킨컬러 모델을 이용한 손영역 검출과 Rotating Calipers 알고리즘을 적용한 최적 사각형 추출에 의해 구현하였다. 이때 추출된 최적 사각형은 통상적인 마커기반 증강현실에서의 마커역할을 수행할 수 있도록 하였으며, 기존의 손끝추적에 의한 마커 생성 시 발생하는 손의 회전이나 가려짐에 의한 문제를 해결하였다. 실험을 통하여 제안된 방법이 비 마커기반 모바일 객체를 효과적으로 생성 제어할 수 있음을 입증하였다. Vision-based Human computer interaction is an emerging field of science and industry to provide natural way to communicate with human and computer. Especially, recent increasing demands for mobile augmented reality require the development of efficient iinteractive technologies between the augmented virtual object and users. This paper presents a novel approach to construct marker-less mobile augmented reality object and control the object. Replacing a traditional market, the human hand interface is used for marker-less mobile augmented reality system. In order to implement the marker-less mobile augmented system in the limited resources of mobile device compared with the desktop environments, we proposed a method to extract an optimal hand region which plays a role of the marker and augment object in a realtime fashion by using the camera attached on mobile device. The optimal hand region detection can be composed of detecting hand region with YCbCr skin color model and extracting the optimal rectangle region with Rotating Calipers Algorithm. Th e extracted optimal rectangle region takes a role of traditional marker. The proposed method resolved the problem of missing the track of fingertips when the hand is rotated or occluded in the hand marker system. From the experiment, we can prove that the proposed framework can effectively construct and control the augmented virtual object in the mobile environments.

증강 책에서의 마커 기반 상호작용 설계

박종승(Jong-Seung Park) 한국정보기술학회 2009 한국정보기술학회논문지 Vol.7 No.4

This paper proposes an interaction design technique in augmented book applications. An augmented book provides an interface to virtual objects and virtual environments using a real book. In the augmented book a user observes the synthesized 3D environments of book contents and manipulates virtual objects using black and white square markers. Three different types of markers are introduced for the manipulation of virtual objects: page markers, control markers, and reference markers. Each page marker provides a content identifier for a specific page of the book. A control markers and a reference marker enable the user to control a specific virtual object. Our interactive augmented book can be used as an interface for various kinds of 3D contents such as contents of real books or product catalogs. The proposed marker-based interaction technique provides an intuitive and convenient interface for the augmented books.

Research on Storytelling Elements in Augmented Reality Cinema through the Process of Image Abstraction A Case Study of [AR Campus Diary]

김태은 국제문화기술진흥원 2024 International Journal of Advanced Culture Technolo Vol.12 No.1

The "AR Campus Diary" project innovates in the realm of art through integrating augmented reality (AR) with interactive storytelling, fostering personal and interpersonal development through artistic expression. This artistic endeavor metaphorically represents the growth and fruition of individual stories, facilitated by a series of progressive art activities that emphasize continual interaction between self and others. Set against the backdrop of a university campus, the project employs AR markers designed to unfold stories in phases through a dedicated application, allowing participants to experience and influence the narrative uniquely. Diverging from traditional film editing techniques, "AR Diary" offers viewers the autonomy to navigate through story segments of their choosing, marking a departure from conventional cinematic storytelling by leveraging marker-based plot progression. This project not only showcases the fusion of technology and art but also pioneers a participatory form of art education based on engagement and play.

A Study on Marker-based Detection Method of Object Position using Perspective Projection

Minjoo Park,Kyung-Sik Jang 한국정보통신학회 2022 Journal of information and communication convergen Vol.20 No.1

A Study on Marker-based Detection Method of Object Position using Perspective Projection

박민주,장경식 한국정보통신학회 2022 Journal of information and communication convergen Vol.20 No.1

With the mark of the fourth industrial revolution, the smart factory is evolving into a new future manufacturing plant. As a human-machine-interactive tool, augmented reality (AR) helps workers acquire the proficiency needed in smart factories. The valuable data displayed on the AR device must be delivered intuitively to users. Current AR applications used in smart factories lack user movement calibration, and visual fiducial markers for position correction are detected only nearby. This paper demonstrates a marker-based object detection using perspective projection to adjust augmented content while maintaining the user’s original perspective with displacement. A new angle, location, and scaling values for the AR content can be calculated by comparing equivalent marker positions in two images. Two experiments were conducted to verify the implementation of the algorithm and its practicality in the smart factory. The markers were well-detected in both experiments, and the applicability in smart factories was verified by presenting appropriate displacement values for AR contents according to various movements.

3D AR Glasses를 이용한 마커 기반 검출 알고리즘 설계

전태석(Tae-Suk Jeon),장민혁(Min-Hyuk Chang),이칠우(Chil-Wo Lee) 한국정보기술학회 2014 Proceedings of KIIT Conference Vol.2014 No.5

외상으로 인한 심정지는 우리나라에서 발생하는 주요 사망원인 중 하나이다. 심정지 상태에서는 심폐소생술과 같은 응급처치를 시행해야만 사망에 이를 확률이 크게 줄어드나 대부분의 일반인은 이를 숙지하고 있지 못하므로 실제적인 교육 방법이나 효과적인 환경이 요구된다. 본 논문에서 제안하는 방법은 응급상황에서 구급활동을 직접 시뮬레이션 할 수 있는 교육 시스템이다 본 시스템에서는 사용자가 AR Glasses를 이용하여 증강된 영상을 통해 응급 처치 교육을 받으며 사용자는 교육 스토리에 따라 마커를 확인하며 검출된 마커위에 출력된 3D 모델을 통해 효과적으로 현실감 있는 교육을 받을 수 있다 실험 결과에서는 제안된 차원 안경 시스템에 맞는 마커의 최적의 크기를 찾는 알고리즘을 설계하고 실험을 수행하였으며 56㎟의 마커 크기에서 90%의 인식률을 나타내었다. Cardiac arrest caused by trauma is one of the leading causes of death in Korea. It is more likely to reduce the possibility of death inclined by cardiac arrest by running first aid properly but most people is not well acquired with initiating the process of fist aid therefore we need to build more efficient instruction way and environment. This paper represent a realistic and instructive system for augmented reality-based first aid education where users can use AR glasses to see augmented images to effectively learn first aids by following the story-based marker detection. 3D AR through education, emergency activities must be able to anyone in an emergency. Experimental results show that the detection rate is 90% with 56㎟ by our method which is designed to find the marker size especially optimized for 3D AR glasses.

단안카메라 기반 삼차원 입체영상 증강현실

노승민(Seungmin Rho),이진우(Jinwoo Lee),황재인(Jae-In Hwang),김준호(Junho Kim) 한국컴퓨터그래픽스학회 2016 한국컴퓨터그래픽스학회 학술대회 Vol.2016 No.7

본 논문은 모바일 기반 양안식 HMD 기기를 사용하는 마커기반의 증강현실 시나리오에서 단안영상으로부터 삼차원 입체영상을 생성하는 효과적인 기법을 제안한다. 모바일 기기의 단안카메라로는 좌안과 우안에 대해 정확한 양안시차를 제공하는 양안영상을 생성할 수 없기 때문에, 기존의 양안식 증강현실 시스템에서는 좌안과 우안에 동일한 실세계 영상을 제공하여 입체감과몰입감이떨어지는문제점이있다.본논문에서는마커기반의증강현실시나리오에서대부분의사용자들이마커를 주시한다는 가정 하에, 기존 방법에 비해 높은 입체감과 시각적 편안함을 제공하는 단안카메라 기반 3차원 입체영상 생성기법을 제안한다. 마커와 카메라의 3차원 자세정보를 통해 단안영상을 3차원 공간상에 나타내고, 사용자의 좌안과 우안에 해당하는 가상의 두 카메라를 통해 단안영상의 마커영역과 마커 위에 증강될 가상물체에 대해서 시차를 계산한다. 마커 이외의 영역은 블러 효과를 적용하여 선명도를 낮추고 양안식 HMD를 통해 입체 콘텐츠를 감상할 때 발생하는 시각적인 피로를 감소시킨다.본 논문에서 제안하는 방법으로 생성된 3차원 입체영상이 기존방법에 비해 높은 입체감을 제공하는지 여부를 세가지의 사용자 실험을 통해 평가하였다. 실험결과,본 논문에서 제안하는 방법이 기존방법에 비해 높은 입체감을 제공하고 시각적인 피로가 크지 않는다는 것, 사람의 시차와 동일한 스테레오 카메라를 통해 촬영된 영상과 유사한 현실감을 사용자에게 제공한다는 것, 그리고 영상블러를 통해 사용자의 시각적인 피로도가 감소되었다는 사실을 확인하였다. This paper introduces an effective method for generating 3D stereoscopic images that gives immersive 3D experiences to viewers using mobile-based binocular HMDs. Most of previous AR systems with monocular cameras have a common limitation that the same real-world images are provided to the viewer’s eyes without parallax. In this paper, based on the assumption that viewers focus on the marker in the scenario of marker based AR, we recovery the binocular disparity about a camera image and a virtual object using the pose information of the marker. The basic idea is to generate the binocular disparity for real-world images and a virtual object, where the images are placed on the 2D plane in 3D defined by the pose information of the marker. For non-marker areas in the images, we apply blur effects to reduce the visual discomfort by decreasing their sharpness. Our user studies show that the proposed method for 3D stereoscopic image provides high depth feeling to viewers compared to the previous binocular AR systems. The results show that our system provides high depth feelings, high sense of reality, and visual comfort, compared to the previous binocular AR systems.

단안카메라 기반 삼차원 입체영상 증강현실

노승민(Seungmin Rho),이진우(Jinwoo Lee),황재인(Jae-In Hwang),김준호(Junho Kim) 한국컴퓨터그래픽스학회 2016 컴퓨터그래픽스학회논문지 Vol.22 No.3

본 논문은 모바일 기반 양안식 HMD 기기를 사용하는 마커기반의 증강현실시나리오에서 단안영상으로부터 삼차원 입체영상을 생성하는 효과적인 기법을 제안한다. 모바일 기기의 단안카메라로는 좌안과 우안에 대해 정확한 양안시차를 제공하는 양안영상을 생성할 수 없기 때문에, 기존의 양안식 증강현실 시스템에서는 좌안과 우안에 동일한 실세계 영상을 제공하여 입체감과몰입감이떨어지는문제점이있다.본논문에서는마커기반의증강현실시나리오에서대부분의사용자들이마커를 주시한다는 가정 하에, 기존 방법에 비해 높은 입체감과 시각적 편안함을 제공하는 단안카메라 기반 3차원 입체영상 생성기법을 제안한다. 마커와 카메라의 3차원 자세정보를 통해 단안영상을 3차원 공간상에 나타내고, 사용자의 좌안과 우안에 해당하는 가상의 두 카메라를 통해 단안영상의 마커영역과마커 위에 증강될 가상물체에 대해서 시차를 계산한다.마커 이외의 영역은 블러 효과를 적용하여 선명도를 낮추고 양안식 HMD를 통해 입체 콘텐츠를 감상할 때 발생하는 시각적인 피로를 감소시킨다.본논문에서제안하는 방법으로 생성된 3차원 입체영상이 기존 방법에 비해 높은 입체감을 제공하는지 여부를 세가지의 사용자 실험을 통해 평가하였다. 실험결과,본 논문에서 제안하는 방법이 기존방법에 비해 높은 입체감을 제공하고 시각적인 피로가 크지 않는다는 것, 사람의 시차와 동일한 스테레오 카메라를 통해 촬영된 영상과 유사한 현실감을 사용자에게 제공한다는 것, 그리고 영상블러를 통해 사용자의 시각적인 피로도가감소되었다는 사실을 확인하였다. This paper introduces an effective method for generating 3D stereoscopic images that gives immersive 3D experiences to viewers using mobile-based binocular HMDs. Most of previous AR systems with monocular cameras have a common limitation that the same real-world images are provided to the viewer’s eyes without parallax. In this paper, based on the assumption that viewers focus on the marker in the scenario of marker based AR, we recovery the binocular disparity about a camera image and a virtual object using the pose information of the marker. The basic idea is to generate the binocular disparity for real-world images and a virtual object, where the images are placed on the 2D plane in 3D defined by the pose information of the marker. For non-marker areas in the images, we apply blur effects to reduce the visual discomfort by decreasing their sharpness. Our user studies show that the proposed method for 3D stereoscopic image provides high depth feeling to viewers compared to the previous binocular AR systems. The results show that our system provides high depth feelings, high sense of reality, and visual comfort, compared to the previous binocular AR systems.

페이지 마커를 이용한 텍스트 증강

박한훈,류호섭,문광석 에스케이텔레콤 (주) 2014 Telecommunications Review Vol.24 No.1

본 논문에서는 증강현실 기술의 가장 대표적인 응용인 증강현실 책을 구현함에 있어 미리 고안된 마커를 부착하거나 페이지 내의 특징점을 추적하지 않고, 각 페이지를 마커화하는 새로운 형태의 마커 기반 증강현실 방법을 제안한다. 제안하는 방법은 책의 내용(텍스트, 표, 그림 등)에 간단한 영상처리를 적용하여 각 페이지를 이진 마커로 변환하고, 이진 마커의 패턴을 분석하여 각 페이지를 분별한다. 제안하는 방법을 이용함으로써 약 75%의 인식률을 가지고 각 페이지를 분별할 수 있으며, 기존의 방법을 적용하기 힘든 텍스트 위주의 문서 및 서적에도 효과적인 마커 기반 증강현실 구현이 가능함을 확인하였다.

유아 언어 교육을 위한 모바일 증강현실 어플리케이션

강상훈(Sanghoon Kang),신민우(Minwoo Shin),김민지(Minji Kim),박한훈(Hanhoon Park) 한국방송·미디어공학회 2018 방송공학회논문지 Vol.23 No.6