사진·동영상 콘텐츠의 실시간 입체영상 변환 연구

이준의 ( Jun Eui Lee ),이상원 ( Sang Won Lee ),이원형 ( Won Hyung Lee ) 한국사진학회 2011 AURA Vol.0 No.24

Humans` eye disparity is 65mm or less. The binocular disparity is an important factor of stereoscopic effect. Humans` stereoscopic feeling of an object is being caused by the double structure of eyes & rod(right brain) and nerve cone(left brain) organized by perceptual system. The rod of right brain affects to stare at an object, and the nerve cone of left brain makes possible to see an object in focused sight. In the principle of camera, they are similar with ``out of focus`` and ``pan focus``. The double structure of left & right brain does not works simultaneously, but it works by turns with delaying, by the double structure of brain such as above, humans are able to see the objects in stereoscopic 3D image. This perceptual system of human makes possible to express the image and video contents in stereoscopic by specific video devices, polarizing lens, red & blue glasses. The screen based stereoscopic images need captured images by two same cameras using the device which is called ``Rig``. Except the stereoscopic 3D images such as pre-produced photos or film, video, animation contents are needed to be produced in frame by frame. For instance, to convert film duration of 100 minutes to stereoscopic contents in manual processes, it needs about 100 to 300 of edit crew and budgets. To complement the disadvantages such as these, in this paper, we suggest the method for converting existing 2D image contents to stereoscopic 3D image contents by real-time 2D/3D image conversion algorithm. The stereoscopic 3D image conversion is the method that is create a stereoscopic image from the photos or videos; and does not get the captured video from stereo camera. First, separate the objects and backgrounds from existing original 2D image, set the distancepixel value from the separated sources, then separate the image in left-right; then adjust the external parameter value of internal and external of camera. Then create a stereoscopic image by move the occlusion area and image according to the camera`s location. Suggested method above presents the three-dimensional effects without any limitations of scene changing; and it converts not only videos, but still images also to stereoscopic images in real-time. The real-time stereoscopic conversion algorithm which was organized above has produced based on the hardware which is called ``Physical Board`` to complement the computational complexity from the limitation of the software`s algorithmic processes, and the drop of data processing speed. From the experiment, if we use the suggested method above, we can omplement the stereoscopic 3D image contents by dimensionalize all of existing 2D image contents to 3D, moreover, we can also save budget for creating stereoscopic 3D image contents production.

애니메이션 입체영상에서 거리감 표현을 위한 패럴렉스(Parallax) 간격 산출에 관한 연구

김탁훈,이형기 영상예술학회 2010 영상예술연구 Vol.17 No.-

3D 입체 영상을 집에서도 즐길 수 있는 TV와 모니터 등의 하드웨어들이 시중에 나오고 케이블 채널에서도 3D 입체 콘텐츠 서비스를 하고 있으며 3D 입체 영상으 로 제작된 영화들이 대중적 인기를 끄는 등 3D 입체 영상의 대중화가 가속되고 있 다. 이에 힘입어 많은 3D 입체 콘텐츠들을 제작하려고 하는 업체들이 늘고 있는 추세이다. 3D 입체 영상을 제작하는 데 있어 가장 자연스러운 입체감을 형성하는 것이 매우 중요하다. 본 연구는 3D 입체 영상을 제작하는 여러 방법들 중 2D 영상 을 3D 입체 영상으로 변환하는 과정에서 사람의 눈에 의존하기보다는 정확한 데이 터에 의해 전방 입체와 후방 입체를 표현하는 방법을 제시하고자 실험을 하였다. 인간의 눈과 가장 비슷한 표준렌즈를 사용하고 일정한 양안시차를 두어 촬영한 이 미지들을 애너그리프 방식으로 3D 입체 이미지를 합성하였다. 합성 기준점인 0점 을 중심으로 촬영거리에 따른 전방입체와 후방입체의 패럴렉스 간격을 측정하여 평균 백분율을 산출하였다. 이 실험에서 촬영 거리에 따라 후방 입체의 패럴렉스 간격은 일정하게 비례하고, 전방 입체의 패럴렉스 간격은 일정하게 반비례함을 알 수 있었다. 또한, 패럴렉스 간격 평균 백분율을 적용하여 2D 이미지를 3D 입체 이 미지로 합성한 결과 공간감, 입체감이 제대로 표현되는 것을 알 수 있었다. 그래서 본 연구의 결과를 토대로 3D 입체 변환 소프트웨어 업체들의 지속적인 연구를 통 해 정확하고 다양한 데이터의 확보 및 소프트웨어로의 적용, 더 나아가 많은 애니 메이션 아티스트들과 합성 아티스트들이 좀 더 쉽게 양질의 3D 입체 콘텐츠를 제 작할 수 있기를 기대해본다. Study on Parallax Interval for Perspective Effect in 3D Stereoscopic Animation Kim, Tak-hoon․Lee, Hyung-kee The Graduate School of Advanced ScienceImage, Multimedia & Film, Chung-Ang University At present, there are many devices available in market which support 3D stereoscopic images at home, such as television sets and monitors, and diverse 3D stereoscopic contents offered by cable TV operators, while several movies produced in 3D stereoscopic format have been great box-office successes. Likewise, the popularization of 3D stereoscopic images is accelerating very rapidly. Following such success in market, more and more companies are trying to enter into 3D stereoscopic contents market. One of the most important factors in making 3D stereoscopic images is creating the most naturalistic cubic effect. This study was made to present a method of expressing front and rear objects based on accurate data rather than dependent on human eyes in converting 2D images to 3D stereoscopic image. 2D images taking with a normal lens that reproduces perspective that generally looks natural to a human observer and by using a certain length of binocular disparity were composed with an anaglyph technique into 3D stereoscopic images. And then parallax interval between front and rear objects are measured based on object distance to zero point, the datum point, to calculate average percentage. Test results showed that parallax interval of rear objects is proportional to object distance, while that of front objects inversely proportional to the distance. When the 2D images were converted to 3D stereoscopic images by applying average 232 percentage of parallax interval, the composite images showed appropriate illusion of space and depth effects. It is expected that this study would be a starting point for developers of 3D stereoscopic image conversion software to gather more accurate diverse data and to develop more advanced software, so many animation artists and compositing artists will be able to make better quality 3D stereoscopic contents more easily.

입체영상기술의 활용과 변주를 통한 실험영화미학의 확장 가능성 고찰

최종한 ( Jong Han Choi ) 한양대학교 현대영화연구소 2012 현대영화연구 Vol.8 No.2

The age when artistic imagination for new image contents led to the development of image technology has come to an end. It`s been long since technology hardware has preceded contents supply with rapid development of a stereoscopic technology symbolized as 3D TV and 3D Film. In the age of technological excellence, it is true that many artists are overwhelmed by technology and are losing ground, and due to cost limitation and absence of education, even experimental film makers who should lead the drive to learn and use stereoscopic image techniques, have difficulty in pioneering a stereoscopic image aesthetics suitable for a new tool. Besides, it is noteworthy that a stereoscopic technology, which brought on an enormous change to media environment has become a practical challenge to be reckoned with for experimental film makers. It is clear that in image aesthetic aspect, we should shed new light on S3D technology, having depth, described as what we call Z-axis, distance, and volume added to an existing 2D moving image. This is because flat moving image and movement as multiple layered time were the aesthetic base of major existing experimental films, whereas new stereoscopic visual experience represented as distance and volume is completely different from how it was before. Also, when it talks about aesthetics of stereoscopic technology in an experimental film, an increase of inevitable ghost effect in experimental film, Multiful stereoscopic viewpoint, 360 degree holographic display and the collapse of its outer edge, the expansion of traditional screen idea, and human factor, as to different cognition and perception on stereoscopic image between individuals are indispensable variable. When studying experimental film aesthetics in terms of S3D image technological development, the key element is how the newly added technological foundation will have an impact on creation and appreciation of a modern experimental film. In addition, a study on how an experimental film will be turned and undergo anomie, when it meets the elements of space art represented as depth, distance, and volume, can be preceded for esthetic design of a new S3D stereoscopic image experimental film. This study let the Experimental film makers examine the possibility of aesthetic expansion and S3D stereoscopic image as new avant-garde image resources, considering S3D stereoscopic technology as resources of new image experiment, looking into the possibility of experiment cinematic use and variation through aesthetic keyword related to S3D stereoscopic image, and identifying distinct image aesthetics between the existing 2D and S3D image.

마커 인식을 이용한 싱글카메라 기반의 실시간 3D 입체영상

현혜정(Hye-Jung Hyun),박준형(Jun-Hyoung Park),고일주(Il-Ju Ko) 한국콘텐츠학회 2011 한국콘텐츠학회논문지 Vol.11 No.1

21세기 기술 혁신으로 3D 디스플레이 기술 및 3D 영상 기술은 새로운 트랜드로 주목 받고 있다. 그러나 3D 입체 영상을 직접 제작하기 위해서는 고가의 제작비용과 전문적인 기술이 필요하다. 3D 디스플레이 장치가 일반화 되면서 사용자 고가의 비용 부담 없이 3D 입체 영상을 구현할 필요성이 증대되고 있다. 본 논문은 싱글 카메라를 이용한 마커 인식 기술을 사용하여 3D 입체 영상을 용이하게 구현 할 방법을 제시하였다. 또한 영상의 해상도를 동적으로 조절가능하게 하였다. 본 논문은 3D 입체 영상 구현 분야에 일반 사용자의 적극적인 참여를 유도하여 3D 입체 영상을 이용한 UCC(User Created Contents) 분야의 활성화에 기여할 것이다. However, in order to create a stereoscopic 3D image, independently, it is required to spend expensive manufacturing costs and to have special techniques. As 3D display devices have been generalized, there is an increasing need for implementing a stereoscopic 3D image without a burden of expensive costs. This paper proposes some methods to implement stereoscopic 3D images easily by utilizing a marker tracking technology using a single camera. In addition, the study made it possible for the resolution of an image to be adjustable dynamically. This paper will be committed to the promotion of the field of UCC (User Created Contents) using stereoscopic 3D images by attracting the active participation of general users in the field of the implementation of stereoscopic 3D images.

3차원 입체 콘텐츠 제작을 위한 통합 저작 시스템

윤창옥(Chang Ok Yun),윤태수(Tae Soo Yun),이동훈(Dong Hoon Lee) 한국산업정보학회 2008 한국산업정보학회논문지 Vol.13 No.1

최근 디지털 영상 미디어의 발전으로 인해 3차원 입체 콘텐츠에 대한 관심이 높아지고 있다. 이로 인해 3차원 입체 콘텐츠 생성에 대한 많은 기술들이 연구ㆍ개발되고 있다. 하지만 자연스럽고 몰입감이 높은 3차원 입체 콘텐츠 생성하는데 많은 어려움이 있다. 왜냐하면 2차원 영상에서는 3차원의 기하정보가 존재하지 않아 입체 콘텐츠 생성이 매우 어렵기 때문이다. 그리고 입체 카메라 생성 시 몰입감이 높은 입체 시점을 결정하기 위해 반복적인 저작 과정이 필요하다. 따라서 본 논문에서는 다양한 형태의 영상들을 이용하여 3차원 입체 콘텐츠 제작을 위한 통합형 저작 시스템을 제안한다. 이를 위해 영상 기반 모델링 기법을 활용하여 영상 내에 존재하는 사영 기하 정보를 통해 3차원 모델을 생성한다. 그리고 3차원 입체 카메라 생성 시 몰입감이 높은 입체 영상의 시점을 결정하기 위해 실시간 대화식 입체 영상 미리보기 기능을 제공한다. 이때 입체 모니터와 편광 필터 안경을 통해 직관적으로 고품질의 입체 콘텐츠를 생성한다. Recently, it has shown an increased interest in 3D stereoscopic contents due to the development of the digital image media. Therefore, many techniques in 3D stereoscopic image generation have being researched and developed. However, it is difficult to generate high immersion and natural 3D stereoscopic contents, because the lack of 3D geometric information imposes restrictions in 2D image. In addition, control of the camera interval and rendering of the both eyes must be repetitively accomplished for the stereo effect being high. Therefore, we propose integrated editing system for 3D stereoscopic contents production using a variety of images. Then, we generate 3D model from projective geometric information in single 2D image using image-based modeling method. And we offer real-time interactive 3D stereoscopic preview function for determining high immersion 3D stereo view. And then we generate intuitively 3D stereoscopic contents of high-quality through a stereoscopic LCD monitor and a polarizing filter glasses.

3D 애니메이션을 위한 입체 영상 제작기법에 관한 연구

이문영,정진헌 한국일러스아트학회 2008 조형미디어학 Vol.11 No.4

나날이 발전 하고 있는 입체 영상은 게임, 영화, 가상현실(Virtual Reality)등 다양한 분야에 적용되고 있다. 국내에서도 1990년대 중반부터 일부 기업체, 연구소, 대학 등을 중심으로 입체 영상에 대한 연구가 진행되고 있다. 하지만 기술의 발달에 비해 상업적 목적으로 쓰일 수 있는 콘텐츠 제작은 미미 하다. 본 연구에서 입체 영상 분야 중 입체 3D 애니메이션 콘텐츠의 발전 가능성을 인식하고 입체 영상의 제작원리를 3D 애니메이션 제작에 응용하였다. 그 결과 모든 장면에서 다 정확한 입체적인 장면이 도출되지는 않았다. 이러한 결과는 입체 3D 애니메이션 제작에서 입체적인 장면이 두드러질 수 있는 제작기법이 필요함을 시사한다. 3D 애니메이션을 입체 영상으로 제작할 때 발생되는 문제점을 분석하고 문제해결을 위한 다각적인 접근을 시도해 봄으로써 향후 입체 3D 애니메이션제작의 발전방안을 제시하고자 한다. Daily developing stereoscopic image has been applied to various fields such as game, movie, Virtual Reality, and so on. Also some of domestic companies, laboratories, and universities have studied stereoscopic image since the middle of 1990's. However, there are still not enough contents for the commerce as compared with the development of technology. In this study, the author recognized the possibility of the development of 3D animation contents from among a field of stereoscopic image, and applied the production principle of stereoscopic image to produce 3D animation. According to this, there were always not accurate 3D scenes on every scenes. This result suggests that the producing technique, which makes 3D scene prominent in producing 3D animation, are required. This study is expected to suggest the plan for the development of future 3D animation production by analyzing the problems occurred when making 3D animation with stereoscopic image, and trying many-sided approaches to solve problems.

3차원 내시경술을 위한 양안 입체 영상처리 및 디스플레이 방법

송철규 대한의용생체공학회 1998 의공학회지 Vol.19 No.5

본 논문은 내시경 수술시 입체영상을 제공하여 수술의 편리성과 정확성을 향상시키기 위한 고화질 3차원 내시경 영상의 처리와 디스플레이 방법을 연구하였다. 기존의 3타원 내시경 수술을 위한 디스플레이 방법은 안경 차용의 무게감과 플리커가 심한 전자셔터 방식으로 사용의 불편함이 많았다 된 연구에서는 기존 내시경 영상의 3D 디스플레이 방식인 전자셔터식에 대한 입체 영상의 특징을 분석하고, 이에 대한 문제점을 보완하기 위한 편광방식의 입체 영상처리와 재현 방법에 대하여 연구하였다. 또한 설계한 디스플레이 시스템의 성능 평가를 수행하여 기존 방식인 CRT방식에 의한 영상재현 방법에 비해 화질과 시야각 특성에서 우수함을 확인하였다. This paper represents the design of 3D endoscopic image processing system in order to Improve visualization and enhance the ability of the surgeon to perform delicate endoscopic surgery. The proposed 3D systems have four features of stereo endoscopic image processing The multiplexer give field seauential stereo for recording and for aligning cameras and viewing stereo with 3D monitor. Demultiplexing of the field sequential image which separates out the R and L images for dual TFT-LCD 3D monitor viewed with passive polarized glasses. separable processing of the left and right eye images, and design of TFT-LCD 3D monitor. The viewing angle, zone, and image quality of the Polarization-type Stereoscopic Display (SM500TFT-3D) system which we have developed using 15 Samsung TFT-1.CD with a screen resolution of 1024×768 pixels were measured and compared with those of Electric Shutter-type Stereoscopic Display system. The result of experiments shows that the Polarization-type Stereoscopic Display System using TFT-LCD has a wade viewing angle and zone which Is necessary fort multi-view and it has better image quality and stability of the optical performances than the Electric Shutter-type does.

3D 입체영화의 영상구성에 대한 연구

오은석(O, Eun Seok),두경일(Doo, Kyung Il) 한국디지털디자인협의회 2014 디지털디자인학연구 Vol.14 No.1

현재 별도의 3D 전용 디스플레이가 필요한 입체영상은 영상매체에 대한 접근성이 낮아 한동안 소강상태에 빠질 전망이다. 하지만 3D 입체영상 제작에 있어서 영화분야 특히 블록버스터 급의 영화는 할리우드에서 꾸준히 제작되고 있는 실정이다. 입체영화의 경우 복제가 어려우며, 2D 영화보다 높은 가격에도 관객이 관람을 하는 이점이 있기 때문이다. 앞으로도 3D 입체영화는 계속 제작되어질 예정이고, 3D의 영상구성은 영화를 매체로 하여 발전되어질 것이다. 이에 본 논문은 영화 "반지의 제왕: 반지원정대"와 "호빗: 뜻밖의 여정"의 영상 중 사건이 이루어지는 공간과 이야기구성 등이 비슷한 장면을 비교하여 영상구성의 차이점을 분석하고 이를 통해 "호빗"에 적용된 3D 영상구성 방안을 도출하도록 하였다. 이를 위해 본 연구에서는 먼저 3D 입체영상의 구조를 통해 태생적인 특성을 알아보고, 3D의 영상구성에 있어서 고려되어져야 할 3D 특징과 단점을 토대로 ‘반지의 제왕’과 ‘호빗’을 모순 스테레오윈도우 효과, 숏 지속시간(shot duration), 깊이감과 공간감, 인형극장 효과, 감정표현의 전달로 비교분석하여 3D 입체영화의 영상구성을 제안하고 모색하였다. 2D 영상에 입체영상의 구성을 접목하여 3D에 대한 접근성을 높여가는 과도기적인 시점이지만 3D 입체영상의 특성 및 단점을 고려하여 3D만의 영상구성을 연출하고 영상문법을 제시하고 개발한다면 추후에는 새로운 영상의 탄생을 기대할 수 있을 것이다. Now 3D stereoscopic video is expected to fall into a lull for a while because viewers need a dedicated display to watch 3D video, which accessibility to media is very low. However, 3D films as blockbuster movies have been produced constantly in Hollywood. The duplication of 3D is hard, and it is an advantage that audiences are willing to watch the 3D film even for a higher price than 2D. The 3D film will be produced continuously, so the composition of 3D video need to be developed with the film media. This paper compares similar scenes of "The Lord of the Rings: The Fellowship of the Ring’ and "The Hobbit: An Unexpected Journey" on the composition of the space and story. Also this research analyzes the difference between the image composition. Then it concludes the composition of 3D video applied to "Hobbit". It researches the inherent characteristics from the structure of 3D. This study compares and analyses this two movies with paradoxical stereoscopic window effect, shot duration, depth and space perception, puppet theater effect and emotional transition. If the composition and grammar of 3D video are developed by considering its merit and limit, the new generation of video will be able to come in the future.

3차원 입체영상 공간의 시지각적 특성에 관한 연구

박진희(Park Jinhee) 한국디지털디자인학회 2010 디지털디자인학연구 Vol.10 No.1

우리는 항상 공간 속에 존재한다. 인간은 어떤 순간이든 공간과의 연계에 유기적으로 반응하고 이를 바탕으로 구체적인 공간요소들을 지각하고 재구성하여 공간과의 커뮤니케이션을 형성하게 된다. 입체영상은 시청자들의 생활패턴에 큰 변화를 가져올 것으로 예상된다. 평면이 아닌 입체감을 가지고 인간의 오감을 자극하는 입체영상의 출현은 감각의 확장을 통해 인간의 비주얼 커뮤니케이션을 더욱 강화시킬 것이다. 이러한 입체영상 공간은 3차원의 현실을 2차원의 평면 영상으로 재현하는 과정에서 공간은 다른 성질의 것으로 변환된다. 입체영상에 대한 개발과 투자가 지속적으로 증가함에 따라 입체영상의 관심이 높아지면서 다양한 기초연구가 요구되고 있다. 따라서 3차원의 현실을 재현한 입체영상 공간의 시지각적 특성을 살펴보고자 한다. Our life is completely tied to the space. We always communicate with the space by perceiving and reorganizing the components of the space. The emergence of 3D stereoscopic image is expected to have a great effect on our life. Instead of 2D flat image the 3D stereoscopic image enforces our visual communication capability due to its power of stimulating our sensory organ. The characteristics of 3D stereoscopic image are changed in the course of the conversion of 3D image into 2D image. Therefore it is necessary to investigate the characteristics of the perceived space shown in the 3D stereoscopic image and to identify the characteristics of the 3D cyberspace.

애니메이션 입체영상에서 거리감 표현을 위한 패럴렉스(Parallax) 간격 산출에 관한 연구

김탁훈,이형기 영상예술학회 2010 영상예술연구 Vol.0 No.17

3D 입체 영상을 집에서도 즐길 수 있는 TV와 모니터 등의 하드웨어들이 시중에나오고 케이블 채널에서도 3D 입체 콘텐츠 서비스를 하고 있으며 3D 입체 영상으로 제작된 영화들이 대중적 인기를 끄는 등 3D 입체 영상의 대중화가 가속되고 있다. 이에 힘입어 많은 3D 입체 콘텐츠들을 제작하려고 하는 업체들이 늘고 있는추세이다. 3D 입체 영상을 제작하는 데 있어 가장 자연스러운 입체감을 형성하는것이 매우 중요하다. 본 연구는 3D 입체 영상을 제작하는 여러 방법들 중 2D 영상을 3D 입체 영상으로 변환하는 과정에서 사람의 눈에 의존하기보다는 정확한 데이터에 의해 전방 입체와 후방 입체를 표현하는 방법을 제시하고자 실험을 하였다. 인간의 눈과 가장 비슷한 표준렌즈를 사용하고 일정한 양안시차를 두어 촬영한 이미지들을 애너그리프 방식으로 3D 입체 이미지를 합성하였다. 합성 기준점인 0점을 중심으로 촬영거리에 따른 전방입체와 후방입체의 패럴렉스 간격을 측정하여평균 백분율을 산출하였다. 이 실험에서 촬영 거리에 따라 후방 입체의 패럴렉스간격은 일정하게 비례하고, 전방 입체의 패럴렉스 간격은 일정하게 반비례함을 알수 있었다. 또한, 패럴렉스 간격 평균 백분율을 적용하여 2D 이미지를 3D 입체 이미지로 합성한 결과 공간감, 입체감이 제대로 표현되는 것을 알 수 있었다. 그래서본 연구의 결과를 토대로 3D 입체 변환 소프트웨어 업체들의 지속적인 연구를 통해 정확하고 다양한 데이터의 확보 및 소프트웨어로의 적용, 더 나아가 많은 애니메이션 아티스트들과 합성 아티스트들이 좀 더 쉽게 양질의 3D 입체 콘텐츠를 제작할 수 있기를 기대해본다.