영상예술에서 인지 체험과 다감각 공간성 연구 : 디지털 영상 작품 〈ME〉 〈존재〉 〈생명〉 중심으로

이지광 중앙대학교 첨단영상대학원 2025 국내박사

디지털 기술과 뉴미디어 예술이 급격히 발전하는 배경 속에서 디지털 영상 예술은 현대 예술 실천에서 없어서는 안 될 중요한 구성 요소로 자리 잡고 있다. 본 연구는 디지털 영상 예술에서 시공간 배치 전략이 관객의 인지 체험과 정서적 반응에 미치는 영향을 심층적으로 탐구하는 것을 목표로 한다. 이를 위해 시간 철학, 공간 철학, 인지 체험 이론, 감정 디자인 및 플로우(Flow)체험 이론을 포함하는 학제 간 이론적 틀을 구축하였다. 이 이론적 틀을 기반으로, 선행 작품과 본인 창작 작품의 비교 연구를 통해 디지털 영상 예술이 동적 영상, 공간 구성, 음향 디자인, 기호화된 서사 등 다양한 측면에서 이루어낸 혁신적 응용을 심층적으로 분석하였다. 이들 선행 작품이 시공간 배치 전략을 통해 전통적인 시각 예술의 선형적이고 정적인 한계를 어떻게 극복했는지를 체계적으로 분석하였다. 이를 통해 관객이 다감각적 몰입 속에서 자기 존재, 생명 의미, 인간과 기술의 관계, 인간과 자연의 연관성에 대한 철학적 성찰을 체험하도록 유도한 방식을 밝혀내었다. 본인 창작 작품 분석에서는 <ME>, <존재>와 <생명>을 핵심 사례로 삼아, 비선형적 시간 배치, 다층적 공간 배치, 기호화된 서사 전략이 예술과 기술의 접점에서 어떻게 새로운 심미적·인지적 체험을 형성하는지를 탐구하였다. 관객은 유연하고 변동적인 공간 속에서 상호작용하고, 감각적 자극을 수용하며, 추상적 기호를 해석하는 과정을 통해 감각적 차원의 시각·청각적 충격에서 이성적 차원의 철학적 사유와 주체성 재구성에 이르는 과정을 체험하게 된다. 관객은 이러한 몰입형 상호작용과 다층적 해석을 통해 단순한 심미적 만족을 넘어, 인지적·정서적 차원에서 시간, 존재, 운명과 같은 심오한 문제들에 대한 사고의 폭과 깊이를 확장할 수 있음을 확인하였다. 시공간 배치 전략이 비선형적 시간 서사, 이질적 공간 구성, 다층적 기호 체계를 통해 관객의 인지와 정서 체험에 크게 영향을 미치는 것으로 나타났다. 다감각 통합과 체화된 인지 메커니즘의 활용은 관객의 몰입감과 인지 참여도를 높이며, 정보를 수동적으로 수용하는 역할에서 능동적으로 의미를 구축하는 주체로의 전환을 유도한다. 기호의 다의성과 비선형적 서사 구조는 관객에게 더 높은 해석 자유도를 부여하며, 감각적 즐거움의 기반 위에서 자아, 존재, 정체성, 운명과 같은 철학적 차원의 사고를 심화하도록 이끈다. 기억 과정의 연속성은 관객이 전시를 떠난 이후에 작품이 전달하는 정보를 반추하고 내면화하도록 하며, 인지구조와 철학적 사고를 심화한다. 본 연구는 시공간 배치 전략이 디지털 영상 예술에서 관객의 즉각적인 심미적·정서적 반응을 고취하고, 능동적 의미 구축과 철학적 성찰을 촉진함으로써 관객의 심리적·사유적 공간을 확장하는 데 기여함을 시사한다. 연구 결과는 예술가와 기획자가 디지털 영상 작품을 설계할 때 관객의 상호작용과 체험을 최적화할 수 있는 이론적 근거와 실천적 지침을 제공하며, 예술과 인지 과학, 철학 간 교차 연구의 학문적 논의를 풍부하게 한다. Against the backdrop of rapid development of digital technology and new media art, digital image art has become an indispensable and important component of contemporary art practice. This study aims to explore in depth the impact of spatiotemporal layout strategies on the cognitive experience and emotional response of audiences in digital image art. By constructing an interdisciplinary theoretical framework that covers philosophy of time, philosophy of space, cognitive experience theory, as well as emotional design and flow experience theory. Based on this theoretical framework, through comparative research between previous works and my own creative works, this paper deeply analyzes the innovative applications of digital image art in dynamic imaging, spatial construction, sound design, and symbolic narrative. Specifically, the study selected Tony Oursler's "Talking Heads," TeamLab's "Black Waves: Immersive Mass," and Bill Viola's "The Crossing" as case studies to systematically analyze how the spatial and temporal layout strategies in these works break through the linear and static limitations of traditional visual art, enabling audiences to achieve philosophical reflections on their own existence, meaning of life, human technology, and human nature relationships in multi sensory immersion. In the analysis section of my creative works, using "ME", "Existence", and "Life" as core cases, this paper explores how non-linear time structures, multi-level spatial layouts, and symbolic narrative strategies can shape new aesthetic and cognitive experiences at the intersection of art and technology. The audience gradually completes the philosophical contemplation and subjectivity reconstruction from the perceptual level of visual and auditory impact to the rational level by interacting, receiving sensory stimuli, and interpreting abstract symbols in a flexible and varied space. In this immersive interaction and diverse interpretation, the audience not only obtains aesthetic satisfaction, but also expands the breadth and depth of their thinking on profound issues such as time, existence, and fate at the cognitive and emotional levels. The spatiotemporal layout strategy significantly influences the audience's cognitive and emotional experience through nonlinear temporal narrative, heterogeneous spatial construction, and multi-level symbolic systems. The application of multisensory integration and embodied cognitive mechanisms enhances the audience's immersion and cognitive participation, transforming them from passive information reception to active meaning construction subjects. The ambiguity of symbols and the non-linear narrative structure give the audience a higher degree of interpretive freedom, prompting them to engage in philosophical reflections on self, existence, identity, and destiny based on sensory pleasure. In addition, the continuity of the memory process allows the audience to continue reflecting and internalizing the complex information conveyed by the work even after leaving the exhibition, deepening their cognitive structure and philosophical thinking. This study indicates that the spatiotemporal layout strategy not only enhances the audience's immediate aesthetic and emotional response in digital image art, but also expands the audience's mental and intellectual space by promoting active meaning construction and philosophical reflection. The research results provide theoretical basis and practical guidance for artists and curators to optimize audience interaction and experience when designing digital image works, while also enriching academic discussions on the intersection of art, cognitive science, and philosophy.

소리 시각화를 응용한 실시간 공연영상 시스템 구현에 관한 연구

장은선 중앙대학교 첨단영상대학원 2010 국내석사

공연예술은 관객의 복합적인 요구와 급속한 첨단 기술의 발전이 반영되어 새로운 결합 양상이 나타났다. 여기에 공연예술이 가지는 시공간 및 연출의 제약을 넘어서기 위해 공연영상이 도입되었고, 공연영상은 기존의 공연예술과는 차별되는 또 다른 예술 장르로 거듭나고 있다. 본 논문은 공연의 구성 요소인 소리를 활용하여 실시간 소리 시각화(Real-time sound visualization)를 실험하고자 한다. 우선 공연영상에 적합한 시스템 환경을 구축하여 무대에서 발생한 소리를 실시간으로 입력받는다. 입력받은 소리를 맥스엠에스피/지터(MaxMSP/Jitter) 환경을 이용하여 음량 및 주파수 데이터를 추출하고 소리에 반응하는 영상을 제작한다. 영상은 도형 형태의 그래픽 영상과 소리에 반응하는 디지털 효과를 중심으로 제작한다. 제작한 영상을 영상 연출자가 공연 현장에서 제어하도록 기기를 응용하여 컨트롤러 시스템을 구축한다. 이 과정에서 독주·합주·디지털악기 연주 등에 의해 생겨난 다양한 소리에 따른 입력 방법도 실험한다. 마지막으로 실시간 소리의 물리적인 속성을 토대로 실시간 공연영상을 구현한다. 본 실험으로써 소리 시각화를 응용한 공연영상 시스템을 개인 및 다수를 고려한 즉흥적인 공연예술에 활용하고자 한다. Performing arts is reflected by the audiences complex demands and rapid high technology therefore results in a new fusion phase. Live visual is introduced to leap over the limits of time, space and presentation. It has formed a new genre of art which is distinguished from other performing arts. This paper intends to experiment leal-time sound visualization using the composition element of performing arts. First, construct a system surrounding suitable for the performance image and then receive real time input of the sound produced from the stage. Abstract sound decibel or frequency data using MaxMSP/Jitter surrounding and produce image that reacts to the sound. Image should be produced focused on figural form of graphic image and digital effect that reacts to sound. In this process, also test the other input methods of various sounds that come from solo instrument, ensemble and digital instrument. Finally, materialize the performance image in real time according to the material characteristics of real time sound. Through this experiment, we plan to apply live visual system using sound visualization on individual or a number of performing arts.

다중 레벨 잔차 네트워크 기반 위성영상 융합 방법

김민여 중앙대학교 첨단영상대학원 2022 국내석사

본 학위 논문에서는 다중 레벨 구조를 갖는 잔차 네트워크 기반의 위성영상 융합 방법을 제안한다. 제안하는 방법은 분광 특징 추출, 그라디언트 특징 추출, 융합, 재구성 등 4개의 서브네트워크들로 구성된다. 분광 및 그라디언트 특징 추출 네트워크는 각각 MS 영상과 PAN 영상으로부터 다양한 수준의 분광 및 그라디언트 정보를 추출하고, 융합 네트워크로 전달한다. 융합 네트워크는 전달받은 특징 맵들을 종합한 후 주의 모듈을 사용하여 공간 정보를 개선하며, 마지막으로 재구성 네트워크를 이용하여 최종 융합된 HRMS 영상을 생성한다. 이러한 네트워크를 학습하는 과정에서의 공간 정보 손실을 방지하기 위하여 l_1-norm과 S3 손실 함수를 결합한 손실 함수를 활용한다. 실험 결과는 제안하는 방법이 딥러닝 기반의 기존 융합 방법들과 비교하여 분광 정보와 공간 정보를 동시에 보존하는 융합 결과 영상을 제공하며, 특히, 공간 왜곡을 최소화하는 측면에서의 높은 성능을 확인하였다. This thesis presents a pansharpening method based on multilevel residual networks to generate the high-quality HRMS image. The proposed method consists of 4 sub-networks: i) spectral feature extraction, ii) gradient feature extraction, iii) fusion, iv) reconstruction. The spectral and gradient feature extraction networks extract the spectral and gradient information from the MS and PAN images and then inject them into the fusion network. The fusion network integrates the injected feature maps and improves the spatial structure information using the attention module. Finally, the reconstruction network generates a fused HRMS image. To prevent the loss of spatial information, the proposed method combines l_1-norm and S3 loss function. Experimental results demonstrated that the proposed method generates a pansharpening image preserving both spectral and spatial information without undesired artifacts.

다중노출 영상 생성 및 융합 신경망을 이용한 위성영상 대비 개선 방법

최형석 中央大學校 尖端映像大學院 2022 국내석사

본 학위 논문은 다중노출 영상 생성 신경망과 융합 신경망을 이용한 위성영상의 대비 개선 방법을 제안한다. 제안하는 두 개의 신경망을 이용하여 대비 개선 신경망을 구성하였다. 첫 번째는 다중노출 영상을 생성하는 신경망이며 두 번째는 가중치 생성 및 다중노출 영상을 융합하는 신경망이다. 다중노출 영상 신경망은 입력 저대비 영상과 정규화 영상을 이용하여 평균 밝기가 점진적으로 증가하는 다중노출 영상을 생성한다. 가중치 생성 및 융합 신경망은 생성된 다중노출 영상들을 정교하게 합성하기 위한 각 영상에 대한 가중치를 생성하고 융합을 수행한다. 실험 결과에서 제안하는 방법이 기존의 대비 개선 방법들과 비교하여 신호 포화 현상이나 색상 왜곡 없이 강인한 대비 개선 결과 영상을 제공할 수 있음을 보인다. This thesis proposes multi-exposure image generation and fusion networks for low contrast satellite image enhancement. The contrast enhancement network consists of two sub-networks: i) multi-exposure generation network (MEGN) and ii) weight generation and fusion network (WGFN). The MEGN generates a set of multiple images having gradually increasing brightness from a single input low contrast image and its standardized version. The WGFN generates the high-contrast satellite image by blending multi-exposure images using the weight maps. Experiment result demonstrated that the proposed method can achieve significantly improved contrast enhancement performance without saturation and color distortion artifacts.

축구 영상에서 다이나믹 칼만 필터를 활용한 공 추적 및 적응적 압축 기술에 관한 연구

김종윤 중앙대학교 첨단영상대학원 2010 국내석사

본 연구에서 우리는 축구 영상에서 강건한 공 추적 및 ROI 중심의 적응적 압축 기술에 대해 제안하고자 한다. 특히 스포츠 영상 중 우리는 축구 영상을 모바일 기기를 통해 DMB(Digital Multimedia Broadcasting) 등을 시청 시 나타나는 ROI(Region of Interest)의 visual detail 손실 문제를 해결하고자 한다. 이를 위해 먼저 우리는 축구 영상의 ROI 추적을 위해 DKF(Dynamic Kalman Filter) 알고리즘을 제안하였다. 제안하는 DKF 알고리즘은 기존의 TKF(Typical Kalman Filter) 알고리즘과는 달리 영상의 상황에 따라 적응적으로 파라미터 조절함을 통해서 강건한 추적을 수행할 수 있었다. DKF를 통해 추적된 ROI 매크로블록들은 인코더에서 차등적으로 Qp (양자화 스텝 사이즈 )를 할당하여 적응적으로 압축된다. 적응적 영상 압축에서 해결해야하는 한 가지 문제는 비트율 조절 이다. 이를 위해 우리는 ROI, Non-ROI 매크로 블록의 Rate-Quntization 커브 특성을 예측하고 제안하는 비트 율 조절 알고리즘에 따라 비트 율 및 Qp 를 조절하였다. 실험결과 기존의 Uniform 양자화 방식과 유사한 비트 율을 유지하며 ROI에서 향상된 화질을 구현 할 수 있었다. In this paper, we propose robust ball tracking method using Dynamic Kalman Filter (DKF) algorithm and ROI-centered compression technique by adaptive quantization in sports video. Especially, we solved the loss of visual detail in a region of interest (ROI) in the broadcast soccer video when we see the DMB (Digital Multimedia Broadcasting) through mobile device. To do this, we propose DKF algorithm fo ROI tracking in soccer video. Unlike Typical Kalman Filter (TKF), DKF can conduct robust tracking by adjusting parameters adaptively depends on conditions. Encoder allocates Quantization step size (Qp) to ROI macorblocks (MBs) that were chased by DKF and then ROI MBs are compressed adaptively. One problem in adaptive compression is rate-control. To solve this problem, we predict Rate-Quntization curve and control bit-rate by using proposed rate-control algorithm. Experiment results show that proposed method increase visual detail in ROI while maintaining similar bite-rate with uniform quantization method.

컬러공간에서의 DCT Filter-Bank을 이용한 영상검색에 관한 연구

김용호 中央大學校 尖端映像大學院 2010 국내석사

내용기반 영상검색은, 영상 내의 정보인 컬러, 질감, 형태 등을 특징 값으로 추출하여, 검색에 이용한다. 기존의 컬러정보를 이용한 방법들은 공간정보 부재 및 많은 계산 량의 단점을 가지고 있고, DCT특징을 이용하는 방법은, DCT변환을 통하여 DC성분과 AC성분을 이용하는 검색 방법이 많이 제시 되었다. 하지만, DCT특징을 이용하는 검색 방법에는 AC계수에 대해서 Energy값을 구하여 검색하는 방법이 많이 연구 되어 왔지만, 많은 계산 량과 검색성능이 높지 못하였다. 따라서, 본 논문에서는 AC계수를 효율적으로 사용하면서, 검색성능을 높일 수 있는 방법에 대해서 제안한다. 먼저, RGB 컬러공간의 각 채널에서 8x8 DCT변환을 수행하여, 동일 성향을 갖는 DC계수와 AC계수들끼리 묶어서, DCT Filter-Bank을 생성 한다. 생성된 DCT Filter-Bank에서 DC성분과 주요한 AC성분인 AC01, AC10, AC11만을 추출한다. 그리고 각 채널의 DC성분에 대해서는 양자화를 통해서 계산 량을 줄이고, 각각의 채널에 대한 DC성분에 대해서 히스토그램을 통해서 특징 값을 산출 한다. AC성분에 대해서는 Otsu 이진화를 통하여, 대략의 형태정보를 얻고, 이를 가지고, 특징 값을 추출하기 위하여, 수평/수직 방향으로 투영 히스토그램을 이용하여 특징 값을 산출 한다. 이러한 과정을 통하여, feature bin을 구성하여 검색을 수행한다. 실험은, 1000장의 데이터베이스를 이용하여 실험하였고, 실험결과 컬러정보, DCT특징을 이용하는 기존의 방법보다 좋은 성능을 보였다. We present a novel approach for improving retrieval accuracy based on DCT Filter-Bank. First, we perform DCT on a given image, and generate a Filter-Bank using the DCT coefficients for each color channel. In this step, DC and the limited number of AC coefficients are used. Next, a feature vector is obtained from the histogram of the quantized DC coefficients. Then, AC coefficients in the Filter-Bank are separated into three main groups indicating horizontal, vertical, and diagonal edge directions, respectively, according to their spatial-frequency properties. Each directional group creates its histogram after employing Otsu binarization technique. Finally, we project each histogram on the horizontal and vertical axes, and generate a feature vector for each group. The computed DC and AC feature vectors are concatenated, and it is used in the similarity checking procedure. Experimental results show that the proposed algorithm outperforms the other approaches.

디지털 사진영상에서 보간-양자화 기법을 이용한 비트심도의 확장과 콘트라스트 조절 방법의 개선

조두희 중앙대학교 첨단영상대학원 2010 국내박사

본 연구의 목적은 디지털 사진영상의 크기를 조절하는 과정에서 발생하는 소수점 이하 자리의 무의미한 수치를 활용할 수 있는 방법에 대하여 연구하고자 하였다. 이와 같은 연구목적을 위해 설정된 연구문제는 다음과 같다. 1. 디지털 사진영상의 크기조절 과정에서 발생하는 소수점 이하 자리 수치의 유실을 방지하고 재활용할 수 있는가? 2. 커브 적용으로 유실되는 톤의 연속계조를 복원할 수 있는가? 3. 히스토그램 기반 영상개선 기법에서 유실되는 톤의 연속계조를 복원할 수 있는가? 본 연구는 MatLab을 기반으로 프로그램을 만들어 이를 증명하였다. 프로그램은 크기조절, 사용 보간법 선택, 효과 적용 순서로 진행되며, 효과 적용은 크게 비트심도 확장과 콘트라스트 조절로 구분할 수 있다. 비트심도 확장은 9비트, 10비트, 11비트를 선택적으로 적용할 수 있다. 또한 콘트라스트 조절은 커브, 히스토그램 평활화, 히스토그램 매칭 기법을 이용하여 적용할 수 있다. 연구결과를 정리하면 다음과 같다. 첫째, 디지털 사진영상의 크기조절 과정에서 발생하는 소수점 이하 자리 수치는 보간-양자화 과정을 사용하여 유실을 막을 수 있고, 비트심도 확장에 사용할 수 있음을 증명하였다. 또한, 비트심도 확장 범위는 비트심도-분할-조건문의 수를 조절하여 결정할 수 있음을 증명하였다. 비트심도 확장은 보간법의 종류, 입력 사진영상의 크기, 크기조절 비율에 따라 차이가 발생하며, 히스토그램에서 발생하는 현상에 따라 보간-양자화 적용범위가 제한되거나 불완전 보간-양자화가 발생할 수 있다. 보간-양자화 적용범위는 양선형 보간법을 이용할 경우로 한정되며 50%로 축소할 경우 10비트 이상 비트심도 보간-확장할 수 없음을 증명하였다. 또한, 사진영상의 가로·세로 크기가 홀수인 경우 비트심도 확장이 제한되는 문제는 해결될 수 있다는 것을 증명하였다. 불완전 보간-양자화는 스케일링-패턴에 의하여 발생하며, 입력 사진영상의 크기, 크기조절 비율의 조합에 영향을 받는다는 것을 증명하였다. 둘째, 커브 조절에서 발생되는 톤-빠짐 현상은 보간-양자화 단계를 추가함으로 해결할 수 있음을 증명하였다. 셋째, 히스토그램 평활화 기법과 히스토그램 매칭 기법에서 발생하는 톤-빠짐 현상은 보간-양자화 단계를 추가함으로 해결할 수 있음을 증명하였다. 본 연구에서 제시한 방법들은 콘트라스트 조절 시 낮은 비트심도의 사진영상들을 높은 비트심도로 확장함으로써 사진영상의 질을 유지하고자 하는 사용자의 기대를 충족시킬 수 있다는 점에서 그 의의를 찾아볼 수 있다. 하지만 이것은 병행하는 크기조절 과정에 의하여 사진영상 주파수 영역의 나이키스트 범위 이내로 제한된다. 따라서, 사진영상의 주파수에 따라 발생하는 문제를 해결하기 위하여 지속적인 연구가 이루어져야 할 것이다. The aim of the present study is to explore a way to use the discarded fractional data which is created during an adjustment of the size of the digital picture image. The research questions of the present study are as follows. 1. Can the loss of fractional data which occurs during the process of adjusting the size of a digital picture be prevented and reused? 2. Can the parts of the gradation of the tone that are lost due to the application of the curve be reconstructed? 3. Can the parts of the gradation of the tone that are lost be reconstructed using the histogram based image enhancement method? The present study explored the above research questions by using a program which was written utilizing MatLab. The program was executed in the order of size adjustment, selection of Interpolation method and application of effect while the application of effect provides bit depth expansion and contrast adjustment. The expansion of the bit depth was applicable with alternatives of 9bits, 10bits, and 11bits. Furthermore, contrast adjustment was applicable using methods such as curve application, histogram smoothing and histogram matching. The results are described as the following. First, the lost of fractional data created during the adjustment of the digital picture size can be prevented by using the Interpolation -Quantization process and the fractional data can be used in bit depth expansion. Furthermore, the range of the bit depth expansion can be determined by adjusting the Bit depth-Division-Conditional Sentence. The expansion of bit depth varies according to the type of Interpolation, size of input picture image and picture size adjustment ratio and according to the phenomena which occurs on the histogram the application range of Interpolation-Quantization can be limited or an Imperfect Interpolation-Quantization can occur. The application range of Interpolation-Quantization can be applied only when using the Bilinear Interpolation method and it was proven that when minimizing the picture size 50% the Bit Depth Interpolation-Expansion can not exceed 10 bits. Furthermore, it was proven that when the width and height of the picture image was an odd number such limitations on expanding bit depth could be solved. It was proven that a scaling pattern creates the Imperfect Interpolation-Quantization and that the Imperfect Interpolation -Quantization is affected by combination of the size of the input picture image and the ratio of the size adjustment. Second, the Tone-Empty phenomena which occurs when adjusting the curve can be solved by adding a Interpolation-Quantization phase. Third, the Tone-Empty phenomena which occurs by using the histogram smoothing method and histogram matching method can be solved by adding a Interpolation-Quantization phase. The present study is meaningful in the sense that it provides a way to meet the needs of users who increase the low bit depth of picture images to high bit depths when adjusting contrast to maintain the quality of the picture image. However, a drawback of the presented methods in the present study is that due to the size adjustment process such methods are applicable only within the Nyquist range of the picture image frequency. Therefore, continuous research should be done to solve the problems which occur in relation with the frequency of picture images.

다시점 3D 시스템에서 가려짐 영역에 효율적인 메쉬 분리 기반 중간영상 합성에 관한 연구

최병호 中央大學校 尖端映像大學院 2010 국내박사

In this thesis, I proposed mesh clustering algorithm to interpolate occlusion area efficiently, and intermediate view synthesis method using region compensation, mesh design, feature extraction, translation, hole filling, and post processing in triangular three view 3D video system. The characteristic of multi-view 3D video system is that it needs N-times of camera and more amount of data than 2D video system. For this reason, we need to decrease the camera number and increase the compression rate of the data. However, decreasing the number of camera could diminish the volumetric feeling, and increasing the compression rate causes decline of the video quality. Therefore, we can't do high quality 3D video service. To solve these problems, it is necessary to interpolate intermediate view by the similar level to original view which is not received in receiver after reducing the number of cameras in sender. The merit of intermediate view synthesis is that we can save the cost by reducing the number of cameras, decrease the hardware complexity and get the margin of transmission bandwidth. Generally, to interpolate intermediate view, we apply geometric parameter between images using the disparity which is the distance between images. A lot of calculations are needed to get the disparity values, so the block based disparity map and the pixel based disparity map are used, but using the block based disparity map makes the blocking artifact after synthesizing and the pixel based disparity map still needs many calculations. So mesh based disparity map was used in this thesis. To synthesize intermediate view, the distance function between the views by using the disparity map was used. In this process, occlusions and holes occurred. The hole which is likely to be occluded region could be filled with another matching area. The intermediate view synthesis method for getting inter-view in three view triangular 3D camera system was applied by using the relation of cameras(views) and mesh mapping, translation, and projection. Specially, matching distance based on mesh was calculated, and inter-view image relation from compensation of matching distance was searched. Then we used edge detection algorithm for getting mesh which was used for the inspection of matching in area. The feature about border area achieved through the edge detection was extracted. From this feature point, the independent triangular mesh by using the delaunay triangular mesh could be made. Then, the disparity vector and matching point for the target image from the given mesh could be gotten. Using the disparity vector means that we can apply the relation between base image and target image. We have to use the affine transform in order to compensate difference caused from the triangular camera structure. The most important thing of upper processes is the considering for continuous region and discontinuous region of disparity. Especially it means that discontinuous region of disparity is related to the occlusion area where I mainly focused on in this research. For this, I proposed mesh clustering algorithm which dealt with mesh separately by magnitude according to the mesh point. The disparity in the boundary is determined as bigger disparity value which is in foreground area. If we devide the disparity of border area into two different disparity values, then both background and foreground can be distinguished. It means that we can proceed both meshes differently and transform the meshes separately. Then we could get the hole which could be filled from another view because of the different depth. In this way we could deal with the hole effectively. I used post processing to eliminate errors and noises near mesh border. Finally, I used four kinds of test materials to simulate proposed intermediate view synthesis method in rectangular camera system. I changed disparity map for more accurate synthesis, and morphing coefficient s for evaluation of the synthesized views. I got the 3 dB PSNR increasing and good subjective quality in synthesized views by applying the proposed occlusion effective algorithm. 본 논문에서는 사각형 구조의 카메라 시스템에서 세 개의 시점 사이에 있는 중간시점 영상을 합성하기 위해 영상의 가려짐 영역을 효율적으로 보간하기 위한 메쉬 클러스터링 알고리즘을 제안하고 영역 보상, 메쉬 구성, 특징점 추출, 변환, 홀 채움 및 후처리등을 이용하여 중간 영상을 합성하는 방법을 제안하였다. 다시점 3D 비디오 시스템은 기존의 2D 비디오 시스템에 비해서 시점수 N배에 해당하는 만큼의 영상 취득 카메라수와 처리 데이터 양이 증가되는 특징을 가지고 있다. 이를 해결하기 위해서는 카메라수를 줄이거나 압축률을 증대시켜야 한다. 하지만 시점수의 감소는 입체감의 감소를 가져오고 또한 압축을 너무 많이 하게 되면 원영상의 손실로 인해 고화질의 3D영상을 서비스할 수 없는 문제점을 가지게 된다. 이러한 문제를 해결하기 위해서는 카메라 수를 줄여서 신호를 전송하고 수신단에서 줄인 카메라에 해당하는 영상을 원 영상과 비슷한 수준으로 복원할 수 있는 중간영상 합성 기술이 필수적이다. 중간영상 합성 기술을 적용하게 되면 카메라수의 감소를 통해 비용 절감 및 하드웨어 복잡도를 줄일 수 있으며 전송대역에서 또한 여유를 가질 수 있게 된다. 중간시점의 영상을 합성하는 방법은 시점간의 영상의 차이를 이용하여 영상간의 기하학적 파라미터를 적용한 방법을 이용한다. 이때 시차의 계산은 많은 연산을 필요로 하므로 값을 효율적으로 계산하기 위해 블록기반의 시차맵을 이용하는 방법과 픽셀 기반의 시차맵을 이용하는 방법이 있다. 하지만 블록기반의 매칭 방법은 합성에 적용할 경우 블록킹 현상이 발생하기 쉬우며 픽셀 기반의 경우 연산량이 증가되는 단점이 있어 메쉬 기반의 영상 합성 방법을 사용하였다. 중간시점의 합성은 시차맵을 이용하여 공간상의 시점간의 거리 함수를 이용하여 수행되었다. 이 경우 보통 겹쳐짐과 홀이 발생하며 가려짐 영역에 해당하는 홀 부분은 다른 시점의 데이터를 이용하여 시점간의 가려짐 영역을 보간하였다. 본 논문에서는 사각형 구조의 카메라 시스템에서 세 개의 시점 사이에 있는 중간시점 영상을 합성하는 알고리즘을 제안하였다. 이 경우 각 카메라(시점)간의 관계를 활용하여 중간영상을 합성하였으며 메쉬 매핑, 변환, 프로젝션 기법 등을 이용하여 합성하였다. 특히 메쉬를 기반으로 매칭 거리를 계산하고 매칭 거리만큼의 보정을 통해 시점간 영상관계를 계산하였다. 영상 내에서 영역별 매칭을 분석하기 위한 메쉬 단위를 구하기 위해서 엣지 검출기법을 이용하였다. 엣지 검출을 통해 취득된 경계 부분에 대해서 특징점을 획득하고, 이렇게 추출된 특징점으로부터 하나의 독립된 삼각망 구성을 위해 델로니 삼각망을 구하여 적합한 메쉬를 구하였다. 구해진 메쉬를 기반으로 합성하고자 하는 타겟 영상을 구하기 위한 시차 벡터를 구하고 대응점을 추출하였다. 시차 벡터를 이용하게 되면 각 메쉬별로 타겟 영상과 베이스 영상간의 관계를 적용할 수 있다. 하지만 시차 벡터를 활용할 때 시점간의 삼각형 구조로 인해 발생되는 영상의 매핑을 위해서는 어파인 변환과 같은 대응영상 변형과정을 거쳐야 한다. 이와 같은 과정에서 가장 중요한 부분은 시차의 연속 부분과 불연속 부분에 대한 처리이다. 특히 시차의 불연속적인 성분은 보간에서 핵심적인 가려짐 영역의 처리에 대한 부분으로 본 논문에서는 이 부분을 정확히 하기 위하여 메쉬 클러스터링 기법을 제안하였다. 메쉬 클러스터링 기법은 영상을 구성하는 메쉬를 시차의 크기별로 분류하여 별도로 처리하는 방법이다. 이 경우 시차값은 시차의 경계부근에서 시차가 큰 부분, 즉 보다 앞에 나와 있는 물체에 따른다는 성질을 이용하는 방법이다. 이처럼 경계 부분의 시차값을 두 개로 분리하여 낮은 시차와 높은 시차로 분리하여 처리하게 되면 영상 변형을 통해 각 메쉬에 대한 정확한 영상을 합성할 수가 있게 된다. 이렇게 메쉬별 합성을 하게 되면 시차의 경계 부분에서는 홀이 발생하게 되며 이 홀 부분의 가려짐 영역은 주변시점의 영상으로부터 채워 넣을 수 있게 되어 합성시 문제가 되는 가려짐 영역을 효과적으로 합성할 수 있게 된다. 이후 합성된 영상의 홀 경계 부분의 에러와 메쉬 경계 부분의 노이즈들을 영상 후처리 기법들을 적용하여 화질을 개선하였다. 본 논문에서 제안한 중간영상 생성 방법을 시험하기 위해 정방형 카메라 구조에서 취득된 네 가지의 시험영상을 사용하였다. 각각의 영상에 대한 시차맵을 변화시키면서 중간시점 영상을 보간하였고, 몰핑 계수 s를 변화시키면서 중간시점의 영상을 평가하였다. 각 영상에 대해 기존 알고리즘에 비해 PSNR이 최대 3 dB 정도의 좋은 화질을 얻을 수 있었으며 가려짐 영역에 강인한 알고리즘을 제안함으로서 주관적 화질 또한 우수한 결과를 얻을 수 있었다.

피지컬 시어터를 위한 인터랙티브 모션그래픽 : 사례연구 : 맥베스 연극 중심으로

최석영 중앙대학교 첨단영상대학원 2010 국내석사

연극이나 뮤지컬과 같은 공연예술에서 영상은 구성요소로 활용되어 왔다. 영상의 한 장르인 모션그래픽이 활용된 것은 최근의 경향이다. 모션그래픽은 영상과 디자인이 결합된 형태로 기존의 그래픽적 요소가 움직임이라는 디자인적인 구성으로 만들어진 영상이다. 아바타 이후에 영상 혁명의 결과로 3D 입체영상과 홀로그램의 표현이 적용되어 시각적으로 발전된 이미지를 보여 줄 수 있게 되었다. 이런 영상기술의 발전으로 관객은 연극에 더욱 몰입할 수 있고 연극자체가 환상적인 공연으로 표현된다. 하지만 이에 대한 자료나 표현방식에 대한 연구는 매우 부족한 실정이다. 서로 다른 장르인 연극과 모션그래픽의 관계를 연구하고 구성요소들의 역할과 특징을 분석하여 연극에 모션그래픽이 어떻게 작용하며 어떤 효과를 주는지 연구한다. 더욱 세분화된 접근을 위해 연극의 장르 중 피지컬 시어터를 중심으로 연구가 진행된다. 신체극인 피지컬 시어터는 배우의 역동적인 움직임이 중요시되는 연극 장르이다. 그런 역동적 움직임을 집중시키기 위해 무대 미술은 단순화되고 컨셉화 된다. 배우의 움직임을 더욱 극대화 해 주는 구성요소로써 영상을 활용한다. 공연에 사용된 영상은 여러 장르로 나눌 수 있으며 그 중에서 모션그래픽 장르는 상징적이며, 정보전달과 시각적 효과를 극대화 할 수 있는 역할로 많이 쓰이게 된다. 본 논문은 피지컬 시어터에 공연영상으로 모션그래픽을 적용한 연구로써 2009년 공연한 피지컬 시어터 <맥베스>를 연구한다. 이 연극의 사례연구를 통해 모션그래픽이 피지컬 시어터에 효과적으로 활용될 수 있는 요소를 연구하며, 새로운 융합공연에 구성요소의 역할을 제시한다. Image has been using as an element on the stage in performing arts such as theatre and musical. It is a recent trend to use motion graphics which is a genre of the image. The motion graphic is a form combined with the image and design, and it is the image made by the motion of graphic elements and the design. Since avatar, as a result of the evolution of the image it could be able visually to show more developed image as the expression of 3-D stereoscopic image and the hologram is adapted on them. By the development of imaging technology, audience can focus on the theatre, and the show can create a fantastic atmosphere itself. However, it is rarely to study upon the way of expression and information about that. This is a study of how/what motion graphics can be affected to a show with analyzing the characteristics and function of elements and researching the relationship between theatre and motion graphics which are totally different from each other. In order to approach the study more in detail, this focuses on the physical theatre, one of theatre genres. Physical theatre is a kind of theatre genres emphasizing actor’s active movement. To concentrate on the active movement, it could be more simple and conceptualized in the stage design. The image is used as the element in which to emphasize the actor’s movement. The image used in the show can be divided into various genres. Among them, especially motion graphics acts as symbolically conveying information and emphasizing visual effects. This studies physical theatre Macbeth performed in 2009 as the study of how the motion graphics can be used into the physical theatre as images for performances. Through the case study, this studies how motion graphics can be use effectively in the physical theatre and suggests the role of constituent elements for a new convergence performance.

Adaptive region-based image registration techniques for computational imaging systems

이진희 中央大學校 尖端映像大學院 2010 국내석사

본 논문에서는 계산 영상 시스템을 위한 영역 기반 영상 정합 방법과 프레임 워크를 제시한다. 영상을 통계적 특성이 같은 영역으로 구분 함으로써, 배경과 전경의 분할 문제를 픽셀 기반 방식이 아닌 영역 기반 방식으로 처리 할 수 있다. 제안하는 프레임워크는 다음과 같은 방법으로 구성된다; (i) 단일 센서 기반의 카메라 입력 모델, (ii) 매끄러움과 디블러링을 통한 영상 개선, (iii) 이진화와 레이블링 방법을 통한 영상 분할, (iv) 영상 특성 기반 히스토그램을 이용한 통계적 영역 선택 방법, 그리고 (v) 에지 방향성 기반 영상 재구성. 실험에서는 제안하는 영역 기반 영상 정합 프레임워크를 멀티 칼라 필터 카메라, 디지털 영상 안정화, 초해상도 영상 복원과 같은 계산 영상 시스템에 적용할 수 있음을 보여준다. 그러므로, 제안한 알고리듬은 고해상도 영상을 요구하는 비디오 캠코더, 영상 감시 시스템, 고성능 디지털 카메라와 같은 장치에 응용될 수 있다. This thesis presents a region-based image registration method and its framework for computational imaging systems. By partitioning the image into a series of homogeneous regions and gathering the statistics, the problem of background and foreground extraction changes pixel-based to region-based analysis. The proposed framework consists of methods for (i) input image of single sensor camera model, (ii) image enhancement using smoothing and deblurring operations, (iii) binarization and segmentation by connected component labeling, (vi) statistical region selection using feature-based histogram, and (v) edge orientation-based resampling. Experimental results show that the proposed algorithm is possible to enable the region-based registration framework for extended application areas of computational imaging systems, such as multiple color-filtered aperture (MCA) camera, digital image stabilization (DIS), and super-resolution (SR). Therefore, the proposed algorithm is suitable for imaging devices to take advantage of high definition image such as video camcorders, surveillance systems, and high-end digital cameras.