소리 시각화를 응용한 실시간 공연영상 시스템 구현에 관한 연구

국문 초록 (Abstract)

공연예술은 관객의 복합적인 요구와 급속한 첨단 기술의 발전이 반영되어 새로운 결합 양상이 나타났다. 여기에 공연예술이 가지는 시공간 및 연출의 제약을 넘어서기 위해 공연영상이 도입되었고, 공연영상은 기존의 공연예술과는 차별되는 또 다른 예술 장르로 거듭나고 있다.
본 논문은 공연의 구성 요소인 소리를 활용하여 실시간 소리 시각화(Real-time sound visualization)를 실험하고자 한다. 우선 공연영상에 적합한 시스템 환경을 구축하여 무대에서 발생한 소리를 실시간으로 입력받는다. 입력받은 소리를 맥스엠에스피/지터(MaxMSP/Jitter) 환경을 이용하여 음량 및 주파수 데이터를 추출하고 소리에 반응하는 영상을 제작한다. 영상은 도형 형태의 그래픽 영상과 소리에 반응하는 디지털 효과를 중심으로 제작한다. 제작한 영상을 영상 연출자가 공연 현장에서 제어하도록 기기를 응용하여 컨트롤러 시스템을 구축한다. 이 과정에서 독주·합주·디지털악기 연주 등에 의해 생겨난 다양한 소리에 따른 입력 방법도 실험한다. 마지막으로 실시간 소리의 물리적인 속성을 토대로 실시간 공연영상을 구현한다.
본 실험으로써 소리 시각화를 응용한 공연영상 시스템을 개인 및 다수를 고려한 즉흥적인 공연예술에 활용하고자 한다.

다국어 초록 (Multilingual Abstract)

Performing arts is reflected by the audiences complex demands and rapid high technology therefore results in a new fusion phase. Live visual is introduced to leap over the limits of time, space and presentation. It has formed a new genre of art which is distinguished from other performing arts.
This paper intends to experiment leal-time sound visualization using the composition element of performing arts. First, construct a system surrounding suitable for the performance image and then receive real time input of the sound produced from the stage. Abstract sound decibel or frequency data using MaxMSP/Jitter surrounding and produce image that reacts to the sound. Image should be produced focused on figural form of graphic image and digital effect that reacts to sound. In this process, also test the other input methods of various sounds that come from solo instrument, ensemble and digital instrument. Finally, materialize the performance image in real time according to the material characteristics of real time sound.
Through this experiment, we plan to apply live visual system using sound visualization on individual or a number of performing arts.

목차 (Table of Contents)

• 1. 서 론 1
• 1.1 연구 배경 및 목적 1
• 1.2 연구 방법 2
• 1.3 논문의 구성 2
• 2. 공연영상과 소리 시각화에 관한 이해 4
• 2.1 공연영상에 대한 이론적 고찰 4
• 2.1.1 공연영상의 배경 4
• 2.1.2 공연예술에 활용된 영상 7
• 2.2 소리 시각화에 관한 이해 9
• 2.2.1 소리 시각화 개발 배경 9
• 2.2.2 소리와 시각 요소의 관계 13
• 3. 공연영상 관련 연구 15
• 3.1 공연영상과 디지털 기술 15
• 3.1.1 공연영상과 밀접한 디지털 기술의 변천 15
• 3.1.2 공연영상 구현을 위한 소프트웨어 기술 분석 18
• 3.2 소리를 활용한 퍼포먼스 공연에서의 영상 작품 분석 24
• 3.2.1 디퓨즈(D-Fuse), <‘BECK’ World tour> 24
• 3.2.2 김수정, <‘공명’의 Deep Sea> 26
• 3.2.3 김지로, <Getsound party: ZIRO Style> 28
• 3.2.4 이덕, <Miller Fresh M - The east collective> 29
• 4. 소리 시각화를 적용한 공연영상 시스템 32
• 4.1 공연영상 표현의 방법적 고찰 32
• 4.1.1 소리 시각화 적용을 위한 하드웨어 시스템 환경 32
• 4.1.2 소리 시각화 구현을 위한 소프트웨어 시스템 전개 35
• 4.2 소리 시각화가 가능한 영상 시스템 제작 37
• 4.2.1 실시간 소리 기반 제작 프로세스 37
• 4.2.2 소리 신호와 인터랙션이 가능한 영상 시각화 42
• 4.2.3 공연 환경에 적합한 영상 시스템 48
• 4.3 소리 시각화를 응용한 공연영상 구현 52
• 5. 결론 54
• 참고문헌 56
• 국문초록 58
• ABSTRACT 59