영화와 애니메이션의 음향효과 연구

쑤웨이중 동서대학교 일반대학원 2023 국내박사

유성 영화의 초기에는 일반적으로 화면상의 동작에 맞춰 시청자의 체험감을 증대시키기 위해 음향효과가 고안되었다. 마찬가지로, 애니메이션의 발전 초기에의 음향효과도 화면의 플롯에 맞춰 객관 세계의 사운드를 사용하여 시청자의 체험감을 높이는 목적을 달성하였다. 기술과 이론의 발달로 영화와 애니메이션과 같은 두 가지 유형의 영상작품에서 나타나는 음향효과의 기능은 단순히 화면상의 동작에 맞추기 위한 것이 아니라, 많은 훌륭한 제작자들이 끊임없이 진보적으로 시도하며 작품에서 음향효과의 기능과 표현 방법이 더욱 증가하고 있다. 영화와 애니메이션의 음향효과에서 가장 기본적인 제작 이념과 방법에 관한 가장 큰 차이는 '동시 녹음'이다. 애니메이션에는 '동시 녹음'이 없고, 애니메이션의 음향효과는 전적으로 음향효과 디자이너가 자신의 상상과 객관적인 세계에 대한 참고를 통해 제작한다. 애니메이션의 음향효과를 디자인할 때 음향 디자이너는 더 많은 주관적인 창의력을 발휘하여 음향효과를 디자인할 수 있다. 이에 따라서 영화와 애니메이션의 음향효과가 본질적으로 다를 수 있다고 추정하게 되었고, 영화와 애니메이션의 음향효과 기능의 차이에 관한 비교 연구의 필요성을 느끼게 되었다. 기존 이론으로는 영화나 애니메이션 모두 같은 음향효과 기능 이론을 사용해 분석했지만, 영화와 애니메이션은 창작 이념이나 시각 표현에 차이가 있어 청각적 측면에서 동일한 음향효과 기능 이론을 사용해 분석하는 것이 합리적인지 의문을 제기하는 것으로 본 연구를 시작하였다. 기존 음향효과 기능 이론이 영화와 애니메이션에서 나타나는 음향효과를 충분히 분석할 수 있는지 살펴보고, 영화와 애니메이션의 음향효과 기능에 대한 비교 분석을 통해 이 둘 간의 음향효과 표현 방법의 차이를 탐색하는 것이 본 연구의 목적이다. 애니메이션 음향효과 이론의 불완전성 때문에 영화 음향효과 기능에 관한 권위 있는 문헌들을 선행연구의 기준으로 삼았다. 이는 <미디어 음향>, <오디오-비전>, <사운드 디자인>, <Sight, Sound, Motion>, <Understanding Movie> 등과 같은 다섯 학자의 문헌이며 영화계에서 권위를 인정받는 저작들이다. 음향효과의 경우 학자마다 각각의 분류 방법과 이론 체계를 이용해 영화의 음향효과 기능을 분류하고 사례를 이용해 설명한다. 이러한 다섯 명의 학자의 문헌들이 전 세계적으로 다국어 번역본이 등장했으며 많은 문헌이 저서의 이론을 인용하거나 연구 기준으로 삼았다. 본 연구의 사례연구 대상으로는 영화와 애니메이션이 각각 동일한 원작 또는 비슷한 스타일로 되어있는 작품들로 선정하였는데, 영화 "미녀와 야수"와 애니메이션 "미녀와 야수", 그리고 영화 "The Matrix"와 애니메이션 "The Animatrix"이다. 영화 "미녀와 야수"는 1991년 애니메이션 "미녀와 야수"를 리메이크한 것으로, 이러한 두 작품은 내용 면에서 극도의 일치성을 보이고 있다. 영화 "The Matrix"는 개봉 이후 음향효과 부문에서 대거 수상했고, 그와 같은 배경의 애니메이션 "The Animatrix"는 음향효과에서 비슷한 점이 많다. 따라서 이러한 연구 대상의 설정은 영화와 애니메이션에서 나타나는 음향효과의 표현 방법을 비교분석하는데 적절하다고 판단하였다. 본 연구에서는 우선 <미디어 음향>, <오디오-비전>, <사운드 디자인>, <Sight, Sound, Motion>, <Understanding Movie> 등과 같은 문헌을 토대로 하여 영화 음향효과 기능을 재분류하였다. 이는 공간적 기능, 시간적 기능, 캐릭터 표현적 기능, 사건 의미 표현적 기능 등과 같은 네 가지 범주로 고찰한 음향효과 분류 방법으로 도출되었다. 다음으로 영화와 애니메이션과 같은 두 가지 영상 유형의 개념 및 제작의 차이를 서술하고, 영화와 애니메이션에서 음향효과가 이에 관한 디자인과 시청자의 청각적 지각에 어떤 차이가 있는지 고찰하였다. 작품 분석에 있어서 공간적 기능, 시간적 기능, 캐릭터 표현적 기능, 사건 의미 표현적 기능 등 네 가지 기능별로 영화 "미녀와 야수"와 애니메이션 "미녀와 야수", 영화 "The Matrix"와 애니메이션 "The Animatrix" 등에서 나타나는 음향효과를 비교 분석하였다. 이러한 분석 과정을 통하여 나타난 결과는 영화와 애니메이션에서 음향효과 기능의 차이는 공간적 기능 중 위치화와 캐릭터 표현 기능 중 강조와 과장 동작, 캐릭터 정서 표현, 재질 표현 등과 네 가지 기능에 집중되었음을 발견하였다. 연구 대상의 비교 분석 결과에 따라 위치화, 과장된 동작, 캐릭터 감정 표현, 재료 표현 등 네 가지 기능에 대한 상세한 이론적 설명과 사례 검증을 수행하였다. 검증을 통해 연구자가 발견한 영화와 애니메이션에서 음향효과 기능의 차이는 동작을 표현할 때의 표현 방식에 있다. '위치화' 기능은 3D 애니메이션과 영화에서는 차이가 없고 2D 애니메이션에서는 작품의 공간감을 설정하는 역할도 한다는 연구 결과가 나왔다. '재질 표현' 기능은 시각 효과에 따라 다르게 작용한다. 영화에서 비인간형 캐릭터의 정서는 일반적으로 음향효과를 사용하여 표현되지만, 애니메이션에서는 시각적 의인화 때문에 이 방면의 역할이 크지 않다. '과장 동작' 기능에서 영화는 객관적인 세계와 유사도가 크고 리얼리티를 중시하기 때문에 음향효과의 처리가 현실감각에 치우쳐 있고 '과장'도 객관적인 세계의 객관적 법칙에 어긋나지 않는다. 애니메이션 자체가 객관적인 세계와 너무 차이가 나고, 애니메이션의 음향효과 제작이 객관적인 세계에 의존하지 않으며, 음향효과 사용의 종류도 영화보다 더 많기 때문에 '과장' 기능이 논리적으로 애니메이션에 완전히 적용되는 것은 아니다. 객관적 법칙에 어긋나는 음향효과가 동작을 재편집한 것이라고 할 수 있기 때문이다. 연구자는 이에 관하여 시각적 동작을 재구성한 의미에 속하는 새로운 음향효과 기능이라고 생각한다. 미셸 시옹은 디자인된 음향효과와 화면이 'Point of synchronization'을 갖고 있으며 이 음향효과와 화면이 시청자의 감각에서 통일되는 효과를 낸다고 주장했다. 음향효과의 '첨가된 의미' 기능은 애니메이션에서만 볼 수 있는 음향효과 기능으로, 영화에서도 유사한 음향효과 기능이 있지만 영화 동작음은 일반적으로 동작의 강조를 표현하기 위해 설계된다. 영화 속 이러한 동작음들은 시청자들로 하여금 영화에서 동작 이외 생각을 하게 하지 않는다. 영화와 달리 애니메이션의 동작음에는 시청자 이미 알고 있는 음향효과가 많이 포함되어 있으며, 이러한 음향효과와 시각적 동작의 연관성은 운동이라는 공통점에서 시청자가 음향효과의 의미를 시각적 동작에 쉽게 부가할 수 있다. 이 음향효과는 시청자가 객관 세계에서 자주 들을 수 있는 음향효과를 사용하며, 음향효과와 화면 속 동작의 운동방식이 'Point of synchronization'을 갖는 것이 특징이다. 시청자가 애니메이션을 보면서 듣는 음향효과는 영화처럼 단순히 동작의 임팩트를 더하는 것이 아니라 그 음향효과의 의미를 울리게 한다. 이 기능의 두 가지 기본적인 작용은 동작의 특별한 의미를 부가하고 극적 효과를 증가시켜 시청자의 인상을 깊게 하는 것이라고 생각하였고, 이후 이 두 가지 작용을 이론적으로 해석하였다. 본 연구에서는 영화와 애니메이션의 음향효과 기능의 차이를 비교하기 위해 문헌 검색, 사례 분석 등의 방법이 사용되었다. 본 연구의 과정에서 참고문헌을 통해 영화와 애니메이션 음향효과 창작에 대한 이해가 깊어졌다. 논문 작성 과정에서 이론 연구와 사례 분석을 통해 음향효과의 디자인 개념과 기능, 시청자의 영화와 애니메이션에 대한 지각적 차원 차이, 애니메이션 음향효과의 독특성 등 관련 지식을 습득하여 관련 산업에 종사할 수 있는 견고한 이론적 토대를 제공하였다. 본문이 관련 음향효과 기능의 연구 및 제작에 대한 표준을 제공하고 영화와 애니메이션에서 나타나는 음향효과를 제작 및 분석하는 데 도움이 되기를 바라다. In the early days of the development of sound films, the sound effects were generally designed to match the actions on the screen and increase the audience's sense of experience. The same is true for animation. In the early stage of animation development, the sound effects of animation also use the sound of the objective world according to the plot of the animation, so as to achieve the purpose of improving the audience's sense of experience. With the development of technology and theory, the function of sound effects in two types of video works such as film and animation is not only to cater to the movement on the screen, but with the continuous progress of many excellent producers, the sound effects functions are further increased. In the sound effects of film and animation, the biggest difference about the most basic production concepts and production methods is "production record". There is no "production record" in animation. The sound effects of animation are completely determined by sound designers through their own imagination and Made with real-world references. The existing theory is that film and animation use the same sound effect function theory to analyze, but there are differences in creative concept and visual expression between film and animation, so it is necessary to study whether it is reasonable to use the same sound effect function theory. In order to examine the difference between film and animation sound effects, it is necessary to first compare and analyze the sound effects that appear in film and animation, and then find out if there are any unique sound effects in film and animation. Because of the incompleteness of the theory of sound effects of animation, 5 authoritative works on sound effects of films are taken as the standard of the prior research. Five documents, including <Audio in Media>, <Audio-Vision>, <Sound Design>, <Sight, Sound, Motion>, and <Understanding Movie>, are recognized by the film industry. In terms of sound effects, each scholar uses his own classification method and theoretical system to classify the sound effects functions of films and explain them using examples. So far, five books have appeared in multilingual translations worldwide, and many of them cite the theory of the works or serve as a standard for research. For the case studies of this study, the film <Beauty and the Beast>, the animation <Beauty and the Beast>, and the film "The Matrix" and the animation "The Animatrix" were selected. The film <Beauty and the Beast> is a remake of the 1991 animation <Beauty and the Beast> and the two films show extreme consistency in terms of content. The film "The Matrix" has won a number of international awards in the sound category since its release, and the animation "The Animatrix"with such background has many similarities to that in sound effects. Therefore, it is advantageous to use these four works as an analysis object to analyze the method of expressing sound effects in the same plot. First, the film sound effect function was reclassified based on five documents such as <Audio in Media>, <Audio-Vision>, <Sound Design>, <Sight, Sound, Motion>, and <Understanding Movie>. It proposed a sound effect classification method considered in four categories: space function, time function, character expression function and event meaning expression function. This paper describes the difference between the concept and production of the two image types of films and animations, and examines the differences between the design of sound effects and the audience's auditory perception in films and animations. According to the four functions of space function, time function, character performance function and event meaning performance function, the film "Beauty and the Beast" and the animation "Beauty and the Beast", the film "The Matrix" and the animation "The Animatrix" were compared and analyzed. The sound effects appearing in . Through the results of these analysis processes, it is found that the differences in sound effect functions in films and animations are concentrated in four functions: sound localization, exaggeration of actions, character emotional performance, and material performance. After comparative analysis of the research objects, a detailed theoretical description and case verification of the four functions of sound localization, exaggeration of actions, character emotional performance, and material performance are carried out according to the conclusions. ​Through validation, the researchers found that the difference in the function of sound effects in film and animation lies in the way they perform when representing action. The research results show that the "positioning" function has no difference in 3D animations and films, and it also plays a role in setting the sense of space in 2D animations. The "Material Behavior" function varies depending on the visual effect. The emotions of non-human characters in films are generally expressed by sound effects, but in animations, due to the visual imprint, this aspect does not play a big role. In the "exaggerated action" function, the similarity between the film and the objective world is greater, and authenticity is emphasized, so the processing of sound effects is biased towards a sense of reality, and "exaggeration" does not violate the objective laws of the objective world. The gap between animations and the objective world is too large, the production of sound effects in animations does not depend on the objective world, and there are more types of sound effects than films, so the "exaggeration" function is logically not fully applicable to animations. Because the sound effect that violates the objective law can be said to be a re-edited action. The researchers believe that this is a new sound effect function that reconstructs the meaning of visual action. Michel Chion argued that the designed sound and screen have "Point of Synchronization" and that the sound and screen have a unified effect in the viewer's sense. The 'Added Meaning' feature of sound effects is a sound effects feature that can only be seen in animation, and although there are similar sound effects features in films, motion sounds are generally designed to express the impact of motion. These motion sounds in the film do not make the audience think about anything other than the motion in the film. Unlike the film, the motion sound of the animation contains many sounds that the viewer already knows, and the association between the sound effect and the visual motion makes it easy for the viewer to add the meaning of the sound effect to the visual motion in common as exercise. This sound effect uses sounds that viewers can often hear in the objective world, and is characterized by the "Point of synchronization" in the movement method of sound and motion on the screen. The sound that viewers hear while watching an animation does not simply add an impact to the movement like in a film, but resonates the meaning of the sound. The two basic functions of this function were thought to add special meaning to the movement and increase the dramatic effect to deepen the audience's impression, and these two actions were later interpreted theoretically. In this study, the above research work was carried out through literature retrieval, case analysis and other methods to compare the functional differences of sound effects between film and animation. In the course of this research, I have deepened my understanding of the creation of sound effects for film and animation through references. In the process of writing the thesis, through theoretical research and case analysis, I have mastered the design concepts and functions of sound effects, the audience's perception of the differences between film and animation, and the uniqueness of animation sound effects. It provides a solid theoretical foundation for the author to further engage in related industries. It is hoped that this paper will provide a standard for the research and production of related sound effects functions, and help in the production and analysis of sound effects appearing in film and animation.

애니메이션에서 영화음악의 기능 연구 : 애니메이션 <쿵푸 팬더>를 중심으로

쑤웨이중 동서대학교 일반대학원 2019 국내석사

영화 시장의 발전에 따라 영화 속의 사운드도 사람들의 주목을 받기 시작했다. 영화 속의 사운드는 영화음악, 음향 효과, 영화대사로 나뉜다. 예전의 문헌 연구를 통해 알 수 있듯이 이 세 가지 영화 사운드에서 음악의 기능이 특히 중요하다. 본 연구에서 필자는 선행연구를 바탕으로 영화 음악의 개념과 기능을 연구했다. 그 다음으로 선행 연구 성과와 이론적인 논증을 통해 <Kung Fu Panda> 중의 음악 기능을 세 가지로 나누어 연구를 실시했다. '감정 해설자'라는 기능을 연구할 때 필자는 <Kung Fu Panda>에서 세 명의 주인공을 선정하여 세 주인공의 줄거리와 음악을 대상으로 '정서 그림'을 그렸다. '정서 그림'과 '프리드리히 마르푸르크에 의한 분류'를 통해 주인공의 정서 변화와 음악의 관계를 분석하고자 한다. 연구 결과 주인공의 정서가 변화할 때 음악의 특성이 주인공의 정서에 따라 변화하고 관중들로 하여금 자신을 주인공의 캐릭터 정서에 대입시키게 한다. '연속성 유지'라는 기능을 연구할 때 필자가 <Kung Fu Panda>의 줄거리에 따라 전체 영화를 네 개의 '시퀀스 (Sequence)'로 나누었고 모든 '시퀀스'에 '장면 음악 시간라인 지도'을 그렸다. '장면 음악 시간라인 지도' 위에 있는 것은 영화 장면의 전환이고 '장장면 음악 시간라인 지도' 아래에 있는 것은 음악의 전환이다. 장면과 음악의 전환 시간을 비교함으로써 음악이 영화화면 변화에 있어 어떠한 기능('연속성 유지')을 하는지 분석했다. 연구 결과에 따르면 영화 <Kung Fu Panda>에서 영화 음악은 세 가지 방법으로 장면과 화면을 연결시켰다. 1. 음악 한 절로 비슷한 줄거리의 두 개 또는 여러 개 장면을 연결한다. 2. 'J-cut'이나 'L-cut' 두 가지 편집 기법으로 서로 다른 두 개의 장면을 연결한다. 3. 음악 특성의 변화로 서로 다른 시간의 똑같은 장면을 연결한다. 상기한 세 가지 방법으로 화면 전환의 갑작스러움을 약화시켜 관중들로 하여금 영화 줄거리에 주목하게 한다. '서사적인 신호'라는 기능을 연구할 때 필자는 <Kung Fu Panda>의 줄거리 구조에 따라 '정서 구조와 음악 특성 변화 그림'을 그렸고 줄거리 변화할 때 음악 특성의 변화를 분석했다. <Kung Fu Panda>에서 음악의 '서사적인 신호' 기능을 분석한 결과 필자는 <Kung Fu Panda>의 줄거리에 있어 줄거리가 변화할 때 앞부분 줄거리 끝의 음악 특성에 극단적인 변화가 발생할 수 있음을 발견했다. 예를 들어 부드럽고 느린 음악 특성이 갑자기 시끄럽고 빠른 특성으로 바뀌는 것이다. 이런 방식을 통해 관중들에게 일종의 심리적인 암시를 주며 뒤의 줄거리로 전환했을 때 갑작스런 느낌을 주지 않는다. 필자는 음악의 어떤 기능을 사용하든 결국 모두 관중들에게 작용하고 관중들이 영화에 대한 인상을 깊게 한다는 것을 발견하였다. 관중들이 좋아하는 영화가 바로 성공적인 영화이다. 이런 면에서 보면 영화 <Kung Fu Panda>는 큰 성공을 하였고 이 성공은 영화 속 음악 제작과 갈라놓을 수 없다. 본 연구에서 문헌 찾기, 사례 분석 등 방법을 통해 상기 연구 작업을 진행했다. 새로운 각도로 영화 속 영화 음악의 기능을 분석하고자 했다. 본 연구를 진행하면서 애니메이션 창작에 대한 이해가 깊어졌다. 논문을 작성하는 과정에서 영화와 참고 문헌을 통해 영화음악의 기능, 영화음악 영화 속 표현 효과, 영화음악의 기능 등과 관련한 지식을 습득했고, 이런 지식들을 구체적으로 더욱 잘 이해할 수 있는 계기가 되었다. 앞으로 애니메이션 영화의 창작과 편집에 있어서 음악에 추가된 시간과 방식을 표준화시킬 것이다.