음악 이론으로서의 소리 합성 개론

김진호(Jinho Kim) 낭만음악사 2007 낭만음악 Vol.19 No.4

소리 합성의 연구 영역은 음악과 공학 및 과학이 서로 만나는 지점이기도 하지만 예술적인 서양 음악의 역사를 특별한 방식으로 재구성하는 것을 허락하는 한 관점을 제공해줄 수 있는 분야이기도 하다. 그러니까 소리 합성의 제 기법들 덕분에 지적이며 예술적인 음악의 재료의 영역은 서양 음악사의 과정을 통해 보다 넓어졌으며 그 재료들을 조직화하는 방법론으로서의 작곡 기법 역시 보다 풍요로워졌고 앞으로도 또 그러할 것이다. 이 논문은 음악 이론 및 정보적 음악학의 연구대상으로서의 소리 합성의 기본 개념과 그 역사, 쟁점, 제 기법들 및 소리 합성을 이용하여 만들어진 음악적 작품들의 소개를 다루고 있다. The domain of sound synthesis constitutes not only a field where music and science converge but also a viewpoint by which we can reconstruct western artistic music history in a particular way. With the aid of the synthesis techniques the domain of intellectual and artistic music material was enlarged through the western music history, and the compositional techniques as the methodology to organize the musical materials were more enriched. This article surveys the concepts, constituent elements, the pre-history and the history, the points at issue, the models, the profits of the study on sound synthesis, the techniques of sound synthesis, and the digital synthesis-realized musical pieces. As the techniques, this article surveys synthesis by sample, the French Concrete Music and sound treatment, synthesis by wave table, synthesis by vector, granular synthesis and stochastic synthesis of Xenakis, additive synthesis, the spectrum models, subtractive synthesis, the model of sound source-filter, and physical model.

음향 양자 이론의 사운드 디자인적 응용

구자환(Jahwan Koo) 한국산학기술학회 2018 한국산학기술학회논문지 Vol.19 No.9

데니스 게이버(Dennis Gabor)의 음향 양자(Acoustic Quanta) 이론은 음향 합성법의 하나인 그래뉼러 합성법(Granular Synthesis)의 이론적 토대가 되어 많은 컴퓨터 음악 작곡가들과 사운드 디자이너들에게 영감을 주었다. 음향 양자는 1에서 100 ㎳의 지속시간을 가진, 시간적으로 더 이상 짧게 분해될 수 없는 소리를 뜻한다. 그래뉼러 합성법은 원음을 매우 짧은 시간 간격으로 분할하여 소리 입자들(Sound Grain)로 만든 다음, 이 소리 입자들을 조합하여 새로운 음악 또는 음색을 구현하는 방법이다. 음향 양자 개념은 그래뉼러 합성법의 소재가 되는 소리 입자의 이론적 근거가 되었다. 기존 음향 합성법과는 전혀 다른 음색의 사운드를 만들어 낼 수 있는 그래뉼러 합성법은 사운드 디자인 분야에서 다양한 용도로 사용 가능하다. 본 논문에서는 게이버의 음향 양자 개념을 소개하고 이를 그래뉼러 합성법에 적용하여 활용 가능한 사운드 디자인 방법, 특히 동기식(Synchronous) 그래뉼러 방식에 의한 신디사이저(Synthesizer) 제작 가능성과 그 응용에 대하여 논하였다. 연구 결과 가청주파수를 감안한 음향 양자의 지속시간은 0.239에서 33.367 ms사이가 되어야하기 때문에 음향 양자의 본래 개념과는 차이가 있었다. Acoustic Quanta, which British Physicist Dennis Gabor created, is the theoretical background for granular synthesis and has influenced many computer music artists and sound designers. Acoustic Quanta is a very short sound burst, lasting only 1 to 100 ms. Granular synthesis is a sound synthesis technique which slices original sound into sound grains and re-combines them into a new acoustic event. Concept of sound grain is borrowed from the acoustic quanta. Granular Synthesis can make very unique sound, so that it can be useful in many ways, especially in sound design. This paper presents concept of acoustic quanta and granular synthesis. It then discusses making a synthesizer as an implementation of synchronous granular synthesis and its applications on sound design. As a result, the duration of acoustic quanta should range between 0.239 and 33.367 ms, in consideration of audible frequencies, which is different from the original concept of the acoustic quanta.

가산 합성에 의한 징의 소리 합성

조원주 ( Won Ju Cho ),김준 ( Jun Kim ) 한국음악학회 2011 한국음악학회논문집 음악연구 Vol.47 No.-

이 논문은 한국의 전통 타악기인 징의 소리 합성에 대한 연구이며, 두 단계로 이루어진다. 첫째는 음색 분석으로 징은 자연 배음으로 구성되며, 두 개의 배음렬을 갖는다. 두 배음렬은 기본 음고를 기음으로 하는 배음렬(배음렬i)과 기본 음고보다 낮은 음을 기음으로 하는 배음렬(배음렬ii)로 이루어진다. 징 고유의 특징인 맥놀이 현상은 각 배음들의 실시간 변화에 의해 만들어지며, 배음렬ii에서 발생하였다. 두 번째 단계는 소리 합성으로 분석된 데이터를 기반으로 가산 합성 방법에 의한 소리 합성을 시도하였다. 기본이 되는 두 개의 배음렬과 맥놀이 현상을 발생시키는 부분음을 합하여 징의 음색을 시뮬레이션 하였다. The following study presents how additive synthesis can be used to simulate the sound of Jing, the traditional Korean Cymbal. The process is divided into mainly two steps. The First Step is sound analysis. The sound of Jing is composed of natural harmony and two harmonic series. One is harmonic series making basic pitch(heard pitch) and the other is harmonic series which is lower than basic pitch. Beating phenomenon, the unique characteristic of Jing, is made by real time changing of each partial and especially happens in second harmonic series. Actual process of creating the sound is sound synthesis. This is based on analysing data of Jing. We have applied additive synthesis for simulating the sound of Jing. Additive synthesis is the original spectrum modelling technique. In order to create beating phenomenon, we add to similar partial into harmonics. As a consequence, we are able to synthesize the sound of Jing successfully.

디지털 피리 구현을 위한 개선된 스펙트럼 모델링 합성 알고리듬

강명수,홍연우,조상진,정의필 한국공학안전보건예술학회 2009 한국공학예술학회 논문지 Vol.1 No.-

본 논문은 디지털 피리 구현을 위한 효과적인 스펙트럼 모델링인 개선된 스펙트럼 모델링 합성 방법(modified spectral modeling method)을 제안한다. 일반적으로 스펙트럼 모델링 합성은 사운드를 정현파 성분과 노이즈 성분의 합으로 표현하는데 사운드를 분석하고 합성하는데 있어 많은 시간과 합성 파라미터가 필요하다. 이와 같은 문제점을 해결하기 위해서는 기존의 스펙트럼 모델링 방법에 대한 수정이 요구되는데 본 논문에서는 사운드의 분석(analysis)과 변형(transformation) 그리고 합성(synthesis)에 대한 새로운 접근 방법을 제안하고, 또한 합성 사운드의 길이를 유동적으로 조절할 수 있도록 개선하였다. 한국의 전통 관악기인 피리를 대상으로 하여 변형된 스펙트럼 모델링 합성 방법을 시뮬레이션 하였다. 제안한 방법을 이용하여 사운드를 합성하기 위해서는 먼저, 피리의 원음으로부터 일부 사운드를 획득하고, 이 사운드를 분석하여 피리의 정현파 성분을 합성하기 위한 파라미터와 노이즈 성분을 합성하기 위한 파라미터를 추출한다. 다음으로, 프레임 재배치와 보간법을 바탕으로 한 사운드 길이 조절 알고리듬을 적용하면 사운드의 길이가 실수 배 만큼 늘어난 피리 사운드를 합성할 수 있다. 제안한 방법을 이용하여 합성한 사운드는 원음과 스펙트럼으로 비교해 보았을 때 원음과 매우 유사하였으며 또한, 한국의 대표적인 전통 관악기인 태평소 사운드 합성에 제안한 알고리듬을 적용한 결과 태평소 사운드 역시 원음과 매우 유사한 결과를 보였다. This paper describes a modified spectral modeling synthesis algorithm for digital Piri, which is a Korean woodwind instrument. The standard spectral modeling synthesis (SMS) considers the sound as a combination of deterministic and stochastic components and it usually takes long time to synthesize sounds and needs numerous parameters. In order to improve this drawback, it is necessary to modify the SMS. Thus, a novel approach for analysis, transformation and synthesis of the sound has been proposed. Moreover, it is possible to generate various sound duration flexibly using this modified SMS. Piri was a target to simulate the modified SMS. To synthesize sounds with the proposed method, it is firstly necessary to obtain a trimmed sound in the sustain region from the original Piri sound. Then, two parameter sets are required: a parameter set describing the characteristic of the Piri, such as deterministic frequencies, magnitudes and stochastic, and a parameter set including the window size, hop size and number of peaks. Finally, a flexible time scaling algorithm based on frame reallocation and interpolation technique is applied. Namely, the extracted parameters in the sustain region can be reallocated and interpolated to change the length of the synthesized sound with a real stretching factor. When synthesized sounds are compared with original sounds through their waveforms and spectra, the proposed method well synthesizes sounds which are similar to originals. The method is also applied successfully for other Korean instruments, Taepyeongso.

Spectral Modeling Synthesis of Haegeum using GPU

Md Shohidul Islam,Md Rashedul Islam,Fahmid Al Farid,Jong-Myon Kim(김종면) 한국컴퓨터정보학회 2014 한국컴퓨터정보학회 학술발표논문집 Vol.22 No.1

This paper presents a parallel approach of formant synthesis method for haegeum on graphics processing units (GPU) using spectral modeling. Spectral modeling synthesis (SMS) is a technique that models time-varying spectra as a combination of sinusoids and a time-varying filtered noise component. A second-order digital resonator by the impulse-invariant transform (IIT) is applied to generate deterministic components and the results are band-pass filtered to adjust magnitude. The noise is calculated by first generating the sinusoids with formant synthesis, subtracting them from the original sound, and then removing some harmonics remained. The synthesized sounds are consequently by adding sinusoids, which are shown to be similar to the original Haegeum sounds. Furthermore, GPU accelerates the synthesis process enabling- real time music synthesis system development, supporting more sound effect, and multiple musical sound compositions.

시간영역 파형 합성 방법에 의한 친환경 자동차의 엔진소리 합성에 관한 연구

박형우(Hyung Woo Park) 인문사회과학기술융합학회 2018 예술인문사회융합멀티미디어논문지 Vol.8 No.9

과학기술과 기계공학의 발전으로, 차량을 움직이는 동력원이 내연 기관에서 전기 모터와 같은 다른 동력원으로 바뀌고 있다. 아직 100% 전기차량의 수가 화석연료를 사용하는 차량보다 적지 만, 장래에 전기 자동차가 다양한 이유로 널리 사용될 것으로 예상된다. 특히 전 세계적으로 환경 친화적인 자동차를 개발하고 사용하는 요구에 따라 다양한 저공해 자동차를 개발하고 사용하고 있다. 이 환경친화적 자동차는 다양한 장점이 있는데, 그중 엔진에서 발생하는 폭발에 의한 소음이 없는 것이 장점이다. 특히, 저속주행을 하면 약간의 조작 음이 발생하며, 차량이 이동하고 있음을 차량의 내외부에 알리기 어렵다. 내연 기관을 사용하는 차량은 저속이든 고속 운행을 하는 여부에 관계없이 엔진 내부의 4 ~ 2 행정에 따라 연료와 공기를 연소시고, 이때 연료를 소비하여 생성 된 에너지가 차량을 움직입니다. 그리고 엔진 연소는 원하지 않는 다양한 오염 물질도 함께 생성되는데, 배기가스, 소음, 진동 및 폐열 등이 그 예 이다. 그 중 소음은 너무 시끄럽지 말아야 한다는 규정에만 맞춘다면, 이동하는 차량의 경고 또는 위험을 차량 주위 사람들에게 알리는 수단으로 사용될 수 있다. 본 연구에서는 친환경차량 운전 시 엔진 소리를 만드는 방법에 대해 논하고자 한다. 엔진 소리를 재생산하기 위해 기존의 내연기관의 엔진 소리를 분석하고 음향생성 및 합성 원리를 사용하여 엔진소리를 만드는 방법을 제안하고자 한다. 기존 VESS와 같은 장치는 단순히 차량의 엔진 사운드를 저장하고 상황에 따라 재생하는데, 이는 메모리를 많이 사용하게 된다. 그러나 제안 된 시스템은 적은 메모리를 사용하지만, 내연기관의 엔진 소리와 매우 유사한 소리를 재생할 수 있다. According to the development of vehicle science and technology, motors that move using the forces generated by the internal combustion engine have been moved by electric motors. Although the number of electric-only vehicles is still lower than that of oil-filled vehicles, electric vehicles are expected to be widely used for various reasons in the future. In particular, various low-pollution vehicles have been manufactured and operated according to the demand to develop environment-friendly vehicles worldwide. These eco-friendly cars have advantages in common and low noise in our shop. Particularly, when running at a low speed, a slight operation sound is generated, and it is difficult to notify the inside and outside of the vehicle that the vehicle is moving to the people. Vehicles using an internal combustion engine burn fuel and air according to four or two strokes inside the engine, whether low speed or high speed. At this time, the energy generated by consuming the fuel moves the vehicle. In addition, various pollutants that we do not want are generated. Examples are exhaust gas, noise, vibration and heat. Among them, noise can be used as a means of notifying the people around the vehicle of the warning or danger of a moving vehicle if the noise is as specified in the standard. In this study, we will discuss the method of releasing engine sound during the operation of environment friendly vehicles. In order to reproduce the engine sound, we analyze the existing engine sounds and propose a method of making the engine sound using the sound generation and synthesis principle. Devices such as the existing VESS simply record the engine sound of the vehicle and reproduce it according to the situation. However, the proposed system uses less memory but can reproduce coterminous engine sounds.

Claudio Gabriele의 <ARRIFLEX35>에서 사용된 색소폰 주법과 전자음향 연구

홍의식,김준 한국공학안전보건예술학회 2016 한국공학예술학회 논문지 Vol.8 No.1

색소폰의 다양한 주법들은 재즈나 블르스 등의 음악과 더블어 발전되어왔으며 멜로디나 대선 율 연주 이외에 리듬적이고 음향학적인 타악기의 영역까지 표현할 수 있게 되었다. 이러한 다양 한 테크닉을 구사할 수 있는 색소폰은 많은 작곡자들과 연주자들의 노력과 연구에 의해 다양한 작품에서 연주 되었으며 특히 색소폰의 음색 분석 통한 사운드 이펙터 효과 등은 컴퓨터음악 작 품에 많이 사용되었다. 색소폰의 테크닉은 컴퓨터의 사운드 이펙터와 합성음 등을 통해 표현의 영역을 확장시킬 수 있었다. 작품 <ARRIFLEX35> 색소폰과 전자음악으로 구성된 작품으로 컨 템포러리 재즈 색소폰 연주자들이 사용하는 새로운 주법들을 작품에 사용하여 연주자가 아닌 작 곡자의 위치에서 색소폰의 고급 테크닉의 특징을 잘 표현하였다. Saxophone has various technique of sound that advanced by musicians, composer and music companies with Jazz, Blues. Many composers of computer music used to the saxophone sound on their works. This paper describes the saxophone technique and various effects through analyzed sound in Claudio Gabriele's <ARRIFLEX35>. such results are important factors for the saxophone technique and sound effect with synthesis. Through such technology, the saxophone was able to express the sound and various effects. In addition, the composers were able to easily sympathize with the meaning of works by significant feature of saxophone

GPU를 이용한 기타의 음 합성을 위한 효과적인 병렬 구현

강성모(Sung-Mo Kang),김종면(Jong-Myon Kim) 한국컴퓨터정보학회 2013 韓國컴퓨터情報學會論文誌 Vol.18 No.8

본 논문에서는GPU 환경에서 기타의 음합성을 위한 물리적 모델링의 효율적인 병렬구현 방법을 제안한다. 물리적 모델링을 이용하여 기타의 개방현(E2, A2, D3, G4, B3, E4)들의 기본음을 합성하기 위해 각 개방현 음 합성을 위한 적절한 필터 계수를 사용하였고, 지연 라인의 길이를 조절하였다. 또한 물리적 모델링 알고리즘을 분석한 결과 지연 라인의 길이만큼 병렬성을 갖는 것을 확인하였다. 따라서 각 개방현의 기타 음을 합성하기 위해 지연 라인의 길이만큼CUDA 코어를 할당한 후 최적의 성능을 보이도록 알고리즘을 병렬 구현하였다. 모의실험결과, GPU를 이용하여 합성한 기타 음과 원음과의 스펙트럼이 매우 유사하였고, GPU는 기존 고성능 TI DSP보다 68배, CPU보다 3배의 성능 향상을 보였다. 또한, 본 논문에서는 물리적 모델링 알고리즘을 멀티 GPU시스템에서도 구현하고 성능을 분석하였다. This paper proposes an effective parallel implementation of a physical modeling synthesis of guitar on the GPU environment. We used appropriate filter coefficients and adjusted the length of delay line for each open string to generate 44,100 six-polyphonic guitar sounds (E2, A2, D3, G4, B3, E4) by using physical modeling synthesis. In addition, we analyzed the physical modeling synthesis algorithm and observed that we can exploit parallelism inherent in the length of delay line. Thus, we assigned CUDA cores as many as the length of delay line and effectively implemented the physical modeling synthesis using GPU to achieve the highest performance. Experimental results indicated that synthetic guitar sounds using GPU were very similar to the original sounds when we compared their spectra. In addition, GPU achieved 68x and 3x better performance than high-performance TI DSP and CPU, respectively. Furthermore, this paper implemented and evaluated the performance of multi-GPU systems for the physical modeling algorithm.

Cross-modal Correspondence Between Acoustic Feature and Shape

곽유나,김채연 한국인지및생물심리학회 2018 한국심리학회지 인지 및 생물 Vol.30 No.3

Our brain tends to associate stimulus features across the senses in a non-random manner. For example, people show consistency in labelling a rounded shape ‘maluma’/‘bouba’ and a spiky shape ‘takete’/‘kiki’. Previous studies have attributed this phenomenon to the correspondence between sound and shape, but without controlling for other potential factors (i.e., linguistic/orthographical factors). The present study examines the role of acoustic aspect per se by manipulating articulatory gestures to generate synthetic speech sounds not confined to a specific language. Participants were asked to choose either a rounded or spiky shape to indicate the shape that better matched each synthetic speech sound. The results demonstrate that shape choice was systematically mapped on to the dimensions manipulated to generate the sounds. These results indicate that acoustic features indeed drive the association between sound and visual shape.

기타 음 합성을 위한 최적의 SIMD기반 매니코어 프로세서 구현

최지원(Ji-Won Choi),강명수(Myeong-Su Kang),김종면(Jong-Myon Kim) 한국컴퓨터정보학회 2012 韓國컴퓨터情報學會論文誌 Vol.17 No.1

프로세서는 더 이상 동작 주파수를 높이는 방법이 아닌 다수의 프로세서를 집적하는 멀티프로세서로 기술 발전이 이루어지고 있다. 최근 2, 4, 8개의 프로세서 코어를 넘어 64, 128개 이상의 프로세서를 집적한 대규모 데이터 처리용 고성능 프로세서들이 개발되고 있다. 본 논문에서는 기타의 음 합성을 위한 최적의 매니코어 프로세서 구조를 제안한다. 기존의 연구에서는 하나의 기타 현에 하나의 프로세싱 엘리먼트(processing element, PE)를 할당하여 음을 합성하였으나, 본 논문은 하나의 기타 현에 여러 개의 PE를 할당하고 각각의 경우에 대해 시스템 성능, 시스템 면적 효율 및 에너지 효율을 평가하였다. 샘플링율이 44.1kHz, 양자화 비트 16인 기타 음을 사용하여 모의 실험한 결과, 시스템 면적 효율은 PE 수가 24개, 에너지 효율은 PE 수가 96개일 때 각각 최적의 효율을 보였다. 또한, 최적의 매니코어 프로세서를 이용하여 합성한 결과 합성음은 원음과 스펙트럼에서 매우 유사하였다. 더불어, 음 합성에 가장 많이 사용되는 TI TMS320C6416보다 시스템 면적에서 1,235배, 에너지 효율에서 22배의 향상을 보였다. Improving operating frequency of processors is no longer today's issues; a multiprocessor technique which integrates many processors has received increasing attention. Currently, high-performance processors that integrate 64 or 128 cores are developing for large data processing over 2, 4, or 8 processor cores. This paper proposes an optimal many-core processor for synthesizing guitar sounds. Unlike the previous research in which a processing element (PE) was assigned to support one of guitar strings, this paper evaluates the impacts of mapping different numbers of PEs to one guitar string in terms of performance and both area and energy efficiencies using architectural and workload simulations. Experimental results show that the maximum area energy efficiencies were achieved at PEs=24 and 96, respectively, for synthesizing guitar sounds with sampling rate of 44.1kHz and 16-bit quantization. The synthesized sounds were very similar to original guitar sounds in their spectra. In addition, the proposed many-core processor was 1,235 and 22 times better than TI TMS320C6416 in area and energy efficiencies, respectively.