SOLA를 이용한 더빙 신호의 시간축 동기화

이기승,지철근,차일환,윤대희 한국방송∙미디어공학회 1996 방송공학회논문지 Vol.1 No.2

본 논문에서는 음성 신호의 시간축 변화에 널리 사용되고 있는 SOLA(Synchronized Over-Lap and ADD)기법을 사용하여 더빙된 신호를 본래의 음성 신호와 시간적으로 일치시키는 기법을 제안하였다. 방송 녹음의 경우, 큰 레벨의 배경 잡음등으로 인하여 스튜디오에서의 재녹음이 필요한 경우가 발생하게 된다. 이러한 재녹음 신호는 원래의 녹음 시간과 비교하여 대략 200msec의 시간차이를 갖게 되며, 이러한 시간차이는 화면과 음성과의 합성시 입모양이 서로 불일치하는 현상을 야기시킨다. 본 논문에서는 이러한 문제점을 해결하기 먼저 에너지궤적을 통해 원녹음 신호와 더빙 신호간의 어절 시작점을 서로 일치시키고, 어절내의 음소 위치를 동기화시키기 위하여 LPC 켑스트럼 분석과 DTW(Dynamic Time Warping)을 적용하였다. 음소가 서로 일치하는 지점은 원래의 녹음 신호와 더빙된 신호간의 LPC켑스트럼 자승 오차가 취소로 되는 지점을 탐색함으로서 결정된다. 음성의 합성시에는 인접 프레임간의 위상 관계가 서로 일치하도록 SOLA 방법을 사용하였다. 컴퓨터를 이용하여 모의 실험을 수행한 결과, 제안된 알고리즘을 통해 시간축 보정된 음성 신호는 음성 파형, 스펙트로그램 및 청취상으로 원래의 녹음 신호와 시간적으로 서로 일치함을 확인할 수 있었다. The purpose of this paper Is to propose a dubbed signal time-synchroniztion technique based on the SOLA(Synchronized Over-Lap and Add) method which has been widely used to modify the time scale of speech signal. In broadcasting audio recording environments, the high degree of background noise requires dubbing process. Since the time difference between the original and the dubbed signal ranges about 200mili seconds, process is required to make the dubbed signal synchronize to the corresponding image. The proposed method finds he starting point of the dubbing signal using the short-time energy of the two signals. Thereafter, LPC cepstrum analysis and DTW(Dynamic Time Warping) process are applied to synchronize phoneme positions of the two signals. After determining the matched point by the minimum mean square error between orignal and dubbed LPC cepstrums, the SOLA method is applied to the dubbed signal, to maintain the consistency of the corresponding phase. Effectiveness of proposed method is verified by comparing the waveforms and the spectrograms of the original and the time synchronized dubbing signal.

엔트로피 제한 조건을 갖는 시간축 분할

이기승,Lee Ki-Seung 한국음향학회 2005 韓國音響學會誌 Vol.24 No.5

본 논문에서는 음성 신호를 시간축으로 분할하는 새로운 기법으로, 분할 시 왜곡과 엔트로피가 함께 고려된 기법이 제안되었다 시간축 분할에 필요한 보간 함수와 타겟 특징 벡터는 동적 프로그래밍 기법을 이용하여 왜곡과 엔트로피가 동시에 최소화되도록 얻어진다. 보간 함수는 학습 데이터를 이용하여 구성되도록 하였으며, 분할과 추정의 반복적인 수행에 의해 왜곡과 엔트로피가 지역적으로 최소화 되는 지점에서 설계되도록 하였다. 모의 실험에서 제안된 시간축 분할 기법은 현존 음성 부호화 기법에 널리 사용되고 있는 분할 벡터 양자화 기법과 비교하여, 왜곡-비트율 특성 관점에서 보다 우수한 성능을 나타내었으며, 주관적인 청취 테스트 결과, 음질적인 면에서도 기존의 벡터 양자화 기법에 비해 우수한 방법임을 알 수 있었다. In this paper, a new temporal decomposition method is proposed. where not oniy distortion but also entropy are involved in segmentation. The interpolation functions and the target feature vectors are determined by a dynamic Programing technique. where both distortion and entropy are simultaneously minimized. The interpolation functions are built by using a training speech corpus. An iterative method. where segmentation and estimation are iteratively performed. finds the locally optimum Points in the sense of minimizing both distortion and entropy. Simulation results -3how that in terms of both distortion and entropy. the Proposed temporal decomposition method Produced superior results to the conventional split vector-quantization method which is widely employed in the current speech coding methods. According to the results from the subjective listening test, the Proposed method reveals superior Performance in terms of qualify. comparing to the Previous vector quantization method.

원형 머리 모델을 이용한 머리 전달 함수의 보간

이기승,이석필,Lee, Ki-Seung,Lee, Seok-Pil 한국음향학회 2008 韓國音響學會誌 Vol.27 No.7

본 논문에서는 머리 전달 함수에 대한 새로운 보간 기법을 제안하였다. 제안된 기법은 각 방위각에 대한 머리 전달 함수의 충격파 응답이 인접 방위각에 대한 시간 지연된 충격파 응답의 선형 보간으로 주어진다고 가정하였다. 각 방위각에 대한 충격파 응답의 시간 지연은 방위각, 머리의 물리적 형태, 음원과 머리의 거리 정보를 이용하여 추정될 수 있는 귀와 음원간의 전파시간과 최소 자승 오차를 갖도록 하는 교정값의 합으로 주어진다. 또한 제안된 모델에서는 보간 시 방위각의 간격을 고정 간격이 아닌 가변 간격으로 하였으며 본래 충격파 응답과 보간된 충격파 응답이 본래의 충격파 응답과 비교하여 청취 상으로 큰 차이가 느껴지지 않고, 보간에 필요한 충격파 응답의 재수가 최소화되는 조건을 만족하도록 결정하였다. 제안된 보간 모델의 유용성을 검증하기 위하여 더미 헤드 및 3명의 사람으로부터 측정된 머리 전달 함수에 대해 제안된 보간 모델을 적용하였다 머리 전달 함수는 0도의 고도각을 갖는 수평면을 5도 간격의 방위각으로 분할한 총 72개가 사용되었으며, 실험 결과 전체 머리 전달 함수 중 단지 $30\sim40%$ 만을 사용하고 나머지는 보간에 의해 얻어진 머리전달 함수를 사용하더라도 청취상의 음원의 위치가 변동되지 않음을 알 수 있었다. In this paper, a new interpolation model for the head related transfer function (HRTF) was proposed. In the method herein, we assume that the impulse response of the HRTF for each azimuth angle is given by linear interpolation of the time-delayed neighboring impulse responses of HRTFs. The time delay of the HRTF for each azimuth angle is given by sum of the sound wave propagation time from the ears to the sound source, which can be estimated by using azimuth angle, the physical shape of the underlying head and the distance between the head and sound source, and the refinement time yielding the minimum mean square error. Moreover, in the proposed model, the interpolation intervals were not fixed but varied, which were determined by minimizing the total number of HRTFs while the synthesized signals have no perceptual difference from the original signals in terms of sound location. To validate the usefulness of the proposed interpolation model, the proposed model was applied to the several HRTFs that were obtained from one dummy-head and three human heads. We used the HRTFs that have 5 degree azimuth angle resolution at 0 degree elevation (horizontal plane). The experimental results showed that using only $30\sim40%$ of the original HRTFs were sufficient for producing the signals that have no audible differences from the original ones in terms of sound location.

現代建築 形態의 變遷과 表現特性에 관한 硏究

이기승 목원대학교 건축도시연구센터 2000 建築·都市環境硏究 Vol.8 No.-

건축형태는 인간의 생활을 담는 그릇으로 기능 할 수 있도록 인간이 공간을 에워쌈으로써 구체화 되어진다. 그리하여 구체화된 형태는 그 속에 공간을 포함하게 되고 그러한 공간 속에 인간의 기능적 생활을 담게 된다.건축은 둘러싼 요소들의 형태일 뿐만 아니라 폭, 길이, 높이의 종합에 의한 공허부 자체, 즉 에워싸인 공간에 의해서 그 존재가치를 갖는다. 따라서 인간은 건물 내에서 움직이며 연속적인 관점에서부터 건물을 체험하게 되므로 건축형태다 공간은 4차원을 나타내게 된다. 건축은 기능과 공간으로 이루어져 있다.건축공간을 들어설 때, 우리의 지각은 벽, 바닥, 천정 등의 형태를 3차원의 통일체로서 동시으로 포착하게 된다. 우리가 지각하는 것은 건축의 매스와 형태이지만 동시에 그것에 의하여 창조된 공간들도 지각하고 있는 것이다.따라서 건축의 문제는 공간과 형태의 독립된 관계로 끝나는 것은 아니다. 또한 각 시대의 다양한 가치관이나 세계관까지를 반영하고 있다고 할 수 있다. 무엇보다도 우리에게 중요한 것은 단순히 공간예술로서의 건축이 아닌 기능이나 형태에 의해 지지되는 건축형태로서의 건축에 대한 새로운 이론적 접근을 필요로 한다고 본다.이러한 의미에서 본 연구는 건축 형태의 변천과 이론의 고찰을 통하여 혼재된 현대 건축의 현상을 재조명함과 동시에 그 표현의 특성을 파악할 목적으로 진행되었다.

선택적 레이저 용융공정으로 제조된 Al-Si-Mg 합금의 열처리에 따른 미세조직 및 특성평가

이기승,엄영성,김경태,김병기,유지훈,Lee, Gi Seung,Eom, Yeong Seong,Kim, Kyung Tae,Kim, Byoung Kee,Yu, Ji Hun 한국분말야금학회 2019 한국분말재료학회지 (KPMI) Vol.26 No.2

In this study, Al-Si-Mg alloys are additively manufactured using a selective laser melting (SLM) process from AlSi10Mg powders prepared from a gas-atomization process. The processing parameters such as laser scan speed and laser power are investigated for 3D printing of Al-Si-Mg alloys. The laser scan speeds vary from 100 to 2000 mm/s at the laser power of 180 and 270 W, respectively, to achieve optimized densification of the Al-Si-Mg alloy. It is observed that the relative density of the Al-Si-Mg alloy reaches a peak value of 99% at 1600 mm/s for 180 W and at 2000 mm/s for 270W. The surface morphologies of the both Al-Si-Mg alloy samples at these conditions show significantly reduced porosities compared to those of other samples. The increase in hardness of as-built Al-Si-Mg alloy with increasing scan speed and laser power is analyzed due to high relative density. Furthermore, it was found that cooling conditions after the heat-treatment for homogenization results in the change of dispersion status of Si phases in the Al-Si matrix but also affects tensile behaviors of Al-Si-Mg alloys. These results indicate that combination between SLM processing parameters and post-heat treatment should be considered a key factor to achieve optimized Al-Si alloy performance.

이동 보상 기법을 이용한 서브밴드 부호화 시스템에 관한 연구

이기승,박용철,서정태,윤대희 대한전자공학회 1994 전자공학회논문지-B Vol.b31 No.10

A motion picture compression scheme using subband coding with motion compensation is presneted in this paper. A hierarchical subband decomposition is used to split the image signal into 10 subbands with a 3-layer pyramid structure and motion compensation is used in each band. However, in this case, motion vector information is drastically increased; therefore, initial motion vectors are estimated in the highest pyramid and motion vectors are refined using the reconsructed subband signal in each layer. Simulation results show that the proposed method compares favorably in terms of prediction error energy and side informatio with methods requiring additional information. Images recostructed from the proposed method show good quality compared to those reconstructed using blockwise DCT.

신호 부공간 기법을 이용한 영상화질 향상

이기승,도원,윤대희,Lee, Ki-Seung,Doh, Won,Youn, Dae-Hee 대한전자공학회 1996 전자공학회논문지-B Vol.b33 No.11

In this paper, newly developed algorithm for enhancing images corrupted by white gaussian noise is proposed. In the method proposed here, image is subdivided into a number of subblocks, and each block is separated into cimponents corresponding to signal and noise subspaces, respectively through the signal subspace method. A clean signal is then estimated form the signal subspace by the adaptive wiener filtering. The decomposition of noisy signal into noise and signal subspaces in is implemented by eigendecomposition of covariance matrix for noisy image, and by performing blockwise KLT (karhunen loeve transformation) using eigenvector. To reduce the perceptual noise level and distortion, wiener filtering is implementd by adaptively adjusting noise level according to activity characteristics of given block. Simulation results show the effectiveness of proposed method. In particular, edge bluring effects are reduced compared to the previous methods.

고속 발화음에 대한 음성 인식 향상

이기승,Lee Ki-Seung 한국음향학회 2006 韓國音響學會誌 Vol.25 No.2

본 논문에서는 대화체 음성에 대한 음성 인식의 성능을 향상시키기 위한 방법으로, 고속 발화음에 대해 강인한 음성 인식 방법을 제안하고 성능을 평가하였다. 제안된 기법은 입력된 음성의 속도를 정량화하여 나타내기 위한 부가적인 음성 인식 과정이 필요치 않으며, 특정 대역내의 에너지 분포를 이용하여 모음 구간을 판정하고, 단위 시간당 모음의 개수를 구하여 음성의 속도를 측정하였다. 빠른 발성음에 대한 음성 인식의 성능을 향상시키기 위해, 기존의 방법은 표준 음소 길이와 측정된 음소 길이간의 비율을 이용하여 특징 벡터를 시간축으로 확장하였다. 제안된 방법에서는 발성 속도에 따라 음성을 분류하고, 분류된 음성에 대해 서로 다른 시간축 확장 비율을 정하도록 하였다. 여기서 분류에 필요한 문턱치들과 시간축 확장 비율들은 최대 우도 방법을 이용하여 구하였다. 10자리 이동 전화 번호에 대한 음성 인식의 실험 결과, 제안된 기법에 의해 전체적으로 $17.8\%$ 오류율이 감소되는 것을 확인할 수 있었다. In this Paper. a method for improving the performance of automatic speech recognition (ASR) system for conversational speech is proposed. which mainly focuses on increasing the robustness against the rapidly speaking utterances. The proposed method doesn't require an additional speech recognition task to represent speaking rate quantitatively. Energy distribution for special bands is employed to detect the vowel regions, the number of vowels Per unit second is then computed as speaking rate. To improve the Performance for fast speech. in the pervious methods. a sequence of the feature vectors is expanded by a given scaling factor, which is computed by a ratio between the standard phoneme duration and the measured one. However, in the method proposed herein. utterances are classified by their speaking rates. and the scaling factor is determined individually for each class. In this procedure, a maximum likelihood criterion is employed. By the results from the ASR experiments devised for the 10-digits mobile phone number. it is confirmed that the overall error rate was reduced by $17.8\%$ when the proposed method is employed

시리얼 번호 자동 인식에 관한 연구

이기승 건국대학교 산업기술연구원 2004 건국기술연구논문지 Vol.29 No.-

Automatic recognition of serial numbers printed on the bills is one of key technologies related to automatic financial business. In automatic serial number recognition on the bills, there are several different situations from the conventional character recognition. In this contribution, two factors are considered to improve the recognition accuracy in serial number recognition. First, to compensate the discrepancies between the actually captured images and the prototype patterns in the database, an adaptive thresholding algorithm is proposed where the differences between the two patterns are iteratively minimized by a LMS-like adaptive algorithm. Second, to overcome the limited performance of the preprocessing a discriminative training algorithm is proposed, where two prototype patterns are independently built for clean and noisy images. Performance evaluation was performed to confirm the effectiveness of the proposed algorithm. Over 95% recognition accuracy was obtained in the experiments.

영상 기반 음성합성에서 심도 영상의 유용성

이기승 한국음향학회 2023 韓國音響學會誌 Vol.42 No.1

The images acquired from the speaker’s mouth region revealed the unique patterns according to the corresponding voices. By using this principle, the several methods were proposed in which speech signals were recognized or synthesized from the images acquired at the speaker’s lower face. In this study, an image-based speech synthesis method was proposed in which the depth images were cooperatively used. Since depth images yielded depth information that cannot be acquired from optical image, it can be used for the purpose of supplementing flat optical images. In this paper, the usefulness of depth images from the perspective of speech synthesis was evaluated. The validation experiment was carried out on 60 Korean isolated words, it was confirmed that the performance in terms of both subjective and objective evaluation was comparable to the optical image-based method. When the two images were used in combination, performance improvements were observed compared with when each image was used alone. 발성하고 있는 입 주변에서 취득한 영상은 발성 음에 따라 특이적인 패턴을 나타낸다. 이를 이용하여 화자의얼굴 하단에서 취득한 영상으로부터 발성 음을 인식하거나 합성하는 방법이 제안되고 있다. 본 연구에서는 심도 영상을 협력적으로 이용하는 영상 기반 음성합성 기법을 제안하였다. 심도 영상은 광학 영상에서는 관찰되지 않는 깊이 정보의 취득이 가능하기 때문에 평면적인 광학 영상을 보완하는 목적으로 사용이 가능하다. 본 논문에서는 음성 합성 관점에서 심도 영상의 유용성을 평가하고자 한다. 60개의 한국어 고립어 음성에 대해 검증 실험을 수행하였으며, 실험결과 객관적, 주관적 평가에서 광학적 영상과 근접한 성능을 얻는 것을 확인할 수 있었으며 두 영상을 조합하여 사용하는 경우 각 영상을 단독으로 사용하는 경우보다 향상된 성능을 나타내었다.