채널양자화에 따른 Branch metric을 적용한 SOVA알고리즘에 대한 연구

이경호 홍익대학교 대학원 2003 국내석사

본 논문에서는 기존의 터보코드의 구조에 양자화기가 첨가된 구조를 가정하였고, 이에 의해 양자화된 수신신호에 대한 최적의 SOVA(Soft Output Viterbi Algorithm) 복호알고리즘을 제안하였으며, MSE(mean quanre error)관점에서 최소의 왜곡(Distortion)을 가지는 불균일한 양자화기를 통해 균일한 양자화기보다 3비트의 양자화레벨에서 0.3dB의 성능향상을 얻어 내었다. 본 시스템모델에 대한 최적의 복호알고리즘을 도출하는 데에 있어서 가장 중요한 일은 양자화된 수신신호값에 대한 최적의 유사도 매트릭을 찾아내는 일이다. 전체 시스템구조에서 양자화기가 첨가 되면서 일반적인 AWGN채널에서 DMC(Discrete memorzless channel)채널로 변화하므로 각각의 유사도 매트릭(Maximum likelihood metric)을 pdf대신 pmf을 사용하여야 한다. 따라서 복호알고리즘의 여러 가지 계산과정이 pmf를 통해 변화하게 되고, 이에 통해 새롭게 유도된 복호 알고리즘이 DMC 채널에 최적의 복호 알고리즘(Quantized-SOVA)이 된다. 또한 개선된 Quantized-SOVA알고리즘에 수신신호의 왜곡을 최소화하는 비균일 양자화기인 Lloyd-Max 양자화기를 사용하면 3bit의 양자화비트수에서 Quantized-SOVA알고리즘의 경우 약 0.25dB∼0.3dB정도의 성능 향상이 일어나게 되고, 4bit나 continuous SOVA의 성능에 0.2dB∼0.3dB정도까지 근접한 성능을 가지게 된다. 이로 인해 양자화비트수 4bit가 아닌 3bit로도 충분히 사용할만한 성능을 얻어 낼 수 있었다. In this paper, when quantizer is included in original turbo-code structure, we suggest a modification to the SOVA algorithm which considers the presence of a quantized channel at the design stage and we simulate modified SOVA algorithm by using the optimum nonuniform quantizer. It is important for deriving the modified SOVA algorithm to analyze the quantized channel. Because general SOVA algorithm is not necessarily optimum when input is quantized, we modify the general SOVA algorithm accoding to the change of different channel. therefore in DMC(Discrete memoryless channel), we use the pmf(probability mass function) instead of pdf as the branch transition probability in modified SOVA for the quantized channel (quantized-SOVA). Simulation results show that, with the 4bits of quantization, the quantized-SOVA achives a performance which is equivalent to the general SOYA. From this point of memory saving, with the 3bits of quantization , Quantized-SOVA shows improvement of Appriximately 0.25dB∼0.3dB when we use optimum-nonuniform quantizer , compared to 4bits and continuous SOYA. we get the acceptable performance in 3bits. Therefore in currect paper, we prepose the modification of decoding algorithm accoding to the change of qiantized channel(DMC), and taking a side view of Distortion of quantizer, we get the improvement of performance using the optimum-nonuniform quantizer(Lloyd-MAX).

양자화 기반의 워터마킹에서 변형된 양자화 스텝 사이즈 추정 및 오디오 워터마킹에의 응용 : Estimation of Modified Quantization Step Size with Application to Quantization-Based Audio Watermarking

김시호 경북대학교 대학원 2005 국내박사

최근 디지털 콘텐츠 사용이 급증하고 있는 가운데, PC와 같은 저렴한 디지털 편집 장비와 초고속 통신은 디지털 콘텐츠를 쉽게 생산, 가공, 복사하는 것을 가능하게 하였다. 그러나 이러한 기술들은 저작권 있는 디지털 콘텐츠를 누구나 쉽게 아무런 제약 없이 복사하고 배포할 수 있는 부작용을 낳았다. 따라서 디지털 시대로 접어든 이 시점에 디지털 콘텐츠의 저작권을 보호할 수 있는 기술이 절실히 요구된다. 저작권 보호를 위한 방법 중 기존의 암호화 기법은 일단 암호가 풀리면 아무런 제약 없이 배포되어 저작권을 주장할 수 없다는 단점을 가진다. 이러한 문제까지 해결할 수 있는 방법으로 최근 디지털 워터마킹 기술이 제시되고 있다. 디지털 워터마킹 기술은 디지털 콘텐츠에 사람이 인지할 수 없을 크기의 워터마크 정보를 삽입하고 추출함으로써 필요시에 저작권을 주장할 수 있는 기술이다. 특히 디지털 오디오 신호를 대상으로 한 기술을 디지털 오디오 워터마킹이라 하며 현재까지 많은 연구가 진행되고 있다. 대표적인 오디오 워터마킹 기법으로 대역확산 기법(Spread Spectrum Coding), 반향 기법(Echo Hiding) 등이 있으며, 최근에 나온 기법으로 양자화에 기반한 방식은 대역확산 기법과 반향 기법에서 큰 문제가 되는 콘텐츠 신호 자체의 간섭이 없기 때문에 큰 주목을 받고 있다. 그러나 양자화 방식은 크기 변환 공격에 매우 취약하다는 단점을 가지고 있으며, 이러한 문제를 해결하기 위한 연구가 최근 진행되고 있다. 대표적인 기법으로 크기 변환을 추정할 수 있는 파일럿(pilot) 신호를 워터마크 정보와 같이 삽입하여 추출단에서 크기 변환 정도를 추정하는 방법, 수신된 신호의 확률 분포를 가우시안 믹스쳐(Gaussian mixture)로 모델링하여 EM 알고리즘으로 추정함으로써 크기 변환 정보를 얻는 방법, 그리고 크기 변환에 무관한 영역으로 신호를 변환한 후 삽입하는 방법 등이 있다. 본 논문에서는 이러한 크기 변환 공격을 해결할 수 있는 견고한 양자화 스텝 사이즈 추정 알고리즘을 제안한다. 제안한 알고리즘은 수신된 신호를 특정 양자화 스텝 사이즈로 양자화 했을 때의 양자화 평균자승오차(MSE)를 QE 함수로 정의하고, 이를 검색하여 오차가 가장 적은 양자화 스텝 사이즈를 수신된 신호의 양자화 스텝 사이즈로 추정하는 방법이다. 제안한 알고리즘에서 가장 중요한 것은 QE 함수 검색에서 피크 검출 성능과 계산량을 동시에 만족할 수 있는 검색 간격을 정하는 것이다. 이를 위해 본 논문에서는 피크 근처에서의 QE 함수의 모양을 분석하여 그 폭을 결정하고, 이를 이용하여 적절한 검색 간격을 결정하였다. 피크 근처에서의 QE 함수는 제한된 범위 내에서 입력신호의 분포 특성에 상관없이 2차 함수 형태를 보이며, 단지 오디오 신호의 분산과 평균의 제곱에 비례하고 양자화 스텝 사이즈의 제곱에 반비례하는 특성을 보인다. 제안한 알고리즘을 사용하여 수신된 신호로부터 추정한 QE 함수의 폭과 실제의 폭을 비교한 실험에서 모델링된 QE 함수가 실제 모양에 거의 근접함을 확인하였다. 또한 오디오 신호에 대한 AWGN, 대역통과 필터링, 반향 첨가, 이퀄라이징, MP3 압축 등의 공격에서도 제안한 알고리즘의 성능을 평가한 결과 정확한 양자화 스텝 사이즈를 사용한 결과에 거의 근접함을 확인할 수 있었다. 이는 여러 가지 오디오 공격에서도 제안한 알고리즘이 양자화 스텝 사이즈를 제대로 추정하고 있음을 의미한다. 본 연구에서는 양자화 기반의 워터마킹을 오디오 신호에 적용하여 크기변환 공격을 포함한 대역통과 필터링, 반향 첨가, 이퀄라이징, MP3 압축과 같은 여러 가지 오디오 공격에 대한 성능을 평가하였다. 양자화 기반의 워터마킹 방식은 여러 가지 오디오 공격에 매우 취약한 특성을 보이는데, 이는 오디오 신호의 동적범위가 매우 크기 때문에 발생하는 것으로 분석된다. 따라서 신호의 동적범위를 줄이기 위한 한 방법으로 웨이브릿 필터 뱅크를 사용한 서브밴드 삽입방법을 제시하였다. 다양한 음악 신호에 대한 워터마크 검출 성능 평가 실험에서 본 연구에서 제시한 시간영역에서의 서브밴드 삽입 방법이 전밴드 신호에 삽입하는 방법보다 월등히 향상된 결과를 보였다. 마지막으로 양자화 기반의 오디오 워터마킹과 대역확산 방식의 오디오 워터마킹을 여러 가지 공격에 따라 그 성능을 평가해 보았다. 본 논문에서 제시한 양자화 기반의 오디오 워터마킹 방식이 대역확산 방식에 비해 전체적으로 나은 성능을 보였다. 그러나 개선된 대역확산 방식을 사용한 경우에는 MP3 압축과 이퀄라이징 공격에 대해서 양자화 방식에 비해 다소 나은 성능을 나타내기도 했다.

2-bit 가산 2의 거듭제곱 CNN 양자화를 위한 Non-Zero 그리드

김영민 가천대학교 일반대학원 2023 국내석사

양자화는 CNN 메모리와 계산 복잡성을 줄이는 효과적인 기법이다. 최근 양자화의 발전은 2의 거듭제곱을 사용하여 불균일 양자화를 수행하는데, 이는 정규 분포와 유사하여 균일한 양자화보다 더 나은 성능을 보여준다. 또한 2의 거듭제곱으로 표현된 양자화는 하드웨어에서 연산으로 대체 되기 때문에 추론 중 추가 계산이 필요하지 않다. 그러나 이전에 제안된 방법은 양자화 값으로 0을 사용하며 이는 2-양자화에서 불균일 양자화를 사용하지 못한다. 본 논문에서 우리는 2- 불균일 양자화를 가능하게 하는 새로운 공식 Non-zero 그리드를 제안한다. 제안된 기술은 가중치를 이전 기술과 동일하게 2의 거듭제곱을 사용하여 양자화하고 그리드에 존재하는 0 대신 새로운 값을 평균 영역에 가깝게 투영한다. 제안된 기술은 이전 기술에서 찾을 수 없는 2- 양자화를 위한 불균일 양자화를 적용할 수 있다. 제안된 기술은 ResNet-20, ResNet-32, ResNet-56 그리고 ResNet-110에서 기존의 2- 양자화와 비교된다. 특히 ResNet-110에서 우리의 기술은 기존의 방법보다 6.24% 더 높다. 또한 제안하는 방법은 메모리 및 계산 효율성 측면에서도 높은 효율성을 보여준다.

합성곱신경망의 에너지 효율성을 위한 비균일 양자화 기법 정량적 분석

최준영 대구대학교 일반대학원 2019 국내석사

합성곱신경망의 연산 복잡성은 제한적인 자원을 가진 임베디드 시스템에 대한 적용을 어렵게 만들기 때문에 합성곱신경망 모델 압축에 관한 고려를 필요로 한다. 합성곱신경망을 위한 양자화 기법은 개별 가중치(Weight)의 정밀도를 낮추는 압축 방법으로 연산 속도, 모델 크기 감소의 이점이 있으나 낮은 정밀도를 채택할 때 정확성이 급격히 감소하는 문제가 있다. 기존 양자화 기법 연구에서는 성능 향상 중심 연구를 통해 정확성 손실을 완전 정밀도 대비 1% 이하로 감소시켰다. 그러나 최근 양자화 기법 연구의 경우 배터리를 통해 전력을 공급 받는 임베디드 시스템에서 에너지 소비는 정확성만큼 중요한 요소임에도 불구하고 고려되지 않고 있다. 합성곱신경망의 에너지 소비는 양자화 기법을 통해 가중치의 정밀도와 가중치 및 특징 맵의 희소성(Sparsity)을 제어함으로써 감소되어 질 수 있으나 희소성 증가에 따라 정확성 손실이 커질 수 있다. 따라서 본 연구에서는 양자화 기법에 의한 정확도 손실은 최소화하고 합성곱신경망의 에너지 효율성은 향상시킬 수 있는 양자화 기법을 도출하기 위해 서로 다른 특성을 지닌 양자화 기법에 대해 분석하였다. 이를 위해 큰 값을 가지는 가중치를 세밀하게 보존하고 가중치의 희소성이 높은 특성을 가지는 역제곱 양자화 기법(Inverse Power-of-2 Quantization Method)과 학습 가능한 환산 계수(Trainable Scaling Parameter)를 새롭게 제안한다. 역제곱 양자화 기법은 기존 양자화 기법과 비교하여 추가적인 정확성 손실이 발생하지만 합성곱신경망의 에너지 효율성을 향상시킬 수 있었다. 또한 양자화된 가중치에 대해 일정 배율만큼 크기를 조정하는 환산계수를 학습을 통해 적응적으로 조정함으로써 정확성 손실을 보상하였다. 양자화 기법 분석을 위해 제안된 역제곱 양자화 기법과 크기 값에 비중을 두지 않고 균일한 간격(Uniform Interval) 고정 양자화 기법(Fixed Point Quantization Method), 작은 값을 가지는 가중치에 비중을 두는 제곱 양자화 기법(Power-of-2 Quantization Method)을 사용하였고 학습 가능한 환산계수, 활성화함수, 정밀도에 따른 성능 변화를 평가하였다. 결과적으로 완전 정밀도의 성능과 비교하여 기존 양자화 기법은 0.02 ~ 1.4 %의 정확성 손실과 18 ~34 % 에너지 소비 감소율을 보였고 제안한 양자화 기법은 약 6%의 정확성 손실이 발생하지만, 55%의 에너지 소비 감소율을 나타냈다. 제안한 양자화 기법은 기존 양자화 기법 대비 일부 정확성 손실을 감안하면 에너지 소비 감소율을 약 1.6배 ~ 4.5배로 향상시킬 수 있다. The computational complexity of Convolution Neural Network(CNN) makes it difficult to apply embedded systems with limited resources therefore, consideration is required for model compression. quantization techniques for a synthetic network are compression methods that reduce the precision of individual weights, which have the advantage of computational speed and model size reduction. but, There is a problem with the rapid decrease in accuracy when adopting low precision. existing quantization methods have shown that performance loss can be reduced by less than 1 percent through performance-driven research in the image classification. however, existing quantization methods has not considered energy consumption as important as accuracy in embedded systems powered by batteries. energy consumption in the CNN can be reduced by controlling the weight precision and sparsity of weights and feature maps through quantification method, but with increasing sparsity, accuracy loss can be increased. therefore, the study analyzed quantification methods with different characteristics in order to minimize loss of accuracy due to quantification methods and to improve energy efficiency of CNN. to this end, study proposes a new Inverse Power-of-2 Quantization Method that preserves weights with greater value and has a high sparsity of weights and the trainable scale parameter. the Inverse Power-of-2 Quantization has been able to improve the energy efficiency of CNN, although there is some additional loss of accuracy compared to existing quantization methods. and accuracy loss was also compensated for by the trainable scaling parameter, which was scaled at a certain scale for the quantified weights. for the analysis of quantification techniques, the proposed Power-of-2, Quantification Method was used, and performance changes based on the trainable scaling parameter, activations, and precisions were evaluated. consequently, compared to performance with full precision, existing quantification methods showed 0.02 to 1.4% loss of accuracy, 18 to 34% reduction in energy consumption, and proposed quantification method produced approximately 6% loss of accuracy, but 55% reduction in energy consumption. given some loss of accuracy compared to conventional quantification techniques, the proposed quantification method could improve the reduction in energy consumption by approximately 1.6 to 4.5 times.

JPEG2000을 위한 양자화기의 VLSI 구조에 대한 연구

정성근 전남대학교 대학원 2000 국내석사

영상압축에서 양자화는 데이타의 손실을 가져오며, 적용된 양자화기의 종류에 따라 다른 영상압축 효과가 나타난다. 그러므로 각각의 영상압축에 따른 적절한 양자화기의 선택과 적용이 필요하다. 최근에는 새로운 정지영상 압축 표준으로 JPEG2000이 제정되어가고 있다. 본 논문에서는 JPEG2000에서 대두되었던 양자화기법들을 소개하고 이를 하드웨어로 구현하기 위한 알고리즘과 그에 따른 VLSI구조를 제안하였다. JPEG2000에서 크게 대두되었던 양자화기법은 UTCQ(Universal Trellis Coded Quantization)와 DSQ(Dead-zone Scalar Quantization)이다. UTCQ는 DWT(Discrete Wavelet Transform)된 데이터를 저비트율에서 효율적으로 압축하기 위해 새롭게 대두된 양자화 기법이다. DWT된 데이터를 양자화 할 때 연속된 0값을 갖는 경우가 많은데, 이 경우 TCQ(Trellis Coded Quantization)의 효율이 매우 낮아지게 된다. 이를 보완하고, 또 균일 코드북을 사용해 코드북을 저장할 필요가 없도록 한 기법이 UTCQ이다. 본 논문에서는 UTCQ를 구현하는 방법으로 입력 데이터를 상위 비트열과 하위 비트열로 분리하고, 연속된 0값에 대하여 상위 비트열을 참조하여 오차율을 계산함으로 양자화 오차율을 줄이는 방식을 취하였다. 비터비 구조는 역추적 방식을 사용하였고, 메모리를 사용하여 처리하였다. DSQ는 간단하고, 효율적이어서 현재까지 주로 채택되고 있는 양자화기법이다. DSQ는 비교적 작게 구현할 수 있으며, 기술적으로 데이터의 관리만을 통하여 구현할 수도 있다. 소개된 각 각의 양자차기구조는 보완을 통해 DWT를 적용한 영상압축의 VLSI설계에 적용될 수 있을 것이다. In compression of image, quantization leads to losses of data, and shows different effect according to each quantizer. Therefore the appropriate selection of quantizer for each image is necessity. In recent times, new standardization for still image compression, JPEG2000 is being constructed. In this thesis I introduced the quantization method which was populated in standardization of JPEG2000 and I proposed the algorithm for realizing hardware and proposed the VLSI architecture. The quantization method which was populated in standardization of JPEG2000 is UTCQ(Universal Trellis Coded Quandardization). UTCQ is a quantization method which is especially efficient in low bit rate compression, when quantizing the DWT ed data, we usually get a continuous zero value. At that case the efficiency of TCQ(Trellis Coded Quantization) come to inefficiency. To compensate this inefficiency, UTCQ was proposed. This thesis adopt a method dividing upper bits and lower bits in implementing UTCQ, and for continuous zero the low bits refer to upper bits and calculate the error and reduced the quantization error. For the structure of the viterbi adopt a method of back trace, and used a memory. Because DSQ is simple and efficient, it is usually adopted as a main quantization method in image compression. DSQ can be implemented as a small area, and it can be also implemented by only managing data technically If compensated the architecture of this introduced quantization method, can be adopted in VLSI implementation of compression system.

손진 슈빙거 모델에서 본 여러가지 양자화

김승국 서강대학교 대학원 1995 국내박사

Differentiable Quantization and Low-Bit Fixed-Point Training for Efficient Convolutional Neural Networks

Dohyung Kim 연세대학교 대학원 2024 국내박사

Network quantization converts full-precision weights, activations, and/or gradients into low-bit fixed-point values in order to accelerate an inference and/or training processes. In this dissertation, we present a comprehensive study on network quantization, focusing on the reduction of bit-widths of weights, activations, and/or gradients to lighten network architectures while boosting the quantization performance at inference and training time jointly. The main contributions of this dissertation are as follows. First, we introduce a novel differentiable quantization to enhance the quantization performance at inference. Specifically, we propose a novel quantizer, dubbed a distance-aware quantizer (DAQ), that mainly consists of a distance-aware soft rounding (DASR) and a temperature controller. To alleviate the gradient mismatch problem, DASR approximates the discrete rounding with the kernel soft argmax, which is based on our insight that the quantization can be formulated as a distance-based assignment problem between full-precision values and quantized ones. The controller adjusts the temperature parameter in DASR adaptively according to the input, addressing the quantizer gap problem. Experimental results on standard benchmarks show that DAQ outperforms the state of the art significantly for various bit-widths without bells and whistles. Second, we further discretize the gradients into low-bit fixed-point values, enabling an efficient training. We analyze the quantization error of gradients for the low-bit fixed-point training, and show that lowering the error for large-magnitude gradients boosts the quantization performance significantly. Based on this, we derive an upper bound of quantization error for the large gradients in terms of the quantization interval, and obtain an optimal condition for the interval minimizing the quantization error for large gradients. We also introduce an interval update algorithm that adjusts the quantization interval adaptively to maintain a small quantization error for large gradients. Experimental results demonstrate the effectiveness of our quantization method for various combinations of network architectures and bit-widths on various tasks, including image classification, object detection, and super-resolution. We believe that this dissertation presents a new way of altering (or improving) the paradigms of the existing network quantization approaches, making it possible to accelerate inference and training processes in convolutional neural networks. 컴퓨터 비전 분야에서 합성곱 신경망 네트워크는 이미지 인식, 객체 탐지, 영상 분할 등 다양한 분야에서 획기적인 발전을 이루었다. 하지만 합성곱 신경망 네트워크는 많은 파 라미터와 연산량을 요구하며, 이에 따라 이들을 엣지 디바이스(예: 모바일 장치, 드론) 에 적용하는데 어려움을 주고 있다. 네트워크 경량화 기법 중 하나인 네트워크 양자화 방법은 요구하는 메모리 및 연산량을 감소시켜 앞선 문제를 해결하는데 효과적이다. 구체적으로, 네트워크 양자화는 전체 정밀도의 가중치, 활성화 및/또는 학습 기울기를 저비트 고정 소수점 값으로 대체하여, 효율적인 정수 연산을 가능케 하고 메모리 및 연산 비용을 동시에 줄인다. 본 학위논문은 네트워크 가중치, 활성화 및 학습 기울기를 낮은 비트수로 양자화 하면서 성능 저하를 최소화 하는 방법을 제안하며, 이를 통해 합성곱 신경망 네트워크의 추론/학습 과정을 경량화한다. 이를 위해, 먼저 미분 불가능한 양자화 연산을 극복하 는 새로운 양자화 방법인 거리 기반 양자화 기법을 개발한다. 이는 거리 인식 소프트 라운딩(DASR)과 온도 파라미터 조절기를 통합하여 기울기 불일치와 양자화 차이 문제를 동시에 해결한다. 또한, 낮은 비트 고정소수점 훈련을 위한 기울기 양자화 오차 분석을 통해, 크기가 큰 기울기들에 대한 양자화 오차가 학습에 지대한 영향을 끼침을 발견하였다. 이를 기반으로 전체 기울기에 대한 양자화 오차 대신, 큰 기울기의 양자화 오차를 줄이는 양자화 간격 업데이트 알고리즘을 제안한다. 본 학위논문은 제안한 방법 들을 다양한 네트워크 구조 및 비트수에 적용하였으며, 양자화 표준 벤치마크에서 세계 최고의 성능을 달성하여 그 효과를 증명한다. 추가적으로, 다양한 분석을 통해 제안한 방법들의 각 요소별 특성에 대한 효과도 함께 보여준다. 본 학위 논문에서 제시한 네트워크 양자화 연구는 합성곱 신경망 네트워크의 효율 성을 향상시키며, 이를 통해 드론 및 스마트폰과 같은 엣지 디바이스 장치에 신경망 네트워크를 구현하는데 기여 할 것이라 예상한다

Element-Wise Gradient Scaling and Transition Rate Scheduling for Quantization-Aware Training

Junghyup Lee 연세대학교 대학원 2024 국내박사

Quantization-aware training (QAT) simulates a quantization process during training to lower bit-precision of weights/activations, which is crucial for deploying deep neural networks on hardware with limited resources. There are two main challenges in QAT: (1) A discretizer (i.e., a rounding function) in the quantization process causes a zero-gradient problem during backpropagation. Most QAT methods avoid this problem by leveraging the straight-through estimator (STE) that replaces a derivative of the discretizer with that of an identity function. However, STE is sub-optimal in that it simply propagates the same gradient without considering discretization errors between inputs and outputs of the discretizer. (2) QAT learns quantized weights indirectly by updating latent weights, i.e., full-precision inputs to a quantizer, using gradient-based optimizers and learning rate (LR) scheduling. Due to an indirect update mechanism of quantized weights, however, it is difficult to control the degree of changes for quantized weights by scheduling the LR manually. In this dissertation, we study innovative solutions for the aforementioned problems of QAT, improving the stability and performance of QAT. The main contributions are as follows. First, we propose an element-wise gradient scaling (EWGS), a simple yet effective alternative to the STE, training a quantized network better than the STE in terms of stability and accuracy. Given a gradient of the discretizer output, EWGS adaptively scales up or down each gradient element, and uses the scaled gradient as the one for the discretizer input to train quantized networks via backpropagation. The scaling is performed depending on both the sign of each gradient element and an error between the continuous input and discrete output of the discretizer. We adjust a scaling factor adaptively using Hessian information of a network. We show extensive experimental results on the image classification datasets, including CIFAR-10 and ImageNet, with diverse network architectures under a wide range of bit-width settings, demonstrating the effectiveness of EWGS. Second, we introduce a transition rate (TR) scheduling technique that controls the number of transitions of quantized weights explicitly. Quantized weights transit discrete levels of a quantizer, only if corresponding latent weights pass transition points, where the quantizer changes discrete states. We thus conjecture that the degree of parameter changes in QAT is related to the number of quantized weights transiting discrete levels. Based on this idea, we schedule a target TR of quantized weights, instead of scheduling a LR for latent weights, and update the latent weights with a novel transition-adaptive LR, enabling considering the degree of changes for the quantized weights during QAT. Experimental results demonstrate the effectiveness of TR scheduling on standard benchmarks. We believe that this dissertation presents advanced training strategies that address key challenges of QAT and improve the practicality of quantized networks substantially, marking a significant step forward in optimizing quantized networks for resource-constrained environments. 양자화 인식 학습은 학습 도중에 양자화 과정을 모방하여 가중치 및 활성값의 비트 정밀도를 낮추어 네트워크를 최적화 하는 것으로, 제한된 자원을 갖는 하드웨어에 뉴럴 네트워크을 구현하는 데 중요한 기술이다. 현재 양자화 인식 학습 방법에는 두 가지 주요한 문제가 존재한다. 첫째, 양자화 과정에서의 이산화기(반올림 함수)는 역전파 도중에 기울기 소실 문제를 야기한다. 기존 양자화 인식 학습 방법은 이 문제를 해결하기 위해 이산화기의 미분값을 1로 대체하는 직선 추정 기법를 활용하였다. 하지만, 직선 추정 기법은 입력과 출력 사이의 이산화 오류를 고려하지 않고 동일한 기울기를 전파하기 때문에 최적의 접근법이라 보기 어렵다. 둘째, 양자화 인식 학습은 기울기 기반 최적화기와 학습률 스케줄링을 사용하여 양자화된 가중치를 간접적으로 학습한다. 그러나, 이러한 간접적인 업데이트 메커니즘으로 인해 학습률을 스케줄링하여 양자화된 가중치의 변화 정도를 제어하기 어렵다. 본 논문에서는 상기 문제에 대한 새로운 해결책을 제안하여 양자화 인식 학습의 안정성 및 최종 학습된 양자화 모델의 성능을 향상한다. 먼저, 본 논문에서는 직선 추정 기법을 대체하는 요소별 기울기 스케일링 기법을 제안한다. 이산화기 출력의 기울기가 주어졌을 때, 제안 방법은 각 기울기 요소를 적응적으로 증가 또는 감소시키고, 이를 이산화기 입력의 기울기로 역전파함으로써 양자화된 네트워크를 학습시킨다. 스케일링은 각 기울기 요소의 부호와 이산화기의 입력과 출력 간의 오차에 따라 수행되며, 추가로 네트워크의 헤시안 정보를 사용하여 스케일링의 정도를 적응적으로 조정한다. 다음으로, 본 논문에서는 양자화된 가중치의 전이율 스케줄링 기법을 제안한다. 양자화된 가중치는 대응되는 잠재 가중치가 전이점을 통과할 때 양자화 레벨을 바꾼다. 따라서, 양자화된 가중치의 변화 정도가 전이 횟수와 관련이 있다는 아이디어를 기반으로, 잠재 가중치에 대한 학습률 대신 양자화된 가중치의 목표 전이율을 스케줄링한다. 실제 학습 중 전이율이 목표 전이율을 따라가도록 새로운 전이 적응형 학습률을 도입하여 잠재 가중치를 업데이트하며, 이를 통해 양자화 인식 학습에서 양자화된 가중치의 변화 정도를 조절할 수 있도록 한다. 양자화 인식 학습을 위해 일반적으로 사용되는 기법들과 비교하여, 본 논문에서는 위의 두 가지 접근 방식이 각각 안정성과 양자화 성능을 크게 향상한다는 점을 보였으며, 이는 제안한 방법이 기존 접근법의 강력한 대안이 될 수 있다는 것을 시사한다.

적응 벡터양자화기의 고속탐색을 위한 코드북 최적화에 관한 연구

박병호 광운대학교 대학원 1992 국내석사

벡터 양자화는 스칼라 양자화보다 우수한 부호화 방법이지만 연산의 복잡성으로 실제 적용시에는 많은 연산을 필요로 한다. 따라서 본 논문은 벡터 양자화기의 연산의 복잡성을 줄여 빠른 코드북 탐색을 실현하기 위하여 LBG[5] 알고리즘에 의해 작성된 기준 코드북을 사용하여 고속 탐색이 가능한 코드북을 설계하였다. 코드북의 평균 최적 고속화를 실현하기 위해서는 데이터의 분포를 알아야 한다. 그러나 대부분의 경우 데이터 분포를 알 수 없으므로 투영법에 의해 분포 상태를 알고 코드북을 고속 탐색에 적합하게 이용하였으며 코드북을 고속탐색에 적합하도록 구조화하면 왜곡이 전체 탐색시보다 커지는데 이를 보완하기 위해 적응 벡터 양자화기를 적용하였다. 적응 벡터 양자화기는 추가의 연산은 필요로 하는데 이는 벡터 양자화기의 부호화 속도를 떨어뜨리지만 전체 탐색시의 속도 보다는 유리한 결과를 얻을 수 있다. 이는 고속 탐색이 갖는 정보의 왜곡을 적응 벡터 양자화기를 사용하여 왜곡을 줄임으로써 속도와 신호대 잡음비에서 개선된 벡터 양자화기의 설계가 가능하였다. Vector quantization is superior to scalar quantization in coding, but application of vector quantizer which have computational complexity needs many computation. In this paper, as minimize the computational complexity of vector quantizer, made fast codebook research and the reference codebook was made by LBG[5] algorithm. For the optimal fast codebook, we needs to know distribution of data, but we don't know almost data distributions, so used the projection method to know the distribution and applied that to optimal fast codebook design. And when the codebook fit for fast search, the distortion is great more than full search codebook. To prevent the distortion increase, use the adaptive vector quantizer. But adaptive vector quantizer needs additional computation which make down the speed of coding, we obtained high speed more than full search vector quantizer. Therefore, using the adaptive vector quantizer to reduce the distortion which made by fast codebook, upgrade coding speed and SNR.

가변 양자화기를 이용한 시각적 비트율 제어

윤석진 조선대학교 대학원 1996 국내박사

멀티미디어 자료의 저장 및 전송시 저장 매체의 용량 문제를 해결하고 전승 대역폭을 효율적으로 사용하기 위해 영상의 정보량을 압축할 필요가 없다. 이러한 기법의 대표적인 알고리즘이 ISO/IEC에서 제정된 JPEG 정지영상 압축기술 이다. MPEG과 같은 동영상 부호기에서는 영상의 국부적 특성에 따라 매크로블록단위로 양자화 행렬을 변화시켜 압축율을 높일 수 있을 뿐만 아니라 주관적인 화질을 증가시키는 효과가 있다. 이러한 점을 고려하여 확장 JPEG에서는 가변 양자화를 허용하여 MPEG 비트 스트림과의 호환성을 가지고 주관적 화질향상을 꾀하고 있다. 본 논문에서는 JPEG 베이스라인 시스템을 분석하고, 확장 JPEG에 적합한 가변 양자화기를 설계하였다. 영상의 국부적인 특성을 고려하지 않고 영상 전체에 하나의 양자화기를 이용하면 활동도가 낮은 영역에서 거친 양자화로 인해 블록킹 현상이 발생한다. 8×8 블록의 특성을 파악하기 위한 활동도를 계산하기 위하여 공간영역에서 4×4 소블록으로 나누어 수평과 수직방향의 기울기를 구하였으며, 블록의 경계면에서 엣지를 검출하기 위해 블록 중첩을 실행하였다. 블록 현상은 주로 활동도가 낮은 것을 기준으로 하여 블록의 전체 활동도를 구했다. 얻어진 활동도를 양자화기에 적용하기 위해 비선형 양자화 변수를 5단계로 분류하여 낮은 영역에서 좀더 세밀한 양자화가 이루어지도록 주어진 비트량을 적절히 배분하므로서 시각적으로 향상된 영상을 얻고자한다. 본 논문의 실험에 사용된 영상은 전형적인 정지 영상과 MPEG 비트 스트림에서 얻어진 다양한 활동도의 분포 특성을 갖는 영상을 사용하여 실험하였다. 그 결과, 매우 낮은 비트율에서도 블록 현상이 제거되었을 뿐만 아니라 전반적으로 PSNR이 향상되었으며, 경우에 따라서는 낮은 PSNR을 보이면서도 주관적으로 우월한 화질을 나타내었다. Image data is necessary to be reduced to solve the problem of storage media capacity and to efficiently use channel bandwidth when we store and transmit multimedia data. The typical algorithm to realize these techniques is named JPEG still picture compression generated by the ISO/IEC. Video coder such as MPEG, allows different quantizer matrix on a macroblock basis according to the regional property This technique increases not only the compression ratio but also the subjective quality Connecting to the problem, the JPEG extensions allow the variable quantizer yielding the compatibility with MPEG bit stream and increasing the subjective quality In this paper we analize the JPEG baseline system and main objective is to design an efficient quantizer for the JPEG extension. If I use a quantizer in a whole image without considering the regional property, the blocking artifact arises, due to the coarse quantization in the low activity region I divides into 4×4 subblocks which consider a regional property of 8×8 block, and calculate horizontal and vertical derivatives to obtain the block activity To detect edges at block boundaries I calculates the derivatives of the overlapped subblocks The total activity is obtabed on the basis of low activity block that causes the blocking effect The nonlinear quantizer parameter is classified into 5 categories in order to finely quantize in the lower active region The quantizer aims to get visually improved images by efficient bit allocation The simulation images in this paper are typical still images and those obtained from MPEG bit stream. The images are simulated which have various activity distribution characteristics. As a result, the blocking effect is greatly reduced at very low bit rates. Image quality increases objectively and subjectively. Even an image that shows worse PSNR contains less blocking effect and shows better subjective quality