인터 프레임의 시공간적 정보를 이용한 MPEG-2 인트라 프레임의 오류 은닉

강민정,류철,Kang, Min-Jung,Ryu, Chul 한국융합신호처리학회 2003 융합신호처리학회 논문지 (JISPS) Vol.4 No.2

MPEG-2 소스 부호화 알고리즘은 가변장 부호화를 사용하기 때문에 채널 오류에 매우 민감하다. 압축 데이터가 전송되는 동안 비트 오류가 발생하게 되고, 이 오류를 정정 기술로 보정할 수 없는 경우 디코더에서는 오류 은닉 방식을 사용함으로써 영상의 화질 저하를 최소화할 수 있다. 본 논문에서 제안하는 알고리즘은 I 프레임의 연속적인 매크로블록 오류를 은닉하기 위한 방식으로 I 프레임과 시간적으로 가장 가까이 위치한 이전 GOP의 B 프레임의 시간적 정보와 P 프레임의 공간적 정보를 이용한다. 이 방식은 기존의 오류 은닉 방식들이 갖는 시간적 오류에 의한 움직임 왜곡과 공간적 오류에 의한 번짐 현상을 개선할 수 있으며, 전송 오류가 매우 심한 망에서의 심각한 슬라이스 오류를 보다 효과적으로 은닉할 수 있다. 알고리즘은 MPEG-2 비디오 코덱에서 수행되었고 모의 실험을 통하여 다른 방식들에 비하여 I 프레임의 슬라이스 오류를 효율적으로 은닉할 수 있음을 증명한다. The MPEG-2 source coding algorithm is very sensitive to transmission errors due to using of variable-length coding. When the compressed data are transmitted, transmission errors are generated and error correction scheme is not able to be corrected well them. In the decoder error concealment (EC) techniques must be used to conceal errors and it is able to minimize degradation of video quality. The proposed algorithm is method to conceal successive macroblock errors of I-frame and utilize temporal information of B-frame and spatial information of P-frame In the previous GOP which is temporally the nearest location to I-frame. This method can improve motion distortion and blurring by temporal and spatial errors which cause at existing error concealment techniques. In network where the violent transmission errors occur, we can conceal more efficiently severe slice errors. This algorithm is Peformed in MPEG-2 video codec and Prove that we can conceal efficiently slice errors of I-frame compared with other approaches by simulations.

An Error Concealment Technique for MPEG-4 Video Transmission over Wireless Networks

박정범,어진우,Park, Jeong-Beom,Eo, Jin-Woo Institute of Korean Electrical and Electronics Eng 2005 전기전자학회논문지 Vol.9 No.2

비디오 통신에서의 에러 제어와 은닉 문제는 무선 네트워크들과 인터넷 같은 불안정한 채널 상에서의 비디오 전달에 관심이 증가되면서 관심이 증대되고 있다. 훼손된 데이터들을 복구하기 위하여 공간적 또는 시간적, 두 가지의 에러 은닉 방법이 개발되고 있다. 또한 모바일 비디오 데이터 전송 환경에서 공간적 에러 은닉 알고리즘의 사용으로 인한 계산상의 오버헤드는 심각한 오버헤드로 나타난다. 본 논문에서는 에러 증식이 빈번한 무선 네트워크상의 비디오 스트리밍 시스템에서 모바일 단말 수신단의 저하된 MPEG-4 비디오의 퀄리티를 복구하는 하이브리드 에러 은닉 기법을 제안하였다. 제안된 방법은 MPEG-4 디코더 단에 위치한다. 또한 제안된 방법은 임베디드 멀티미디어 모바일 단말의 높은 성능을 제공하기 위해서 인텔의 무선 MMX 기술을 이용하였고, IP 채널 상에서의 PDA와 같은 모바일 스트리밍 시스템에, 제안한 알고리즘을 채용하여 그 성능을 확인하였다. 제안된 방법은 기존의 전통적인 에러 은닉 알고리즘과의 성능 비교를 통해 낮은 복잡성의 요구와 작은 범위의 검색을 이용하여 인코딩단의 어떠한 변형 없이 비디오 플레이어에 대해 보다 빠른 처리능력과 뛰어난 비디오 품질을 제공하였다. The video data corrupted by the transmission error due to packet loss induce error propagation in decoded video data, and cause poor video quality. To remedy these corrupted video data, there have been introduced two types of error concealment techniques: spatial or temporal error concealment algorithm. Computational overhead by using spatial error concealment algorithm is a serious disadvantage in mobile video data streaming environment. In this paper, we propose hybrid type error concealment technique recovering video quality of mobile device using MPEG-4 video streaming on error-prone wireless network. Our algorithm is implemented in MPEG-4 decoder. The algorithm adopts Intel Wireless MMX technology to provide high performance of portable embedded multimedia mobile device. It is proven that the proposed algorithm shows expected performance for a mobile streaming system(PDA) on IP channels. Our approach showed better processing speed and better video quality comparing with traditional error concealment algorithm.

군집성 오류와 오류 확산에 강인한 적응적 SVC 오류 은닉 선택 기법

기근영(Guen-Young Kee),변재영(Jae-Young Pyun) 한국정보기술학회 2013 한국정보기술학회논문지 Vol.11 No.7

Scalable Video Coding (SVC) is a video codec which provides various media services through scalability in variety of mobile environments. For the scalability issues of MPEG, SVC inherites MPEG expansion format and provides a high scalability by developing efficient base and enhancement layers. But, the reliable streaming video transmission cant be satisfied with only the scalability of streaming video in SVC. Thus, error concealment techniques have been introduced into SVC to reduce the quality degradation caused by transmission errors. But, the traditional error concealments such as BLSkip and RU have still shown vulnerable to burst errors and error propagation. In this paper, we show the analysis of the error concealments and introduce a new channel adaptive error concealment strongly robust to burst errors and error propagation.

채널상태에 적응적인 계층 부호화를 이용한 오류 은닉 방법 연구

한승균,박승호,서덕영,Han Seung-Gyun,Park Seung-Ho,Suh Doug-Young 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.1B

본 논문은 손실이 발생하기 쉬운 무선 네트워크에서 계층 부호화를 이용한 비디오 데이터의 적응적 오류 은닉기법을 제안한다. 비디오 데이터는 압축과정에서 중복성이 제거되므로, 전송 시 무선채널과 같이 손실이 발생하기 쉬운 네트워크에서는 오류에 더욱 더 민감하다. 본 논문에서 제안하는 오류 은닉방법은 두 가지이다. 첫째는 기본계층의 움직임 벡터를 이용하여 이전 VOP로 은닉하는 방법이고, 두 번째는 오류가 발생한 영역을 움직임의 유무에 따라 움직임이 있는 부분은 기본계층의 같은 위치영역 정보로 은닉하고 움직임이 없는 부분은 이전 VOP의 같은 위치 영역 정보로 은닉하는 적응적인 방법이다. 본 논문에서는 제안하는 오류 은닉 방법을 계층 부호화된 비디오 데이터에 적용했을 때 매우 유용함을 입증한다. 실험 결과에서 무선네트워크 망의 상태에 따라 달라지는 에러 패턴과 영상의 특성에 따라, 기본계층의 정보를 참조하거나 이전 VOP 정보를 참조함으로써 좀 더 나은 은닉방법임을 보였다. 본 논문에서는 계층부호화에 MPEG-4를 사용하는데, 더 나아가 DCT를 근간으로 하는 모든 비디오 코덱에 응용할 수 있다. In this paper: we propose the adaptive error concealment technique for scalable video coding over wireless network error prove environment. We prove it is very effective that Error concealment techniques proposed in this paper are applied to scalable video data. In this paper, we propose two methods of error concealment. First one is that the en·or is concealed using the motion vector of base layer and previous VOP data. Second one is that according to existence of motion vector in error position, the error is concealed using the same position data of base layer when the motion vector is existing otherwise using the same position data of previous VOP when the motion vector is 0(zero) adaptively. We show that according to various error pattern caused by condition of wireless network and characteristics of sequence, we refer decoder to base layer data or previous enhancement layer data to effective error concealment. Using scalable coding of MPEG-4 In this paper, this error concealment techniques are available to be used every codec based on DCT.

Error Concealment Based on Multiple Representation for Wireless Transmission of JPEG2000 Image

Yang Ou,Won-Young Lee(이원영),Taeuk Yang(양태욱),Sung Taek Chee(지성택),Kyung Hyune Rhee(이경현) 한국통신학회 2008 韓國通信學會論文誌 Vol.33 No.1C

The transmission of multimedia information over error-prone channels such as wireless networks has become an important area of research. In this paper, we propose two Error Concealment (EC) schemes for wireless transmission of JPEG2000 image. The Multiple Representation (MR) is employed as the preprocessing in our schemes, whereas the main error concealing operation is applied in wavelet domain at receiver side. The compressed code-stream of several subsampled versions of original image is transmitted over a single channel with random bit errors. In the decoder side, the correctly reconstructed wavelet coefficients are utilized to recover the corrupted coefficients in other sub-images. The recovery is carried out by proposed basic (MREC-BS) or enhanced (MREC-ES) methods, both of which can be simply implemented. Moreover, there is no iterative processing during error concealing, which results a big time saving. Also, the simulation results confirm the effectiveness and efficiency of our proposed schemes.

H.264/AVC를 위한 선택적 시간축 에러 은닉 방법

정봉수,최웅일,전병우,김명돈,최송인,Jung Bongsoo,Choi Woongil,Jeon Byeungwoo,Kim Myung-Don,Choi Song-In 대한전자공학회 2005 電子工學會論文誌-SP (Signal processing) Vol.42 No.2

본 논문은 H.264/AVC 비디오 비트스트림의 전송 에러 복원에 알맞는 선택적 시간축 에러 은닉 알고리즘을 제안한다. 제안 알고리즘은 손실 매크로블록이 전경인지 배경인지 판단한 결과에 따른 해당 에러 은닉방법을 수행한다. 손실 블록이 배경으로 판단된 경우에는 단순 대체 기법으로 은닉하며, 손실 블록이 전경으로 선택되었을 경우에는 다중 참조영상에서 추정된 블록들의 유사성을 판단하여 추정블록들을 선택적으로 평균하여 은닉을 한다. 제안된 알고리즘은 CDMA2000 (UMTS)망의 무선(air) 인터페이스에서 발생하는 에러 모의실험을 통하여 H.264/AVC의 FMO 부호화에서 H.264/AVC의 테스트 모델상의 에러 은닉 알고리즘보다 평균 1.18dB 성능 향상이 있으며, N-Slice 부호화에서는 평균 0.33dB의 성능 향상을 나타내었다 또한 주관적 화질면에서도 제안된 방법이 다른 에러 은닉 알고리즘보다 우수함을 보인다. In this paper, we propose a new selective temporal error concealment algerian best suited for H.264/AVC. The proposed algorithm performs selective temporal error concealment depending on whether the lost block is at background or foreground. It the corrupted macroblock is decided as at background, then the simple temporal replacement is performed. Also we propose replacing a lost block at foreground with the selective average of respectively estimated blocks from the multiple reference frames. This paper supposes error-corrupted H.264/AVC video bitstreams over CDMA2000 (or UMTS) air interface. It is shown that under Flexible Macroblock Ordering (FMO) coding of H.264/AVC, the proposed algorithm provides PSNR gain up to 1.18dB compared to built-in algorithm in the K264/AVC test model. In addition, the proposed error concealment method has average PSNR improvement of 0.33dB compared with that under N-slice coding mode. The proposed algorithm also provides better subjective video quality than other conventional error concealment algorithms.

High Performance Spatial and Temporal Error-Concealment Algorithms for Block-Based Video Coding Techniques

Ching-Ting Hsu,Mei-Juan Chen,Wen-Wei Liao,Shen-Yi Lo 한국전자통신연구원 2005 ETRI Journal Vol.27 No.1

A compressed video bitstream is sensitive to errors that may severely degrade the reconstructed images even when the bit error rate is small. One approach to combat the impact of such errors is the use of error concealment at the decoder without increasing the bit rate or changing the encoder. For spatial-error concealment, we propose a method featuring edge continuity and texture preservation as well as low computation to reconstruct more visually acceptable images. Aiming at temporal error concealment, we propose a two-step algorithm based on block matching principles in which the assumption of smooth and uniform motion for some adjacent blocks is adopted. As simulation results show, the proposed spatial and temporal methods provide better reconstruction quality for damaged images than other methods.

워터마크를 이용한 전송 채널 에러의 검출 및 은닉

박운기,전병우 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.2c

전송 채널에서의 잡음은 시간적으로 연속적인 동영상의 정상적인 복원을 어렵게 하고, 수신측의 복원 영상의 질을 크게 저하시키므로 전송 채널 에러를 정확하게 검출하여 에러에 대한 영향을 최소화 할 수 있는 방법이 필요하다. 본 논문에서는 전송 채널에 의해 발생한 오류를 찾아내고 제거할 수 있도록 전송 데이터 내에 워터마크를 삽입하는 방법을 제안한다. 제안된 방법은 부호화기에서 동영상 압축 데이터의 일부분인 양자화된 DCT 계수의 LSB에 특정한 패턴을 삽입하며, 복호화기에서는 이러한 LSB의 특정한 패턴을 검사함으로써 전송된 데이터의 신뢰성을 확인할 수 있다. 또한 에러에 의해 손상된 부분을 효과적으로 복원하기 위해 움직임 추정 벡터의 유사도 정보를 삽입함으로써 에러가 발생된 블록의 복원 능력을 향상시킬 수 있도록 한다. 제안하는 방법은 에러에 쉽게 노출되는 무선 환경 하의 휴대용 단말기와 같은 동영상 전송ㆍ수신 시스템에 효과적으로 사용될 수 있다. There are channel errors when video data are transmitted between encoder and decoder. These channel errors would make decoded image incorrect, so it is very important to detect and recover channel errors. This paper proposes a method of error detection and recovery by hiding specific information into video bitstream using fragile watermark and checking it later. The proposed method requires no additional bits into compressed bitstream since it embeds a user-specific data pattern in the least significant bits of LEVELs in VLC codewords. The decoder can extract the information to check whether the received bitstream has an error or not. We also propose to use this method to embed essential data such as motion vectors that can be used for error recovery. The proposed method can detect corrupted MBs that usually escape the conventional syntax-based error detection scheme. This proposed method is quite simple and of low complexity. So the method can be applied to multimedia communication system in low bitrate wireless channel.

적응적 경계 정합을 이용한 시간적 에러 은닉 기법

김원기,이두수,정제창 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.5C

에러가 존재하는 전송환경을 통해 MPEG-2 비디오를 전송하기 위해서는 다양한 에러 제어 기법이 필요하다. 특히, 수신 단에서 독립적으로 구현할 수 있는 에러 은닉 기법은 양질의 영상을 얻기 위해 중요한 기술이다. 본 논문에서는 매크로블록이 움직임 벡터와 함께 손상이 되었을 때 움직임 벡터 추정 및 적응적인 BMA 방법을 이용하는 시간적 에러 은닉 방법에 대해 제안한다. 복잡도가 높은 BMA를 사용하기에 앞서 주변 움직임 벡터를 이용한 움직임 벡터 추정을 통해 에러 은닉을 수행한다. 그 결과가 만족스럽지 못할 때에는 주변 매크로블록의 움직임 활동도와 움직임 리터에 따라 탐색 범위를 줄이고 신뢰도가 높은 경계화소들을 추출하는 적응적 BMA을 적용함으로써 에러 블록을 좀더 효과적으로 복원할 수 있다. 이러한 에러 은닉 방법은 기존의 BMA와 비교하여 복잡도는 줄이면서 PSNR 측면에서 0.3∼0.7㏈ 정도의 성능향상을 보인다. To transmit MPEG-2 video on an errorneous channel, a number of error control techniques are needed. Especially, error concealment techniques which can be implemented on receivers independent of transmitters are essential to obtain good video quality. In this paper, prediction of motion vector and an adaptive boundary matching algorithm are presented for temporal error concealment. Before the complex BMA, we perform error concealment by a motion vector prediction using neighboring motion vectors. If the candidate of error concealment is not satisfied, search range and reliable boundary pixels are selected by the temporal activity or motion vectors and a damaged macroblock is concealed by applying an adaptive BMA. This error concealment technique reduces the complexity and maintains a PSNR gain of 0.3∼0.7㏈ compared to conventional BMA.

Application of watermarking to error concealment in video communications

오태석(Tae Suk Oh),김용철(Yong Cheol Kim) 대한전기학회 2006 정보 및 제어 심포지엄 논문집 Vol.2006 No.1

An informed watermarking algorithm is proposed in this work that aids in concealing packet loss errors in video communications. This watermark-based error concealment(WEC) method embeds a low resolution version of the video frame inside itself as watermark data. At the receiver, the extracted watermark is used as a reference for error concealment. The proposed DCT-based algorithm has features of informed watermarking in order to minimize the distortion of the host frame. At the encoder, a predictive feedback loop is employed which helps to adjusts the strength of the scale factor. Furthermore, some of the modified coefficients of the DCT signal are virtually free from distortion by employing bit-sign adaptivity. The performance of the detector is qualitatively analyzed for error concealment applications where full-frame DCT embedding proved to be more advantageous.