선박-육지간 통신을 위한 실시간 H.264 to MPEG-2 트랜스코딩

손남례(Nam Rye Son),정민아(Min A Jeong),이성로(Seong Ro Lee) 大韓電子工學會 2011 電子工學會論文誌-SP (Signal processing) Vol.48 No.1

현재 위성방송을 통해 신호를 전송 또는 재전송하는 무선통신서비스를 이용하는 시청자 층은 다양하다. 하지만 방송국은 H.264표준으로 압축된 동영상들을 위성통신을 통하여 전송하기 때문에 H.264표준 디바이스를 갖추지 않는 선박은 실시간으로 데이터를 전송받지 못하는 단점을 가지고 있다. 따라서 본 논문에서는 기존 MPEG-2 표준 디바이스를 사용하고 있는 선박을 위하여 H.264 to MPEG-2 트랜스코딩 방법을 제안한다. 제안한 방법은 H.264 표준의 매크로블록모드의 특성을 분석하여 H.264 to MPEG-2 transcoding의 계산시간 및 화질을 개선한다. 첫째, H.264와 MPEG-2표준의 INTRA 모드 방법이 상이하므로 새로운 방법을 제안한다. 둘째, 매크로블록모드가 INTER 모드인 경우에는 H.264표준의 가변블록 안에 존재하는 움직임벡터의 방향성을 고려하여 새로운 예측움직임벡터(PMV: predictor motion vector)를 제안한다. 이때 최종움직임벡터는 예측움직임벡터를 그대로 사용하거나, H.264표준의 매크로블록내에 존재하는 가변블록들의 움직임벡터들과 MPEG-2부호기(baseline)의 움직임벡터의 일치율을 비교하여 최종적으로 움직임벡터를 예측할 범위(window size)를 결정한다. 실험결과, 제안한 트랜스코딩방법의 PSNR은 MPEG-2 FSBMA와 거의 일치하고, 트랜스코딩에 필요한 계산시간은 평균적으로 각각 70% 또는 67% 감소하였다. Recently, the grade of users using wireless communication services which transmits and re-transmits to the signal via the broadcasting satellite have a variety. However the ships not preparing of H.264 standard devices should not received the realtime data because the broadcasting stations have transmitted the compressed video data through the satellite communication. Therefore this paper proposes H.264 to MPEG-2 transcoding for the ships using MPEG-2 devices. Proposed method improves a speed and object quality in H.264 to MPEG-2 transcoding by analysis features of macroblock modes in H.264. In the Intra mode of P-frame, it proposes new method by computing coincidence proportion after comparing of Intra mode methods of H.264 and MPEG-2. In the Inter mode, it proposes a PMV(predictive motion vector) considering movement of motion vectors in H.264 decoder. we reuses a PMV directly as like the final MV in MPEG-2 encoder and refinements the MV after coincidence ratio comparing of variable motion vectors of H.264 and these of MPEG-2. The experimental results from proposed method show a considerable reduction in processing time, as much as 70% and 67% respectively, with a small objective quality reduction in PSNR.

MPEG2에서 H.264로의 트랜스코딩 기법

김동형,정제창,Kim, Dong-Hyung,Jeong, Je-Chang 한국통신학회 2005 韓國通信學會論文誌 Vol.30 No.7C

In this paper, we present a transcoding algorithm for converting an MPEG-2 video bitstream to an H.264 bitstream. The proposed transcoder consists of two parts. One is MPEG2 decoding part and the other is H.264 encoding part Because our algorithm is for transcoding in the spatial domain, MPEG2 decoding part carries out full decoding of MPEG2 bitstream. While, because macroblock type and coded block pattern in MPEG2 are significantly related to macroblock mode in H.264, macroblock mode is selected adaptively according to macroblock type and coded block pattern in H.264 decoding part. Furthermore, motion vector is also used as side-information for 16$\ctimes$16 macroblock mode. Simulation results show that the proposed transcoder yields high reduction of total transcoding time at comparable PSNR. 본 논문에서는 MPEG-2로 부호화된 비디오 스트림에서 H.264 부호화 표준으로의 트랜스코딩 기법을 제안한다. 제안하는 MPEG2에서 H.264t로의 트랜스코더는 MPEG2 복호화부와 H.264 부호화부로 구성되어 있으며, MPEG2 복호화부가 입력되는 MEPG2 비디오 스트림의 전복호화(全復號化)를 수행하는 공간영역에서의 트랜스코딩 기법이다. 반면 MPEG2 복호화 과정에서 사용되는 매크로블록 타입과 부호화블록패턴은 H.264의 매크로블록 모드와 상당한 연관성을 가지는데, 이를 이용하여 H.264 부호화부에서는 MEPG2의 매크로블록 타입, 부호화블록패턴 정보를 이용하여 H.264 부호화부에서의 매크로블록 모드를 적응적으로 선택하고 추가적으론 움직임 벡터를 활용함으로 전체 트랜스코더의 복잡도를 감소시킨다. 제안하는 트랜스코더를 시퀀스에 적용한 결과 전복호화 후 전부호화의 결과와 비교하여 평균 0.03dB의 PSNR 차이만을 보이는 반면 전체 트랜스코딩 시간은 최대 61$\%$ 감소된 것으로 나타난다.

Recursive 구조를 이용한 MPEG-2 BC/AAC 오디오 공용 합성 필터

강명수,박세기,오신범,이채욱 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.6C

MPEG 오디오 표준은 고품질 오디오를 제공하기 위해 인간 청각계의 지각현상을 이용한 오디오 압축 알고리듬이다. 다수의 표준안 중 MPEG-2 BC와 MPEG-2 AAC에 대한 공용 복호화 시스템은 아직 발표되어 있지 않다. 본 논문에서는 BC/AAC의 공용 시스템을 구축하여 복호화 과정에서 공통된 구조로 연산을 수행하고 면적감소, 비용절감 등을 목표로 한다. 본 논문에서는 공통된 연산구조를 가지기 위해서 recursive 구조를 이용하여 복호화 과정중 합성 필터링 과정을 공통된 구조로 연산을 수행할 수 있는 공용 합성 필터 구조를 제안한다. 제안한 구조는 연산시간의 개선을 위하여 고속 알고리듬을 적용하였으며 기존의 MPEG-2 AAC 함성 필터링에 대한 recursive 알고리듬을 2단 recursive 구조로 변경, 적용하였고 그 결과 같은 구조로 MPEG-2 BC의 서브밴드 합성필터링도 연산 가능함을 보였다. MPEG Audio compression algorithm is the international standard for the digital compression of high quality audio using mechanism of the perceptual coding based on psychoacoustic masking. It is necessary to discuss the constraints on designing of common filter banks for MPEG-2 BC and MPEG-2 AAC decoder system, which is not Down yet, mapping audio signals from the time domain into the frequency domain. In this paper, we present an architecture of common synthesis filter whcih can be used for MPEG-2 BC and MPEG-2 AAC decoder using recursive structure. The proposed algorithm is based on recursive architecture that effectively performs common compulsion.

MPEG2-TS를 RTP로의 적용 및 변환 시스템

신극재,김호겸,홍진우,정회경,Shin, Geuk-Jae,Kim, Ho-Kyom,Hong, Jin-Woo,Jung, Hoe-Kyung 한국정보통신학회 2011 한국정보통신학회논문지 Vol.15 No.4

IPTV 콘텐츠는 MPEG2-TS(Moving Picture Expert Group-2 Transport Stream)에 기반을 두고 있으며, 생성된 콘텐츠는 인터넷 서비스망을 이용하여 각 가정의 수신기(Set-Top Box)에 전달되고, 이는 디코딩(Decoding) 과정을 거쳐 텔레비전에 보이게 된다. 하지만 기존의 제공된 회선 이외에 다른 장치에서의 콘텐츠 확대 이용 및 소비는 상당히 제한적 이었으며, 이를 위해 MPEG2-TS를 다른 포맷으로 변환 전송 등의 방법이 다양하게 제공되었으나 이들 방법들은, 시스템에 부하를 많이 가져올 뿐만 아니라, 자체적인 하드웨어 요구 사양이 높아지는 결과를 초래하였다. 이에 본 논문에서는 IPTV 내에서 MPEG2-TS로 제공되는 콘텐츠를 RTP(Real time Transport Protocol)를 이용하여 사용자에게 좀 더 다양한 장치와 환경에 적용 및 제공하는 시스템을 설계 및 구현하였다. 본 논문에서는 기존의 MPEG2-TS로 제공되는 다양한 콘텐츠에 대한 타 장치로의 배포 및 소비가 가능하여 소비자의 콘텐츠 이용에 대한 QoS(Quality of Service)를 향상시킬 뿐만 아니라, 콘텐츠에 대한 소비 및 이용 증가에 따른 IPTV 사업의 발전 및 활성화에 도움이 될 것이다. IPTV contents are based on MPEG2-TS(Moving Picture Expert Group-2 Transport Stream). The Created content is delivered to each home's Set-Top box through the Internet service network, which will be visible on television through the decoding process. The using and spending of content expanding were quite limited in the other existing lines' devices. For this end, provided methods are to convert MPEG2-TS to other format and then transmit it. These methods are causing not only an overload to the system but also its increasing the hardware resource requirements. In this paper, the MPEG2-TS of IPTV's content using RTP(Real time Transport Protocol) provided by the applicable variety of devices and environmental system, was designed and implemented. Through this paper, the existing MPEG2-TS is providing other devices for distribution and consumption that can give better content to the consumers which means that the QoS(Quality of Service) was enhanced. And, the increased consumption and use of content will help the IPTV business to get more development and activation.

MPEG-2에서 H.264로의 Transcoding 과정에서 DCT 계수를 H.264 변환 계수로 변환하는 효율적인 알고리듬

김용재,이창우,Kim, Yong-Jae,Lee, Chang-Woo 한국통신학회 2007 韓國通信學會論文誌 Vol.32 No.8c

가장 최근에 표준화된 H.264/AVC 동영상 압축 부호화 방식은 기존의 방법인 MPEG-2에 비해 우수한 압축 효율을 보이지만, 아직 많은 응용분야에서 MPEG-2가 적용되고 있기 때문에 MPEG-2에서 H.264/AVC로의 변환 기법 개발이 필요하다. 본 논문에서는 이러한 변환을 위해 가장 첫 번째 단계로 볼 수 있는 DCT 계수에서 H.264 변환 계수로의 변환을 위한 효율적인 방법을 제안한다. 이러한 변환은 영상의 압축을 위한 변환기술로 MPEG-2에서는 $8{\times}8$ discrete cosine transform(DCT)를 사용하고 있고, H.264/AVC 표준안에서는 $4{\times}4$ integer transform을 사용하고 있기 때문에 필수적이다. 제안하는 알고리듬에서는 부호화 성능을 유지하면서 효율적으로 계산량을 감소시킬 수 있는 방법을 제시하고 계산량 분석과 모의실험을 통해서 이를 입증한다. The H.264/AVC video coding standard provides higher coding efficiency compared to the conventional MPEG-2 standard. Since a lot of videos have been encoded using MPEG-2, the format conversion from MPEG-2 to H.264 is essential. In this paper, we propose an efficient method for the conversion of DCT coefficients to H.264/AVC transform coefficients. This conversion is essential, since $8{\times}8$ DCT and $4{\times}4$ integer transform are used in MPEG-2 and H.264/AVC, respectively. The mathematical analysis and computer simulation show that the computational complexity of the proposed algorithm is reduced compared to the conventional algorithm, while the loss caused by the conversion is negligible.

MPEG-2에서 H.264로 변환하기 위한 고속 모드 결정 기법

김원균,박경준,유종민,정제창,Kim, Won-Kyun,Park, Kyung-Jun,You, Jong-Min,Jeong, Je-Chang 한국통신학회 2007 韓國通信學會論文誌 Vol.32 No.3C

본 논문에서는 MPEG-2로 부호화된 비디오 스트림에서 H.264부호화 표준으로 변환하기 위한 저 복잡도 모드 결정 기법을 제안한다. 제안하는 MPEG-2에서 H.264로의 트랜스코더는 MPEG-2 복호화부와 H.264 부호화부로 구성되어 있으며, MPEG-2 복호화부에서 얻을 수 있는 현재 매크로블록외 정보를 이용해서 H.264에서 I프레임과 P프레임의 매크로블록 모드를 적응적으로 선택함으로써 전체 트랜스코더의 복잡도를 감소시킨다. 제안하는 트랜스 코더를 시퀀스에 적용한 결과 주목할 만한 화질열화나 비트율의 증가 없이 $30\sim60%$정도 복잡도가 감소된 것으로 나타난다. In this paper, we present a efficient transcoding method from MPEG-2 to H.264. The proposed transcoder is the transcoding method for spatial domain which consists of MPEG-2 decoder part and H.264 encoding part. In transcoder, we can get useful information to estimate less probable modes from MPEG-2 decoder. Using this information, H.264 encoder chooses the macroblock mode of I-frame and P-frame adaptively to reduce the whole complexity of the transcoder. Our experimental result shows that the proposed algorithm can archive about $30\sim60%$ computational saving without significant degradation of visual quality and increasing of bit rate.

움직임벡터 군집화를 이용한 H.264/AVC에서 MPEG-2로의 비디오 트랜스코딩

신윤정,손남례,이귀상,Shin, Yoon-Jeong,Son, Nam-Rye,Nguyen, Dinh Toan,Lee, Guee-Sang 한국전자통신학회 2010 한국전자통신학회 논문지 Vol.5 No.1

H.264/AVC는 기존 비디오 코덱보다 성능이 우수하여 최근 IPTV, DMB등의 압축표준으로 사용되고 있다. 따라서 H.264/AVC로 압축된 데이터를 이전 코덱을 사용하는 장비에서 이용하기 위하여 트랜스코딩 연구가 이루어지고 있다. 본 연구에서는 움직임벡터의 군집화(Clustering)를 이용한 H.264/AVC에서 MPEG-2로의 트랜스코딩 방법을 제시한다. H.264/AVC 비트스트림을 MPEG-2의 인코더로 보낼 때 H.264/AVC 가변블록의 움직임벡터들의 거리와 방향성을 고려한 클러스터링을 수행하여 후보벡터를 선택한 후 최소의 왜곡치를 갖는 1개의 움직임벡터로 최종 결정한다. 이렇게 선정된 최종 움직임벡터는 MPEG-2 인코더에서 ${\pm}2$ pixel 만큼 전역탐색으로 보정 한 후 재사용하는 방법으로 트랜스코딩 시간을 최소화하고자 한다. 실험을 통하여 계산시간과 비디오 화질을 비교한 결과 기존연구보다 PSNR값이 최대 6.7% 향상되었으며 부호화 시간은 최대 64% 개선되었다. The H.264/AVC is increasingly used in broadcast video applications such as Internet Protocol television (IPTV), digital multimedia broadcasting (DMB) because of high compression performance. But the H.264/AVC coded video can be delivered to the widespread end-user equipment for MPEG-2 after transcoding between this video standards. This paper suggests a new transcoding algorithm for H.264/AVC to MPEG-2 transcoder that uses motion vector clustering in order to reduce the complexity without loss of video quality. The proposed method is exploiting the motion information gathered during h.264 decoding stage. To reduce the search space for the MPEG-2 motion estimation, the predictive motion vector is selected with a least distortion of the candidated motion vectors. These candidate motion vectors are considering the correlation of direction and distance of motion vectors of variable blocks in H.264/AVC. And then the best predictive motion vector is refined with full-search in ${\pm}2$ pixel search area. Compared with a cascaded decoder-encoder, the proposed transcoder achieves computational complexity savings up to 64% with a similar PSNR at the constant bitrate(CBR).

유비쿼터스 통신 환경에서 MPEG-2의 H.264로의 Transcoding 과정에서 DCT 계수를 이용한 효율적인 인트라 예측 모드 결정 기법

김용재,이창우 한국통신학회 2008 韓國通信學會論文誌 Vol.33 No.9

The H.264/AVC video coding standard provides higher coding efficiency compared to the conventional MPEG-2 standard. Since a lot of videos have been encoded using MPEG-2, the format conversion from MPEG-2 to H.264 is essential. In this paper, we propose an efficient method for the conversion of DCT coefficients to H.264/AVC transform coefficients. This conversion is essential, since 8×8 DCT and 4×4 integer transform are used in MPEG-2 and H.264/AVC, respectively. The mathematical analysis and computer simulation show that the computational complexity of the proposed algorithm is reduced compared to the conventional algorithm, while the loss caused by the conversion is negligible. H.264 부호화 표준은 기존의 부호화 표준에 비해 많은 새로운 기술들을 사용하여 우수한 압축 효율을 보여주지만, 부호기의 복잡도가 크게 증가한다. 특히, 비트율-왜곡 최적화 기법을 사용하여 인트라 예측 모드를 결정하는 부분은 많은 계산량을 필요로 하기 때문에 이를 개선하기 위한 많은 알고리듬이 제안되고 있다. 또한 아직 많은 동영상이 MPEG-2를 이용하여 부호화되기 때문에 MPEG-2에서 H.264로의 효율적인 변환 기법도 요구되어진다. 본 논문에서는 MPEG-2에서 H.264로의 변환과정에서 4×4 DCT 계수를 이용하여 4×4 혹은 16×16의 두 가지 인트라 모드 중 하나를 먼저 선정하고, 4×4 DCT 계수의 DC계수를 이용하여 효율적으로 인트라 예측 모드를 결정하는 방법을 제안한다. 모의실험을 통해 제안하는 알고리듬이 영상의 부호화 성능을 유지하면서 복잡도 및 부호화 수행 시간을 감소시키는 결과를 확인한다.

프레임 기반의 우선순위화를 적용한 네트워크 적응형 HD MPEG-2 스트리밍의 설계 및 구현

박상훈,이승주,김종원,김우석,Park SangHoon,Lee Sensjoo,Kim JongWon,Kim WooSuk 한국통신학회 2005 韓國通信學會論文誌 Vol.30 No.10A

최근 네트워크 미디어 기술의 발달로 인터넷 망에서 HDTV급의 고화질 비디오를 스트리밍하는 시도가 많이 이루어 지고 있다. 그러나 최선형 서비스(best-effort service)를 기반으로 하는 인터넷 망에서 고화질 비디오를 안정적으로 스트리밍하기 위해서는 네트워크 상황에 적응할 수 있는 전송 기법이 요구된다. 본 논문에서는 MPEG 프레임(I, P, B)기반의 패킷 우선순위화를 적용한 네트워크 적응형 HD MPEG-2 스트리밍 시스템을 설계 및 구현한다. 전송 비디오는 JVC HDV 카메라로부터 실시간으로 입력받으며 19.2 Mbps의 비트율과 MPEG-2 TS (MPEG-2 MP@HL) 형식을 갖는다. 네트워크 상태의 측정은 스트리밍 클라이언트에서의 RTP 패킷 헤더의 파싱을 이용한 패킷 손실율과 평균 지터의 측정을 통해 이루어지며 이 정보는 주기적으로 스트리밍 서버로 피드백 된다. 스트리밍 서버의 네트워크 적응 관리자(network adaptation manager)에서는 네트워크 상태에 따라 프레임의 중요도에 따른 프레임 폐기(frame dropping)를 함으로서 전송률 적응을 수행한다. 이와 관련하여 TS 패킷의 실시간 파싱 및 프레임 기반 패킷 우선순위화 기법이 제안된다. 제안 시스템은 소프트웨어로 구현되며 LAN 환경에서의 실험을 통해 네트워크의 이용 가능한 대역폭이 변동하는 상황에서 HD 스트리밍의 종단 간 서비스 품질을 향상시킴을 보여준다. As the networked media technology have been grown in recent, there have been many research works to deliver high-quality video such as HDV and HDTV over the Internet. To realize high-quality media service over the Internet, however, the network adaptive streaming scheme is required to adopt to the dynamic fluctuation of underlying networks. In this paper, we design and implement the network-adaptive HD(high definition) MPEG-2 streaming system employing the frame-based prioritized packetization. Delivered video is inputted from the JVC HDV camera to the streaming sewer in real-time. It has a bit-rate of 19.2 Mbps and is multiplexed to the MPEG-2 TS (MPEG-2 MP@HL). For the monitoring of network status, the packet loss rate and the average jitter are measured by using parsing of RTP packet header in the streaming client and they are sent to the streaming server periodically The network adaptation manager in the streaming server estimates the current network status from feedback packets and adaptively adjusts the sending rate by frame dropping. For this, we propose the real-time parsing and the frame-based prioritized packetization of the TS packet. The proposed system is implemented in software and evaluated over the LAN testbed. The experimental results show that the proposed system can enhance the end-to-end QoS of HD video streaming over the best-effort network.

고속 MPEG-2-H.264/AVC 변환부호화를 위한 화면내 MB 예측 모드 결정 기법

Xingang Liu,유국열(Kook-yeol Yoo) 한국통신학회 2008 韓國通信學會論文誌 Vol.33 No.12C

본 논문에서는 MPEG-2-H.264/AVC 변환 부호기에서 병목현상을 야기하는 H.264/AVC 부분의 화면내 부호기의 연산량을 감축하는 기법을 제안한다. 본 논문에서는 MPEG-2 복호기에서 획득한 DCT 계수와 영상의 방향성, H.264/AVC 화면내 부호기의 Intra16x16 및 Intra4x4 모드들 간의 상관관계 및 휘도와 색차 신호간의 경계(edge) 특성의 상관성을 활용하여 모드 선정시에 연산량을 감축하는 기법을 제안한다. 모의 실험을 통해 제안 방식이 기존에 널리 사용되는 결합형 변환 부호기에 비해 최대 약 70%의 연산량을 감축할 수 있음을 보였고, 대표적인 연산량 감축 기법인 [5]의 기법에 비해 최대 40%의 연산량을 감축할 수 있음을 보였다. Since the high quality digital TV systems are broadly deployed in the market, the digital video contents will be edited and distributed in MPEG-2 MP@HL format. Due to its impressive coding efficiency, the H.264/AVC codec has rapidly replaced the MPEG-4 SP codec for mobile digital video terminal with low quality. For the broad distribution of digitial video contents produced in MPEG-2 format, the MPEG-2 to H.264/AVC transcoding is highly necessary nowadays. In this paper, we propose a fast intra MB prediction mode decision method to reduce the computational complexity in the transcoding, which is the main bottleneck in the transcoders. The proposed method is based on the several relationships such as DCT coefficients and edge orientation, correlation between prediction directions in the Intra16x16 and Intra4x4 modes, correlation between edge-orientations of luminance and chrominance components. The simulation results show that the proposed method can reduce the computational complexity upto 70% and 40%, compared with the cascaded transcoder and the well-known fast intraframe transc oder, respectively.