MPEG-4 AVC를 위한 고속 다해상도 움직임 추정기의 하드웨어 구현

임영훈,정용진,Lim Young-hun,Jeong Yong-jin 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.11C

본 논문에서는 다해상도 움직임 추정 알고리즘을 이용하여 모션 리터를 검색하는 고속 다해상도 움직임 추정기에 대한 하드웨어 구조를 제안한다. 동영상 압축기술인 MPEG-4 AVC 전체 구성 중에서 핵심 부분인 움직임 추정 모듈을 하드웨어로 설계하기 위하여 기본적인 구조를 구성하고 높은 화질로 실시간 부호화를 할 수 있도록 고속 움직임 검색을 위해 특수하게 설계된 램 구주 메모리 공유, 4화소x4화소 Motion Vector 추출 등과 같은 기술들을 사용하여 전체 움직임 검색기를 구현하였다. 구현된 전체 모듈은 Altera(사)의 Excalibur 디바이스를 이용한 FPGA 구성을 통해 검증하고 최종적으로 Samsung STD130 0.18um CMOS Cell Library를 이용하며 합성 및 검증을 하였다. 이렇게 검증된 구조의 성능은 ASIC으로 구현할 경우 최대 동작 주파수가 약 140MHz이며 QCIF(176화소x144화소) 사이즈 기준으로 초당 약 1100프레임, 4CIF(704화소x576화구 사이즈 기준으로 초당 약 70프레임의 움직임을 검색할 수 있다 본 성능은 하드웨어 기반의 MPEG-4 AVC 실시간 부호화기를 설계하기에 적합한 구조임을 보여준다. In this paper, we propose an advanced hardware architecture for fast multi-resolution motion estimation of the video coding standard MPEG-1,2 and MPEG-4 AVC. We describe the algorithm and derive hardware architecture emphasizing the importance of area for low cost and fast operation by using the shared memory, the special ram architecture, the motion vector for 4 pixel x 4 pixel, the spiral search and so on. The proposed architecture has been verified by ARM-interfaced emulation board using Excalibur Altera FPGA and also by ASIC synthesis using Samsung 0.18 m CMOS cell library. The ASIC synthesis result shows that the proposed hardware can operate at 140 MHz, processing more than 1,100 QCIF video frames or 70 4CIF video frames per second. The hardware is going to be used as a core module when implementing a complete MPEG-4 AVC video encoder ASIC for real-time multimedia application.

MPEG-4 AVC를 위한 고속 인터 예측기의 하드웨어 구현

임영훈,이대준,정용진,Lim Young hun,Lee Dae joon,Jeong Yong jin 한국통신학회 2005 韓國通信學會論文誌 Vol.30 No.3C

본 논문에서는 MPEG-4 AVC 부호화기를 위한 고속 인터 예측기에 대한 하드웨어 구조를 제안한다. 동영상 압축기술인 MPEG-4 AVC 부호화기의 전체 구성 중에서 핵심 부분인 인터 예측기를 1/4화소 단위로 움직임 추정을 수행 할 수 있도록 하드웨어 구조를 설계하였으며 이를 위해 블록 조각화, 움직임 추정, 움직임 보정의 기본적인 구조를 구성하고 실시간 동영상 부호화를 할 수 있도록 인터 메모리와 1/4화소 단위 고속 블록 계산기 등을 이용하였다. 구현된 전체 모듈은 Altera Excalibur 디바이스와 Xilinx Virtex2 디바이스를 이용한 FPGA 구성을 통해 검증하고 삼성 STD130 0.18um CMOS Cell Library를 이용하여 합성 및 검증을 하였다. 이렇게 검증된 구조의 성능은 ASIC으로 구현할 경우 최대 동작 주파수가 약 62.5MHz이며 성능은 QCIF크기의 영상데이터를 기준으로 초당 약 88프레임의 인터예측을 수행할 수 있다. 본 성능은 하드웨어 기반의 MPEG-4 AVC 실시간 부호화기를 설계하기에 적합한 구조임을 보여준다. In this paper, we propose an advanced hardware architecture for the fast inter prediction engine of the video coding standard MPEG-4 AVC. We describe the algorithm and derive the hardware architecture emphasizing and real time operation of the quarter_pel based motion estimation. The fast inter prediction engine is composed of block segmentation, motion estimation, motion compensation, and the fast quarter_pel calculator. The proposed architecture has been verified by ARM-interfaced emulation board using Excalibur & Virtex2 FPGA, and also by synthesis on Samsung 0.18 um CMOS technology. The synthesis result shows that the proposed hardware can operate at 62.5MHz. In this case, it can process about 88 QCIF video frames per second. The hardware is being used as a core module when implementing a complete MPEG-4 AVC video encoder chip for real-time multimedia application.

H.264에서 고속 매크로 블록 분할 결정 방법에 관한 연구

송대건 한국인터넷방송통신학회 2014 한국인터넷방송통신학회 논문지 Vol.14 No.6

H.264/MPEG-4 AVC는 높은 부호화 효율을 재현하는 동영상 부호화 방식이나 부호화 처리가 많다는 문제점이 있다. 또한 많은 부호화 처리에서는 Inter예측에 관련된 처리가 대부분을 차지하고 있으며 특히 H.264/MPEG-4 AVC에서는 그 비율이 높게 나타나있다. 기존의 동화상 부호화 방식도 Inter예측이 차지하는 비율이 높으나 H.264/MPEG-4 AVC에서는 가변 블록 크기 움직임 보상, 2개 이상의 복수 참조 프레임에 더하여 1/4 영상 정도의 움직임 보상을 이용 할 수 있도록 하고 있으며 부호화 처리량 증가가 커다란 하나의 요인이 되어 있다. 따라서 본 논문에서는 부호화 대상 매크로 블록 크기와 탐색 중에 참조하는 매크로 블록의 pixel 수의 차분을 이용함으로서 움직임 보상 블록크기의 탐색을 유효하게 감소시키는 방법에 대해 제안하였다. The performance improvement in MPEG-4 AVC is provided at the expense for higher computational complexity. Most of the complexity is caused by Inter prediction. To improve coding efficiency, some functions are added in H.264/MPEG-4 AVC, such as variable block size motion compensation, multi reference frame and quarter-pel motion compensation. A fast macroblock partition decision method is proposed in this paper. The macroblock size is efficiently determined by using the pixel value difference between encoding and the referred macroblock.

향상된 3G 영상통화를 위한 H.264|MPEG-4 Part 10 AVC 부호화 툴 및 파라미터 조합에 따른 성능 연구

나태영,김문철,임정연,주영호,김기문 에스케이텔레콤 (주) 2010 Telecommunications Review Vol.20 No.4

휴대전화 단말기를 이용한 영상통화 서비스는 3GPP(3rd Generation Partnership Project)/3GPP2 표준화 기구에서 권고하는 사항을 준수하고 있으며 서비스를 위한 영상 코덱의 사용에 있어서도 관련 표준을 따르고 있다. 현재국내 영상통화 서비스는 기존 음성통신망을 통해 이루어지고 있어 부호화 성능이 높은 코덱 선택이 필수적이며 3GPP 는 H.263 사용을 필수로 하고 MPEG-4 Visual 심플 프로파일(simple profile)과 H.264|MPEG-4 Part 10 AVC 베이스라인 프로파일(baseline profile) 코덱들의 선택적 사용을 권고하고 있다. 그러나 H.263과 MPEG-4 Visual의경우 크게 제한된 대역폭 내에서 사용자가 만족할 만한 수준의 영상통화품질을 제공하지 못하고 있는 현실이며 이에가장 부호화 성능이 뛰어난 H.264의 사용의 필요성이 대두되고 있다. 본 논문에서는 H.264를 영상통화에 적용하는데 있어 3GPP에서 권고하고 있는 베이스라인 프로파일 수준의 부호화 복잡도로 영상통화에 가장 우수한 성능을 보이는 새로운 부호화 툴 및 파라미터 조합을 도출하고 이 조합의 이동통신망에서의 오류 강인성에 대한 성능 분석 결과를제시한다.

H.264/AVC baseline profile to MPEG-4 visual simple profile transcoding to reduce the spatial resolution

Hur, Jae-Ho,Kwon, Hyouk-Kyun,Lee, Yung-Lyul Wiley Subscription Services, Inc., A Wiley Company 2006 INTERNATIONAL JOURNAL OF IMAGING SYSTEMS AND TECHN Vol.16 No.1

<P>In this study, we propose a heterogeneous transcoding method of converting an H.264/Advanced video coding (AVC) Baseline profile (BP) video bitstream into an MPEG-4 Visual simple profile (VSP) video bitstream. The proposed method reduces the spatial resolution for mobile terminals, which support only low resolution video bitstreams. When the H.264/AVC BP video bitstream is transformed into the MPEG-4 VSP video bitstream, the conversions between the H.264/AVC BP block types and the MPEG-4 VSP block types are performed by analyzing the macroblocks (MBs) conversion probability and calculating the difference values of motion vector. The proposed transcoding method runs on average 5.5 times faster than the cascaded transcoding methods, for a degradation of the PSNR (peak-signal-to ratio) of less than 0.5 dB. © 2006 Wiley Periodicals, Inc. Int J Imaging Syst Technol, 16, 24–33, 2006</P>

H.264|MPEG-4 AVC 비디오 부호화에서 움직임 벡터 정보와 16×16 및 4×4 화면 내 예측 최종 모드간 통계적 연관성을 이용한 화면 간 프레임에서의 4×4 화면 내 예측 고속화 방법

나태영(Taeyoung Na),정윤식(Yunsik Jung),김문철(Munchurl Kim),함상진(Sangjin Hahm),박창섭(Changseob Park),박근수(Keunsoo Park) 한국방송·미디어공학회 2008 방송공학회논문지 Vol.13 No.2

Efficient MPEG-4 to H.264/AVC Transcoding with Spatial Downscaling

Toan Dinh Nguyen,이귀상,June-Young Chang,Han-Jin Cho 한국전자통신연구원 2007 ETRI Journal Vol.29 No.6

Efficient downscaling in a transcoder is important when the output should be converted to a lower resolution video. In this letter, we suggest an efficient algorithm for transcoding from MPEG-4 SP (with simple profile) to H.264/AVC with spatial downscaling. First, target image blocks are classified into monotonous, complex, and very complex regions for fast mode decision. Second, adaptive search ranges are applied to these image classes for fast motion estimation in an H.264/AVC encoder with predicted motion vectors. Simulation results show that our transcoder considerably reduces transcoding time while video quality is kept almost optimal.

영상 화면에 적용한 확장적응성 선택 방법에 관한 연구

송대건(Song Dae Geon) 한국정보전자통신기술학회 2008 한국정보전자통신기술학회논문지 Vol.1 No.3

최근 네트워크대역 및 수신단말기의 해상도의 다양화에 의해 One Source-Multi use의 영상 전송을 구현하기 위한 기술로서 영상 확장적응성 기능이 주목받고 있다. 현재 MPEG에서는 H.264/MPEG-4 AVC를 기본으로 하는 SVC(Scalable Video Coding)의 표준화가 진행되고 있으며 SVC에서는 공간 시간 SNR 확장적응성을 제공할 수가 있다. 그러나 일반적으로 확장적응한 부호화는 비 확장적응한 부호화에 비해 부호화 효율이 떨어진다고 알려져 있다. 그래서 본 논문에서는 시간, SNR 확장적응성에 착안하여 SVC에 의한 확장적응성의 입자크기의 정도와 부호화 효율 관계를 기초로 하는 SNR 스케일러빌러티를 제공하는 FGS(Fine Granular Scalability) 기능을 전환함으로서 주관 품질의 향상을 꾀하는 수법을 검토한다. An image scalablity function is noted as technology to embody One Source-Multi-use's Image division by the network Bandwidth and diversification of resolution of reception terminal recently. In MPEG present H.264/MPEG-4 AVC that do to standardization of SVC (Scalable Video Coding) that know go and SVC can offer space time SNR scalability. But, encoding that do scalable usually is known that encoding efficiency drops than encoding that do rain scalable during time and treatise that see. Examine technique to plan improvement of management quality as that aim to time, SNR scalability in treatise that see so and change FGS (Fine Granular Scalability) function that offer SNR scalability that do about scalability's particle size and encoding efficiency relation by SVC to foundation.

H.264/AVC-Scalable Extension의 표준화 연구동향과 알고리즘 분석

박성호(Seong-ho Park),김원하(Wonha Kim),한우진(Woo-jin Han) 한국방송·미디어공학회 2005 방송공학회논문지 Vol.10 No.4

H.264/AVC 비디오 보호를 위한 비가시적 워터마킹의 설계 및 검증

박혜정(Hye Jeong Park),최준림(Jun Rim Choi) 대한전자공학회 2008 電子工學會論文誌-SD (Semiconductor and devices) Vol.45 No.6

본 논문에서는 차세대 비디오 압축 표준인 H.264/AVC의 지적 재산권 보호를 위한 워터마크 이미지를 양자화 이후의 계수에 삽입하고 검출하는 방법을 제안하고 검증하였다. 제안한 비가시적 워터마킹 알고리즘은 양자화 단계 이후에 I 프레임의 휘도성분에만 워터마크를 삽입하기 때문에 압축 과정에 의한 손실을 피할 수 있는 장점이 있다. 여러 테스트 영상에 대해 다양한 테스트를 수행한 결과 제안한 알고리즘은 워터마크 삽입으로 인한 영상의 화질 열화가 1㏈ 이하이며, 워터마크 삽입 또는 추출에 의한 계수 변형으로 인해 bit rate 증가율이 2% 정도이고, 전체 수행 시간에 미치는 영향도 2% 이하의 결과를 얻을 수 있었다. 하이닉스 0.25㎛ 공정을 사용하여 설계한 IP를 H.264 압축 코어에 적용하여 최대 115㎒에서 동작 검증하였으며 워터마크를 삽입한 동영상의 PSNR은 35㏈를 유지할 수 있었다. In this paper, we propose and design a new H.264/AVC watermarking algorithm for protection of copyright by inserting a watermark after quantization. This invisible watermarking algorithm inserts a watermark into chrominance components of I frame such that we can avoid degradation of original images. According to test results we could limit image degradation by 1㏈, avoid bit rate increment within 2% and increase processing time by only 2%. The IP is designed by Hynix 0.25 micron technology and the maximum operating frequency of 115㎒ is achieved. The PSNR of the embedded watermark is about 35㏈ according to the test result.