여기신호의 상관관계 기반 joint coding을 이용한 MPEG-4 audio lossless coding 인코더 복잡도 감소 방법

조충상(Choong Sang Cho),김제우(Je Woo Kim),김병호(Byeong Ho Choi) 大韓電子工學會 2010 電子工學會論文誌-SP (Signal processing) Vol.47 No.3

오디오 신호를 무손실 압축하여 휴대용 멀티미디어 기기에서 최고의 오디오 품질을 제공하는 기기들이 등장하고 있으며, 무손실 오디오 압축을 위한 기술에서는 2006년 MPEG-4 audio lessless coding(ALS)와 MPEG-4 scalable lossless coding(SLS)가 국제 표준으로 채택 되었다. 2009년에는 MPEG에서 최대 스테레오 음원까지만 지원하는 MPEG-4 ALS simple profile을 정의하였다. 표준화된 무손실 오디오 코덱이 휴대용 멀티미디어 기기에서 널리 이용되기 위해서는 휴대용 멀티미디어 기기에서 가장 널리 쓰이는 스테레오 조건에서 낮은 복잡도를 보여야 한다. 하지만 기존 연구에서는 MPEG-4 ALS의 압축률을 향상시키거나, 혹은 다채널 환경에서의 복잡도를 개선하기 위한 연구들이 주로 이루어졌다. 본 논문에서는 MPEG-4 ALS 인코더의 복잡도와 압축률을 분석하고, 이를 바탕으로 MPEG-4 ALS simple profile 조건에서 MPEG-4 ALS 인코더의 복잡도를 개선하기 위한 방법을 제안한다. 분석 결과 MPEG-4 ALS 인코더의 analysis 블록에서 전체 복잡도의 75% 발생하므로, 기존의 연구에서 개발된 저 복잡도 필터를 인코더에 적용하여 복잡도를 감소시키며, joint coding의 압축 효율과 여기 신호의 상호상관계수의 관계를 기반으로 joint coding 결정 방법을 제안한다. 제안된 방법과 저 복잡도 필터가 포함된 MPEG-4 ALS 인코더의 성능은 MPEG-4 conformance test 파일과 일반 음악 파일을 이용하여 복잡도 및 압축률로써 평가된다. 실험 결과 제안된 방법이 적용되었을 경우 압축률은 유사하면서 인코더 복잡도가 24% 감소한다. 이를 통해 본 논문에서 제안된 방법이 MPEG-4 ALS 인코더의 복잡도 감소에 탁월한 성능을 가짐을 보였다. Portable multi-media products which can service the highest audio-quality by using lossless audio codec has been released and the international lossless codecs, MPEG-4 audio lossless coding(ALS) and MPEG-4 scalable lossless coding(SLS), were standardized by MPEG in 2006. The simple profile of MPEG-4 ALS, it supports up to stereo, was defined by MPEG in 2009. The lossless audio codec should have low-complexity in stereo to be widely used in portable multi-media products. But the previous researches of MPEG-4 ALS have focused on an improvement of compression ratio, a complexity reduction in multi-channels coding, and a selection of linear prediction coefficients(LPCs) order. In this paper, the complexity and compression ratio of MPEG-4 ALS encoder is analyzed in simple profile of MPEG-4 ALS, the method to reduce a complexity of MPEG-4 ALS encoder is proposed. Based on an analysis of complexity of MPEG-4 ALS encoder, the complexity of short-term prediction filter of MPEG-4 ALS encoder is reduced by using the low-complexity filter that is proposed in previous research to reduce the complexity of MPEG-4 ALS decoder. Also, we propose a joint coding decision method, it reduces the complexity and keeps the compression ratio of MPEG-4 ALS encoder. In proposed method, the operation of joint coding is decided based on the relation between cross-correlation of residual and compression ratio of joint coding. The performance of MPEG-4 ALS encoder that has the method and low-complexity filter is evaluated by using the MPEG-4 ALS conformance test file and normal music files. The complexity of MPEG-4 ALS encoder is reduced by about 24% by comparing with MPEG-4 ALS reference encoder, while the compression ratio by the proposed method is comparable to MPEG-4 ALS reference encoder.

객체기반 장면 저작을 위한 MPEG-4 BIFS 생성 도구의 개발

김희선 위덕대학교 산업기술연구소 2003 산업기술연구소 논문집 Vol.7 No.1

MPEG-4 씬(scene)은 다양한 종류의 시청각 객체를 포함하고, 객체기반 사용자 상호작용을 지원한다. 이러한 MPEG-4 씬을 만들기 위하여, 텍스트 포맷의 씬 디스크립션을 주로 사용한다. 그러나 텍스트를 이용한 저작은 복잡한 씬을 구성하기가 어렵고, 씬을 직관적으로 저작하기도 어렵다. 그래서, 본 논문은 사용자가 멀티미디어 객체를 사용하여 시각적으로 씬을 작성할 수 있고, 저작된 시청각 씬을 MPEG-4 씬 디스크립션으로 변환해주는 MPEG-4 씬 저작 도구를 제안한다. 본 저작 도구는 시각 객체 아이콘을 이용하여 시청각 씬을 구성하고, 객체의 시공간 속성과 이벤트 정보를 시각적으로 구성할 수 있다. 또한 저작된 씬을 인코딩하여 MPEG-4 스트림으로 생성한다. An MPEG-4 scene involves the various types of audio-visual objects and supports object based user interaction. To make these MPEG-4 scenes, the scene description of textual format is used typically. But there is difficult to compose complex scenes and author scenes intuitively. So, this paper proposes an MPEG-4 scene authoring tool that allows user to make a scene using multimedia objects visually and transform the authored audio-visual scene into MPEG-4 scene description. This authoring tool makes it possible to compose audio-visual scene using visual object icons and configure the spatio-temporal attributes and the event information of objects visually. Also it generates the MPEG-4 stream by encoding the authored scene.

MPEG-4 미디어 스트리밍에 적합한 실시간형 다중원형버퍼 모델

신용경,김상욱 한국정보과학회 2003 정보과학회 컴퓨팅의 실제 논문지 Vol.12 No.4

MPEG는 멀티미디어 응용의 표준이며, 저작자, 서비스 제공자, 최종 수요자 모두의 요구에 부합할 수 있는 기술들을 제공한다. 본 논문에서는 이러한 MPEG-4 컨텐츠를 효과적으로 스트리밍하는 데 적합한 실시간형 다중원형버퍼(M4RM 버퍼) 모델을 제안한다. M4RM 버퍼는 전송된 정보에 따라 MPEG-4 컨텐트를 구성하는 각 객체에 적합한 버퍼 구조체를 생성하고 그 주소 값만으로 다중 읽기 쓰기 연산을 수행한다. M4RM 버퍼에서는 표준에 기술된 디코더 버퍼와 컴포지tus 버퍼를 프레임 단위로 분할하여 스트림의 접근 범위를 최소화한다. 이러한 프레임 버퍼는 객체 서술자 정보에 따라 할당된다. 또한 버퍼에 기술된 객체의 동기화 정보를 처리하며, 사용자 이벤트 처리를 위한 효율적인 버퍼관리 API를 제공한다. 실험 결과에 의해, M4RM 버퍼 모델이 연산 시 버퍼 프레임에 대기하는 시간을 단축시키고, 그 결과로 IM1-20 재생기 및 윈도우 미디어 재생기에 비해 소량의 메모리를 사용하여 실시간 MPEG-4 스트리밍이 가능함을 보여준다. MPEG-4 is a standard for multimedia applications and provides a set of technologies to satisfy the needs of authors, service providers and end users alike. In this paper, we suggest a Real-time Multiple Circular Buffer (M4RM Buffer) model, which is suitable for streaming these MPEG-4 contents efficiently. M4RM buffer generates each structure of the buffer, which matches well with each object composing an MPEG-4 content, according to the transferred information, and manipulates multiple read/write operations only by its reference. It divides the decoder buffer and the composition buffer, which are described in the standard, by the unit of frame allocated to minimize the range of access. This buffer unit of a frame is allocated according to the object description. Also, it processes the objects synchronization within the buffer and provides APIs for an efficient buffer management to process the real-time user events. Based on the performance evaluation, we show that M4RM buffer model decreases the waiting time in a buffer frame, and so allows the real-time streaming of an MPEG-4 content using the smaller size of the memory block than IM1-2D and Window Media Player.

MPEG-4 시스템 기반의 다시점 동영상 시점 전환 서비스

박경석(Kyungseok Park),김민준(Minjun Kim),강성환(Sunghwan Kang),김승호(Sungho Kim) 한국정보과학회 2010 정보과학회 컴퓨팅의 실제 논문지 Vol.16 No.1

현재 MPEG(Moving Picture Expert Group)은 1998년에 시작되어 멀티미디어 콘텐츠에 관한 압축 및 표현기술에 대한 표준규격을 제정하는 기구로, 그간 MPEG-1, MPEG-2, MPEG-4, MPEG-7 규격에 대한 표준 규격을 제정해 왔다. MPEG의 표준들 중에서 3차원 비디오와 관련된 규격으로는 1996년 MPEG-2 Video 표준에 포함된 Multi-View Profile을 들 수 있다. 하지만 MPEG-2 Multi-View Profile은 주 대상이 양안시점 영상에 대한 압축규격으로, 다시점 비디오 기술을 만족시키기에는 충분하지 않다. 그리고 MPEG-2는 시점 변경에 대한 기술이 없어 다시점 비디오를 이용한 시점전환(interactive)과 같은 서비스를 제공하지 못하는 한계를 지니고 있다. 따라서 본 논문에서는 기존의 MPEG-4 시스템에 추가적으로 비디오 스위칭을 위해 특정시점을 기술할 수 있는 구조를 제안한다. Moving Picture Expert Group(MPEG) is the organization foundedin 1998 to establish the standards for compressing and expressing the multimedia contents. The organization has established the technological standards such as MPEG-1, MPEG-2, MPEG-4 and MPEG-7. As the 3D video related standards, there is Multiview Profile which is included in the MPEG-2 video of 1996. However, as the MPEG-2 multiview profile is the standard for compressing the videos from two viewpoints on the object, it is not enough to meet the requirement of multiviewvideo technology. In addition, it does not have the technology on the viewpoint switching that it does not provide the services such as the user interaction. This paper proposes the structure in which the specific viewpoint can be described for video switching in addition to the current MPEG-4 system.

내장형 리눅스 기반 이동 단말기에서의 MPEG-4 오디오 스트리밍 재생기의 구현

차경애(Kyung-Ae Cha) 한국산업정보학회 2008 한국산업정보학회논문지 Vol.13 No.5

본 논문은 내장형 리눅스 기반의 이동 단말기 상에서 MPEG-4 AAC 데이터를 실시간으로 재생하는 소프트웨어를 구현하고 그 실험 결과를 통해서 오차 범위 내에서 MPEG-4 오디오의 재생이 가능함을 검증한다. MPEG-4 AAC 데이터는 압축효율이 높고 음질이 뛰어나 다양한 기기에서 사용이 용이하다. 특히 휴대폰, PDA 등과 같은 이동 환경에서 사용되는 단말기가 급증하면서, 오디오 데이터의 응용어플리케이션 개발의 필요성도 증대되고 있다. 그러나 소형의 이동 단말기는 전력, 메모리 등의 자원의 한계로 인하여 디코딩 과정이 복잡한 MPEG-4 AAC 데이터를 재생하는 응용어플리케이션의 개발을 위해서는 단말기의 성능에 최적화된 형태로 소프트웨어 모듈을 구현해야 한다. 이를 위해서 MPES-4 AAC 디코딩 연산과 정을 단말기의 프로세서 성능에 알맞은 형태로 연산변형하고 스트리밍 서버를 통해서 전송되는 오디오 데이터를 재생할 수 있도록 설계하였다. In this paper, we develop MPEG-4 AAC streaming player on embedded Linux processor such as mobile terminals. Moreover we show the experimental results that the player preforms the decoding processes of MPEG-4 AAC data effectively. MPEG-4 AAC technology supports a wide range encoding rates and high sound quality so it is appropriate to adopt various applications. In particular, the need in the development of the application of audio data increases according to significantly increase in devices used in mobile environments, such as cell phones and PDAs. In this environment, it is necessary to optimize the decoding processes to the ability of the terminal hardware in order to play audio data without delays. We also implement the decoding module to optimize the processor capabilities and make the player to decode and play streaming audio data from streaming server.

DSP상에서 실시간 처리 가능한 MPEG-4 Library에 관한 연구

홍성화,정석용 한국융합학회 2011 한국융합학회논문지 Vol.2 No.1

MPEG-4 라이센싱 분석과 특허효과

배홍균 ( Hong Kyun Bae ) 한남대학교 과학기술법연구원 2011 과학기술법연구 Vol.17 No.1

MPEG Technologies are used in the Compression and Decompression of Video Streams in many Consumer Devices, from Small Mobile Handsets to large Digital TV sets. However, there are multiple variation of MPEG Standards that are used in different products. New MPEG Standard has superseded an older one, for example, MPEG-2 surpassing MPEG-1, MPEG-4 AVC Part 10 or H.264 is being used in the Next-Generation Smartphones, as well as in video delivery networks. At present, The Mobile MPEG-4 market, which includes MPEG-4 Part 2 and MPEG-4 Part 10, will also experience unit growth, due to the addition of Video functions to Mobile Handsets. On the one hand, MPEG LA are the World`s leading packager of Patent Pools for standards and other Technology platforms used in Consumer Electronics and Wireless Technology. They developed the Pool Market space, their Business model supports a large number of Patent users-creating reasonable access and profitable opportunities for all parties. They help make markets for Intellectual Property that maximize profits for Intellectual Property owners and make utilization of Intellectual Property affordable for manufacturers, consumers and other users. In this article, We examined that Device form factors in the Smartphone Market are undergoing a period of rapid change, escalating rapidly from 3% of devices sold in 2007 to 45% in 2010. We expect the significance of the Slate form factor to continue to increase, albeit at a declining rate of growth, setting at nearly 60% of Global Smartphone Devices by 2015. Currently, Korea is emerging as the Main Core Business, the Digital Broadcasting, Mobile Communications, Smart Phones, etc., that has an important part of MPEG Technology. In this study, the core business in Korea have emerged as important technology of MPEG-4 Technology. We explained the formation of Patent Pools, and detailed results of the MPEG-LA License Agreement. In order to enhance high technology of MPEG, we should invest in Applied Technology and construct system for MPEG Patent information.

XMT-A를 이용한 MPEG-4 컨텐츠 저작

이법기,정원식,고일석,최영수,한찬호 한국콘텐츠학회 2002 한국콘텐츠학회논문지 Vol.2 No.3

다양한 형태의 차세대 오디오/비디오 서비스를 위한 멀티미디어 데이터를 유연성 있게 부호화하기 위한 국제 표준 규격인 MPEG-4에서는 저작된 멀티미디어 컨텐츠를 저장하기 위한 포맷으로 XMT (eXtensible MPEG-4 Textual ferret)와 MPEG-4 파일 포맷 (MP4)를 제공하고 있다. 이들 중 XMT 포맷은 사람이 컨텐츠의 내용을 읽을 수 있는 가독성을 가지고 있는 장점이 있으며, XML을 기반으로 하고있기 때문에 여러 가지 응용에 사용될 수 있다. 본 논문에서는 인터렉티브 멀티미디어 컨텐츠를 저작할 수 있는 국제 표준인 MPEG-4를 따르는 컨텐츠를 XMT-A를 이용하여 저작하는 방법에 대하여 기술한다. MPEG-4 is an international standard for interactive multimedia data that is used for next generation audio-visual service. It presents an two types of storage formal such as XMT (eXtensible MPEG-4 Textual fount) and MP4 file format D store the interactive multimedia contents. The XMT, a textual format, has advantage of readability and it can be used in many applications since designed based on the XML In this paper, we present the way how to author the MPEG-4 contents using XMT.

적응적 MPEG-4 컨텐츠를 위한 객체기반 스케일링 기법

차경애 대구대학교 2005 대구대학교 학술논문집 Vol.1 No.1

멀티미디어 데이터를 이용한 서비스 기술 및 단말 환경 개발의 증가는 멀티미디어 데이터의 표준화 및 재생 환경에 알맞은 데이터 제공의 필요성을 증대시키고 있다. 멀티미디어 정보의 압축 및 표현에 관한 국제 표준인 MPEG-4는 컴퓨터 기술뿐만 아니라 방송, 통신 등의 응용 영역에서 활용 가능한 대화형 멀티미디어 서비스를 위해서 객체 기반의 멀티미디어 데이터 구현 기술을 개발하고 있다. 본 논문은 이와 같이 서로 다른 형태의 미디어 데이터로 이루어지는 MPEG-4 컨텐츠를 다양한 서비스 환경에서 적응 가능한 형태로 제공하여 투명성을 보장하는 컨텐츠 적응 기술을 제안한다. 이를 위해서 MPEG-4 컨텐츠를 구성하는 각 미디어 객체를 다양한 비트 레이트로 인코딩하여 계층화하고 미디어 객체가 서비스되어야할 때의 대역폭에 적합한 비트 스트림의 계층을 선택하여 전송한다. 이 때 MPEG-4 컨텐츠는 전송되는 미디어 객체의 집합이 가변적일 수 있으므로 전송될 비트 스트림 역시 변화되는 특징을 가진다. 따라서 서비스되는 스트림의 품질을 최대로 유지하면서 동시에 대역폭에 적합한 스트림을 전송하는 상반된 목적을 달성하기 위해 대역폭을 제한 조건으로 하고 전송되는 스트림의 품질을 최대화하는 문제로 접근한다. 실험 결과를 통해서 제안한 MPEG-4 컨텐츠 저작 및 적응 기술이 효과적임을 보인다. Multimedia applications play an important role in various applications which use various types of multimedia contents. MPEG-4 is the international standard for an object based audio-visual presentation. Thus, it can be effectively applied to the multimedia contents service domain. The purpose of this paper is how we can provide the proper form of MPEG-4 contents to various environments that may have different presentation capabilities or available bandwidth. In our system, we assume that the elementary streams which participated in an MPEG-4 content are layered encoded with different perceptual quality. The adaptation algorithm selects properly encoded media objects, which are able to be decoded at the receiver. Moreover, the system considers the priority of media objects in order as to determine an optimal subset of media objects to be transmitted with the best efficiency usage of the resources. Finally we show the proposed adaptation algorithm, which can be applied efficiently to provide proper contents in heterogeneous environment through our simulation results.

MPEG-4 AVC를 위한 고속 다해상도 움직임 추정기의 하드웨어 구현

임영훈,정용진,Lim Young-hun,Jeong Yong-jin 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.11C

본 논문에서는 다해상도 움직임 추정 알고리즘을 이용하여 모션 리터를 검색하는 고속 다해상도 움직임 추정기에 대한 하드웨어 구조를 제안한다. 동영상 압축기술인 MPEG-4 AVC 전체 구성 중에서 핵심 부분인 움직임 추정 모듈을 하드웨어로 설계하기 위하여 기본적인 구조를 구성하고 높은 화질로 실시간 부호화를 할 수 있도록 고속 움직임 검색을 위해 특수하게 설계된 램 구주 메모리 공유, 4화소x4화소 Motion Vector 추출 등과 같은 기술들을 사용하여 전체 움직임 검색기를 구현하였다. 구현된 전체 모듈은 Altera(사)의 Excalibur 디바이스를 이용한 FPGA 구성을 통해 검증하고 최종적으로 Samsung STD130 0.18um CMOS Cell Library를 이용하며 합성 및 검증을 하였다. 이렇게 검증된 구조의 성능은 ASIC으로 구현할 경우 최대 동작 주파수가 약 140MHz이며 QCIF(176화소x144화소) 사이즈 기준으로 초당 약 1100프레임, 4CIF(704화소x576화구 사이즈 기준으로 초당 약 70프레임의 움직임을 검색할 수 있다 본 성능은 하드웨어 기반의 MPEG-4 AVC 실시간 부호화기를 설계하기에 적합한 구조임을 보여준다. In this paper, we propose an advanced hardware architecture for fast multi-resolution motion estimation of the video coding standard MPEG-1,2 and MPEG-4 AVC. We describe the algorithm and derive hardware architecture emphasizing the importance of area for low cost and fast operation by using the shared memory, the special ram architecture, the motion vector for 4 pixel x 4 pixel, the spiral search and so on. The proposed architecture has been verified by ARM-interfaced emulation board using Excalibur Altera FPGA and also by ASIC synthesis using Samsung 0.18 m CMOS cell library. The ASIC synthesis result shows that the proposed hardware can operate at 140 MHz, processing more than 1,100 QCIF video frames or 70 4CIF video frames per second. The hardware is going to be used as a core module when implementing a complete MPEG-4 AVC video encoder ASIC for real-time multimedia application.