An advanced Parallel FPGA Architecture for Bi-directional Motion Estimation

Yangfan Huang,Minjun Deng,Donglian Li,Zhenzhen Li,Mingyan Yu,Cailan Zeng,Yu Zhang,Zhuo Chen,Pengcheng Cao,Ran Liu 보안공학연구지원센터 2015 International Journal of Hybrid Information Techno Vol.8 No.9

Motion estimation (ME) and motion compensation (MC) are the key elements for frame rate up-conversion (FRUC) system. Fast and accurate motion estimation is the premise of high quality motion compensation. Unlike conventional unidirectional motion estimation which brings holes, overlaps and blocking artifacts, the bi-directional motion estimation does not produce any overlapped pixel or hole in the interpolated frames. As a result, the bi-directional motion estimation has better performance than conventional unidirectional motion estimation. This paper presents an efficient FPGA architecture targeting bi-directional motion estimation hardware implementation. This proposed architecture can achieve real-time processing for 1280x720@60Hz under 200MHz operating frequency. The design is described in Verilog HDL, verified in Virtex5 FPGA platform. Experimental results show that the proposed architecture has high performance and low cost for bi-directional motion estimation algorithm. This architecture can be used for video post-processing system.

선형 어레이 구조의 반화소 움직임 예측기

金起撤 서울시립대학교 산업기술연구소 1996 산업기술연구소논문집 Vol.4 No.-

This paper proposes a new half pixel motion estimator. The architecture of the half pixel motion estimator is based on linear systolic arrays proposed recently[15]. The motion estimator performs full search block matching algorithm for half pixel motion estimation. This makes it a favorite candidate for a second stage motion estimation processor in hierarchical search scheme, where the first stage motion estimation processor performs motion estimation on decimated input pixels, When the motion estimator proposed in [15] is used as the motion estimation processor in the first stage, the linear systolic arrays can be shared with the motion estimation processor proposed in this paper, leading to a very efficient implementation of a hierarchical search scheme.

초음파 영상을 위한 계층적 특징점 기반 블록 움직임 추출 (pp.402-410)

김백섭(Baek Sop Kim),신성철(Seong Chul Shin) 한국정보과학회 2006 정보과학회논문지 : 소프트웨어 및 응용 Vol.33 No.4

연속된 초음파 영상 시퀀스로부터 파노라마 영상을 만들기 위해서는 인접된 프레임 사이의 움직임을 추정해야 한다. 기존에는 고정 블록 움직임 추정 방법이 주로 사용되고 있는데 본 논문은 정확성을 높이고 계산시간을 단축하기 위해 다해상도 영상을 이용한 특징점 기반 블록 움직임 추정 방법을 제안한다. 기존의 블록 움직임 추정 방법은 규칙적으로 블록을 배치하기 때문에 추정된 움직임의 정확도를 높이기 위해서는 블록의 크기가 커지기 때문에 처리 시간이 오래 걸린다. 본 논문에서는 특징점을 중심으로 블록을 배치하여 움직임 추정의 정확도는 유지하면서 블록의 크기를 줄일 수 있었다. 어파츄어문제(aperture problem)을 줄이기 위해 코너점을 특징점으로 하였다. 움직임 추정 영역은 일정한 크기의 부영역으로 나누고, 각 부영역에서 가장 코너 강도가 큰 점을 선택하였다. 특징점을 선택하는 데는 해리스 스테판 코너검출기를 사용하였다. 코너점들이 한 곳으로 편중될 경우 블록들이 움직임 추정 영역에서 골고루 분산되지 않아 이렇게 구한 블록 움직임을 이용하여 전역 움직임을 구하면 오차가 커진다. 본 논문에서는 이러한 문제를 해결하기 위해 특징점을 선택하는 영역에 제한을 두도록 하였다. 초음파 영상에는 스펙클과 잡음이 많아 코너점을 구하기 전에 영상 평활화를 해야 한다. 계산시간을 줄이고 잡음이 감소된 영상에서 코너점을 구하기 위해 저해상도 영상에서 블록 움직임을 구한 후 점점 고해상도로 확산하는 형태로 다해상도 영상을 사용한다. 실제 세가지 종류의 초음파 영상 시퀀스에 대해 실험결과 제안된 방법은 기존의 방법에 비해 움직임 추정 오차(Displaced Frame Difference)를 평균 66.02에서 58.98로 줄이면서 계산시간은 평균 71㎳에서 44㎳ 으로 빠르게 됨을 알 수 있었다. This paper presents a method for feature based block motion estimation that uses multi-resolution image sequences to obtain the panoramic images in the continuous ultrasound image sequences. In the conventional block motion estimation method, the centers of motion estimation blocks are set at the predetermined and equally spaced locations. This requires the large blocks to include at least one feature, which inevitably requires long estimation time. In this paper, we propose an adaptive method which locates the center of the motion estimation blocks at the feature points. This make it possible to reduce the block size while keeping the motion estimation accuracy. The Harris-Stephen corner detector is used to get the feature points. The corner points tend to group together, which cause the error in the global motion estimation. In order to distribute the feature points as evenly as possible, the image is firstly divided into regular subregions, and a strongest corner point is selected as a feature in each subregion. The ultrasound images contain speckle patterns and noise. In order to reduce the noise artifact and reduce the computational time, the proposed method use the multi-resolution image sequences. The first algorithm estimates the motion in the smoothed low resolution image, and the estimated motion is prolongated to the next higher resolution image. By this way the size of search region can be reduced in the higher resolution image. Experiments were performed on three types of ultrasound image sequences. These were shown that the proposed method reduces both the computational time (from 77㎳ to 44㎳) and the displaced frame difference (from 66.02 to 58.08).

A New Diamond Search Algorithm for Adaptive Pixel Based Motion Estimation in Video Coding

Srinivas Bachu,Manjunath Achari K 보안공학연구지원센터 2016 International Journal of Signal Processing, Image Vol.9 No.11

We are intended to propose a video compression based on Modified Pixel-Based Motion Estimation (MPME) technique to solve the current problems in the literary works. The proposed system will be comprised of four phases, Displacement Calculation, Motion Estimation, Encoding and Decoding. In displacement calculation the I-frame and the P-frame has to been constructed from the video frames. In second phase, the motion vector has been finding out by using the Modified Pixel Based Motion estimation. In here we are creating four movement vector predictors (West Predictor, Neighbor Predictor, Median Predictor and Centre Predictor) with the help of diamond based search pattern. The proposed motion estimation technique is conducted on a pixel-by-pixel basis and the predicted P-frame has been developed using motion estimation technique. The residual is calculated with the original P-frame and the predicted P frame, and the residual is passed into next phase. After the motion vector estimation each frame is encoded by using JPEG-LS encoder. Next the encoded values of compressed video frames are decoded by using the decoding technique and for that JPEG-LS decoder is used. The proposed video compression using MPME will be implemented in the platform MATLAB and the performance of the video codec procedure is assessed by contrasting the consequence of proposed system with the conventional motion estimation algorithms.

움직임 벡터와 참조 프레임간의 거리를 이용한 고속 다중 참조 프레임 움직임 추정

변주원(Juwon Byun),최진하(Jinha Choi),김재석(Jaeseok Kim) 大韓電子工學會 2010 電子工學會論文誌-SP (Signal processing) Vol.47 No.2

본 논문에서는 새로운 고속 다중 참조 프레임 움직임 추정 알고리즘을 제안한다. 제안된 알고리즘은 참조 프레임간의 거리와 움직임 벡터 간의 선형 관계를 이용하여 검색영역을 줄인다. 새로운 알고리즘은 0번 참조 프레임과 1번 참조 프레임에서는 전영역 움직임 추정을 사용한 후, 2번 참조 프레임, 3번 참조 프레임, 4번 참조 프레임에서는 0번 참조 프레임과 1번 참조프레임에서의 움직임 추정의 결과를 사용하여 검색 영역을 최소화 한다. 제안된 알고리즘은 문턱값을 사용하지 않기 때문에 하드웨어 구현과 프로세싱 스케쥴을 지정하는 것이 용이하고, 많은 연산량을 줄일 수 있다. 이러한 몇 가지 특징으로 인하여 제안된 알고리즘은 다중 참조 프레임 움직임 추정기의 하드웨어 구현에 용이하다. 시뮬레이션 결과는 제안된 알고리즘의 PSNR 감소와 bitrate의 증가가 기존의 고속 다중 참조 프레임 움직임 추정 알고리즘에 비해서 좋은 성능을 나타내고 있고, 연산량은 기존의 5장의 참조 프레임을 사용하는 전영역 검색 방법에 비해서 52.5%의 감소를 나타낸다. This paper proposed a new fast multi-reference frame motion estimation algorithm. The proposed algorithm reduces search areas of motion estimation using a linear relation of motion vector with distance of each reference frame. New algorithm executes full search area motion estimation in reference frame 0 and reference frame 1. After that, search areas in reference frame 2, reference frame 3 and reference frame 4 are minimized by distance of each reference frame and results of motion estimation in reference frame 0 and reference frame 1. The proposed algorithm does not use a threshold value which is obstacle of hardware implementation and processing time schedule. Also, it reduced computation quantity of multi-reference motion estimation. Hardware implementation of multi-reference frame motion estimation is possible by these features. Simulation results show that PSNR drop and bitrate increase of proposed algorithm are lower than those of previous fast multi-reference frame motion estimation algorithm. The number of computation of new algorithm is reduced 52.5% and quality of result is negligible when compared with full search area motion estimation which has 5 reference frames.

새로운 움직임 예측기법 기반의 에러 내성이 있는 영상 부호화

황민철(Min-Cheol Hwang),김준형(Jun-Hyung Kim),고성제(Sung-Jea Ko) 대한전자공학회 2009 電子工學會論文誌-SP (Signal processing) Vol.46 No.4

본 논문에서는 에러에 강인한 동영상 압축을 위해서 효과적인 에러 은닉을 제공하는 새로운 움직임 예측기법을 제안한다. 일반적으로 전송 에러에 의해 손실된 프레임을 효율적으로 복원하기 위해서는 영상 내에서 객체의 실제 움직임을 정확하게 아는 것이 중요하다. 하지만 현재 블록과 움직임 보상된 블록에 있는 화소의 차의 절대값의 합 (sum of absolute different, SAD)을 기준으로 이용하는 기존의 움직임 예측 (motion estimation , ME)기법이 객체의 실제 움직임을 항상 정확하게 반영하는 것은 아니다. 이러한 문제를 해결하기 위해서, 본 논문에서 현재 블록과 움직임 보상된 블록의 움직임 벡터들의 차이의 절대값 (absolute different of motion vectors, ADMV)을 새로운 부가적인 기준으로 소개한다. 본 논문에서 제안하는 ME 기법은 SAD와 ADMV의 가중 합을 최소화시킴으로써 실제 움직임과 거리가 먼 움직임 벡터들을 효과적으로 제거할 수 있다. 또한, 제안하는 ADMV을 이용하면 영상의 전송 과정에서 손실된 프레임의 정보를 전혀 사용하지 않고도 손실된 움직임 정보를 효과적으로 복원할 수 있으므로 복호기에서의 에러 은닉 성능을 크게 향상시킬 수 있다. 실험을 통하여 본 논문에서 제안하는 기법이 기존의 ME기법과 유사한 압축 효율을 갖으면서 기존의 에러 내성 기법보다 성능이 더 우수하다는 것을 확인하였다. In this paper, we propose a novel true-motion estimation technique supporting efficient frame error concealment for error-resilient video coding. In general, it is important to accurately obtain the true-motion of objects in video sequences for effectively recovering the corrupted frame due to transmission errors. However, the conventional motion estimation (ME) technique, which minimizes a sum of absolute different (SAD) between pixels of the current block and the motion-compensated block, does not always reflect the true-movement of objects. To solve this problem, we introduce a new metric called an absolute difference of motion vectors (ADMV) which is the distance between motion vectors of the current block and its motion-compensated block. The proposed ME method can prevent unreliable motion vectors by minimizing the weighted combination of SAD and ADMV. In addition, the proposed ME method can significantly improve the performance of error concealment at the decoder since error concealment using the ADMV can effectively recover the missing motion vector without any information of the lost frame. Experimental results show that the proposed method provides similar coding efficiency to the conventional ME method and outperforms the existing error-resilient method.

시·공간적 주변 블록들의 움직임을 이용하여 적응적으로 탐색 범위 조절을 하는 고속 움직임 추정

이상학,Lee, Sang-Hak 한국전자통신학회 2010 한국전자통신학회 논문지 Vol.5 No.4

시 공간적으로 인접한 주변 블록들의 움직임 정보들을 이용하여 적응적으로 탐색 범위를 조절하는 고속 움직임 추정 기법을 제안한다. 기존의 탐색 범위 조절을 통한 고속 움직임 추정 기법들은 참조 프레임에 있는 모든 블록들의 움직임 벡터들 중에서 최댓값을 이용하여 현재 블록의 탐색 범위 조절을 하기 때문에 움직임이 작은 블록들에 대해서는 최적의 탐색 범위 조절을 못할 수 있다. 본 논문에서는 참조 프레임과 현재 프레임에서 현재 블록과 인접한 주변 블록들의 움직임 정보를 동시에 고려하여 최적의 탐색 범위를 결정하여 움직임 추정을 고속으로 할 수 있는 움직임 추정 기법을 제안한다. 시간적으로 인접된 블록들 즉 참조 프레임에 있는 주변 블록들의 움직임 정보를 이용하면 움직임이 작은 블록의 탐색 범위의 크기를 적절하게 작게 할 수 있어 고속의 움직임 추정을 할 수 있다. 실험을 통하여 본 논문에서 제안한 시 공간적 주변 블록들의 움직임 정보를 이용하는 탐색 범위 조절을 통한 고속 움직임 추정 기법이 비트율과 움직임 추정 오차는 거의 비슷하게 유지하면서 기존의 방법인 Simple Dynamic Search Range(SDSR) 기법보다 탐색 점의 수를 약 15% 더 감소시킬 수 있음을 확인하였다. This paper propose the fast motion estimation algorithm with adaptive search range adjustment using motion activities of temporal and spatial neighbor blocks. The existing fast motion estimation algorithms with adaptive search range adjustment use the maximum motion vector of all blocks in the reference frame. So these algorithms may not control a optimum search range for slow moving block in current frame. The proposed algorithm use the maximum motion vector of neighbor blocks in the reference frame to control a optimum search range for slow moving block. So the proposed algorithm can reduce computation time for motion estimation. The experiment results show that the proposed algorithm can reduce the number of search points about 15% more than Simple Dynamic Search Range(SDSR) algorithm while maintaining almost the same bit-rate and motion estimation error.

인접 영상 프레임에서 기하학적 대칭점을 이용한 카메라 움직임 추정

전대성,문성헌,박준호,윤영우,Jeon, Dae-Seong,Mun, Seong-Heon,Park, Jun-Ho,Yun, Yeong-U 대한전자공학회 2002 電子工學會論文誌-CI (Computer and Information) Vol.39 No.2

카메라의 이동과 회전은 영상 프레임 전체에 영향을 미치는 전역 움직임(global motion)을 유발한다. 이러한 전역 움직임을 포함하는 영상을 부호화하는 경우, 변화성분 검출(change detection) 기법을 사용하여 정확한 오브젝트를 분할하는 것은 실제적으로는 불가능하며 큰 움직임 벡터로 인해 높은 압축률을 얻기 어렵다. 이러한 문제는 전역 움직임이 보상된 영상 시퀀스를 사용함으로써 해결할 수 있다. 전역 움직임 보상을 위한 기존의 카메라 움직임 추정 방법들은 계산량이 많다는 문제점을 가지고 있다. 따라서, 본 논문에서는 간단한 선 형식으로 구성되는 전역 움직임 추정 알고리즘을 제안한다 제안 알고리즘은 영상 프레임 내의 대칭점(symmetric points)의 움직임 정보를 이용하여 패닝(panning)과 틸팅(tilting), 줌잉(zooming)에 대한 전역 움직임 파라미터를 산출한다. 전역 움직임 계산에는 카메라 회전에 대해 깊이(depth)에 독립적인 원경만이 사용되며, 영상 내에서 원경을 구분하기 위한 판별식도 논문에 제시된다. 또한, MPEG 시험 영상을 사용한 실험 결과도 나타내었다. 본 논문에서 제안한 기법의 실시간 수행 능력은 많은 영상처리 분야의 전처리 단계에서 사용될 수 있다. The translation and the rotation of camera occur global motion which affects all over the frame in video sequence. With the video sequences containing global motion, it is practically impossible to extract exact video objects and to calculate genuine object motions. Therefore, high compression ratio cannot be achieved due to the large motion vectors. This problem can be solved when the global motion compensated frames are used. The existing camera motion estimation methods for global motion compensation have a large amount of computations in common. In this paper, we propose a simple global motion estimation algorithm that consists of linear equations without any repetition. The algorithm uses information .of symmetric points in the frame of the video sequence. The discriminant conditions to distinguish regions belonging to distant view from foreground in the frame are presented. Only for the distant view satisfying the discriminant conditions, the linear equations for the panning, tilting, and zooming parameters are applied. From the experimental results using the MPEG test sequences, we can confirm that the proposed algorithm estimates correct global motion parameters. Moreover the real-time capability of the proposed technique can be applicable to many MPEG-4 and MPEG-7 related areas.

가변 블록크기의 신축 움직임 추정 방법

권순각(Soon-kak Kwon),장원석(Won-seok Jang) 한국방송·미디어공학회 2014 방송공학회논문지 Vol.19 No.6

It is possible to improve the accuracy of the motion estimation for a video by applying a variable block size. However, it has limits in the zoom motion estimation. In this paper, we propose a method for estimating the zoom motion with variable block size. The proposed method separates the background within the object picture by depth information obtained from a depth camera, and only the object regions are applied to zoom scale, but the background is not applied. In addition, the object regions select efficiently variable block size mode in consideration of the generated motion vectors and the accuracy of motion estimation at the same time. Simulation results show the accuracy of the motion estimation and the number of motion vectors for the proposed method. It is verified that the proposed method can reduce the number of motion while maintaining the similar accuracy of motion estimation than the conventional motion estimation methods.

움직임 보상 보간을 이용한 효과적인 프레임 레이트 변환 기법

김윤 강원대학교 정보통신연구소 2008 정보통신논문지 Vol.12 No.-

An efficient frame rate up-conversion algorithm is proposed to accomplish high quality video format conversion. In the proposed scheme, bi-directional motion estimation (ME) is performed to construct the motion vector (MV) field for the frame to be interpolated. The bi-directional motion estimation (ME) is composed of initial motion vector estimation, motion vector smoothing using motion vector field segmentation, and motion vector refinement, which are used to find the true motion vectors. Unlike conventional motion-compensated interpolation (MCI) algorithms, the proposed technique does not produce any overlapped pixel and hole region in the interpolated frame, and thus can utilize the overlapped block motion compensation technique to reduce the blocking artifacts. The proposed algorithm is very simple to implement on consumer products when compared to conventional MCI methods. Computer simulation results indicate that the proposed scheme provides a better visual performance than conventional frame rate up-conversion algorithms.