초음파 영상에서의 Optical Flow 추적 성능 향상을 위한 전처리 알고리즘 개발 연구

김성민(Sung-Min Kim),이주환(Ju-Hwan Lee),노승규(Seung-Gyu Roh),박성윤(Sung-Yun Park) 大韓電子工學會 2010 電子工學會論文誌-SC (System and control) Vol.47 No.5

본 연구에서는 Optical Flow Method의 추적 성능을 향상시키기 위한 전처리 알고리즘을 제안한다. 제안하는 알고리즘은 Median Filter, Binarization, Morphology, Canny Edge, Contour Detecting 및 Approximation Method를 기반으로 개발되었다. Optical Flow 추적 성능 향상 여부를 평가하기 위해 Lucas-Kanade Optical Flow 알고리즘에 개발된 전처리 알고리즘을 적용하고, 전처리 알고리즘이 적용되지 않은 Optical Flow 영상과 추적 결과를 비교 · 분석하였다. 또한, Median Filter와 Histogram Equalization으로 구성된 기존 전처리 알고리즘과의 결과 비교를 통해, 개발된 전처리 알고리즘의 추적 성능 향상여부를 평가하였다. 실험결과, 전처리 알고리즘을 적용하지 않은 영상과 기존 전처리 알고리즘을 적용한 영상은 특징영역의 분할이 이루어지지 않아, Optical Flow의 추적 정확도가 매우 낮게 나타났다. 반면, 개발된 전처리 알고리즘을 적용한 영상에서는 외곽선이 내외부로 세분화되고, 외곽선 트리가 구성됨에 따라 Optical Flow의 추적 성능이 매우 높게 나타났다. In this study, we have proposed a pre-processing algorithm newly developed for improving the tracking efficiency of the optical flow method. The developed pre-processing algorithm consists of a median filter, binarization, morphology, canny edge, contour detecting and an approximation method. In order to evaluate whether the optical flow tracking capacity increases, this study applied the pre-processing algorithm to the Lucas-Kanade(LK) optical flow algorithm, and comparatively analyzed its images and tracking results with those of optical flow without the pre-processing algorithm and with the existing pre-processing algorithm(composed of median filter and histogram equalization). As a result, it was observed that the tracking performance derived from the LK optical flow algorithm with the pre-processing algorithm, shows better tracking accuracy, compared to the one without the pre-processing algorithm and the one with the existing pre-processing algorithm. It seems to have resulted by successful segmentation for characteristic areas and subdivision into inner and outer contour lines.

Optical Flow와 Normalized Cut을 이용한 2차원 동영상의 3차원 동영상 변환

정재현,박길배,김주환,강진모,이병호,Jung, Jae-Hyun,Park, Gil-Bae,Kim, Joo-Hwan,Kang, Jin-Mo,Lee, Byoung-Ho 한국광학회 2009 한국광학회지 Vol.20 No.1

본 논문에서는 2차원 동영상을 normalized cut과 optical flow를 이용하여 3차원 동영상으로 변환하는 방법을 제안하였다. 이를 통해 특정 디스플레이 장치와 특정 동영상 포맷에 국한되지 않는 2차원 동영상의 3차원 동영상 변환 방법을 제안하였다. 본 연구에서는 2차원 동영상의 3차원 변환을 위하여 먼저 영상을 객체로 분할하고, 분할된 객체의 깊이를 추정하는 방법을 사용하였다. Normalized cut은 영상분할의 한 방법으로, 본 연구에서는 연산속도 향상을 위하여 기존 방법에 watershed 알고리즘을 적용하였고, 정확도 향상을 위하여 가중치에 optical flow를 추가하였다. Normalized cut을 이용하여 분할된 영상의 깊이 정보를 추정하기 위하여 optical flow를 이용하였다. Optical flow의 차이를 통해 정의할 수 있는 가려진 영역의 분할 영상 변화를 통해 순서적 깊이 정보를 추정한다. 추정된 순서적 깊이를 보정하기 위해 optical flow의 절대적 크기를 이용해 운동시차로 상대적 깊이를 추정하였다. 최종적으로 추정된 깊이 정보는 순서적 깊이와 상대적 깊이의 곱을 평균 optical flow로 나누어, 순서적 깊이의 차이를 보정하였다. 제안한 방법의 검증을 위하여 2차원 동영상을 3차원 동영상으로 변환하여 깊이 정보가 추정됨을 확인하였다. We propose a method to convert a two-dimensional movie to a three-dimensional movie using normalized cut and optical flow. In this paper, we segment an image of a two-dimensional movie to objects first, and then estimate the depth of each object. Normalized cut is one of the image segmentation algorithms. For improving speed and accuracy of normalized cut, we used a watershed algorithm and a weight function using optical flow. We estimate the depth of objects which are segmented by improved normalized cut using optical flow. Ordinal depth is estimated by the change of the segmented object label in an occluded region which is the difference of absolute values of optical flow. For compensating ordinal depth, we generate the relational depth which is the absolute value of optical flow as motion parallax. A final depth map is determined by multiplying ordinal depth by relational depth, then dividing by average optical flow. In this research, we propose the two-dimensional/three-dimensional movie conversion method which is applicable to all three-dimensional display devices and all two-dimensional movie formats. We present experimental results using sample two-dimensional movies.

동영상 이해를 위한 Optical Flow 추출에 관한 연구

박기수 고신대학교 자연과학연구소 2006 고신대학교 자연과학연구소 논문집 Vol.13 No.-

Optical Flow는 3차원 물체의 구조를 해석하거나 움직이는 물체를 인식하는 데 중요한 정보원이다. 이 논문의 목적은 한정된 정보를 이용하여 Optical Flow를 추정하는 것이다. Optical Flow를 추정하는 방법으로 Gradient Method가 제안되었다. 이 논문에서는 Virtual Gradient Method(VGM)를 제안한다. 이 방법은 대상 물체의 경계선 부분에 대해 주목하는 화소와 그 이웃화소에 가상의 농도값을 주어 Optical Flow를 추정하는 방법이다. 실험 결과를 통해 이 논문의 유효성을 입증하였다. The Optical Flow provides an important information on analyzing the three dimensional structure and the movement of the moving object. the purpose of this paper is to estimate the Optical Flow by using local information. The Gradient Method has been developed to extract the optical flow. This paper use the Virtual Gradient Method to estimate the Optical Flow to the line pattem obtained from the edge of assumption that neighbors of pixels have virtual gray levels. The validity of this approach is shown by experimental results.

가변 분해능을 가진 2차원 히스토그램을 이용한 강건한 광류인식

전재춘,김형석,CHON Jaechoon,KIM Hyongsuk 대한전자공학회 2005 電子工學會論文誌-SP (Signal processing) Vol.42 No.3

The proposed algorithm is to achieve the robust optical flow detection which is applicable for the case that the outlier rate is over $80\%$. If the outlier rate of optical flows is over $30\%$, the discrimination between the inliers and outlier with the conventional algorithm is very difficult. The proposed algorithm is to overcome such difficulty withthree steps of grouping algorithm; 1) constructing the 2 D histogram with two axies of the lengths and the directions of optical flows. 2) sorting the number of optical flows in each bin of the two-dimensional histogram in the descendingorder and removing some bins with lower number of optical flows than threshold 3) increasing the resolution of the two-dimensional histogram if the number of optical flows in a specific bin is over $20\%$ and decreasing theresolution if the number of optical flows is less than $10\%$. Such processing is repeated until the the number of optical flows falls into the range of $10\%-20\%$ in all the bins. The proposed algorithm works well on the different kinds of images with many of wrong optical flows. Experimental results are included. 두 영상에서 정확한 광류를 얻고자 할 경우, 잘못 정합된 광류의 수가 전체의 $80\%$이상일 경우에도, 정합이 잘된 광류만을 빠르고 안정적으로 추출하는 방법을 제안하였다. 제안한 방법은 다음과 같은 단계로 구성된 그룹화 알고리즘이다. 1)광류의 방향과 길이성분으로 구성된 2차원 히스토그램을 구성한 후, 2)2차원 히스토그램에서 광류수가 높은 그룹들부터 내림차 순으로 정리한 후 각 그룹에서 광류수가 적은 그룹은 제거한다. 또, 3)선택된 그룹들의 광류수가 $20\%$ 이상일때는 히스토그램의 분해율를 증가 시키고, $10\%$ 이하일 경우에는 히스토그램의 분해율을 감소시켜서 위 과정을 반복한다. 선택된 그룹들의 광류수가 $10\%$에서 $20\%$사이에 올 때 까지 이 반복을 계속한다. 제안한 알고리즘을 잘못된 광류가 많이 포함된 다양한 종류의 영상에 대해서 적용한 결과 강건하게 정합이 되어 잘못된 광류를 제거할 수 있었다. 이 논문은 이에 대한 실험결과를 포함하였다.

Optical flow의 레벨 간소화 및 노이즈 제거와 에지 정보를 이용한 2D/3D 변환 기법

한현호(Han, Hyeon-Ho),이강성(Lee, Gang-Seong),이상훈(Lee, Sang-Hun) 한국산학기술학회 2012 한국산학기술학회논문지 Vol.13 No.2

본 논문은 2D/3D 변환에서 깊이정보 생성을 위해 연산량을 감소시키는 레벨 간소화 기법을 적용하고 객체 의 고유벡터를 이용하여 노이즈를 제거한 Optical flow를 이용하는 방법을 제안한다. Optical flow는 깊이정보를 생성 하기 위한 방법 중 하나로 두 프레임간의 픽셀의 변화 벡터 값을 나타내어 움직임 정보를 나타내며 픽셀 단위로 처 리하므로 정확도가 높다. 그러나 픽셀 단위 연산으로 긴 연산 시간이 소요되며 모든 픽셀을 연산하는 특성상 노이즈 가 생길 수 있는 문제점이 있다. 본 논문에서는 이를 해결하기 위해 레벨 간소화 과정을 거쳐 연산 시간을 단축하였 고 Optical flow를 영상에서 고유벡터를 갖는 영역에만 적용하여 노이즈를 제거한 뒤 배경 영역에 대한 깊이 정보를 에지 영상을 이용하여 생성하는 방법을 제안하였다. 제안한 방법으로 깊이정보를 생성한 뒤 DIBR(Depth Image Based Rendering)으로 2차원 영상을 3차원 입체 영상으로 변환하였고 SSIM(Structural SIMilarity index)으로 최종 생성된 영 상의 오차율을 분석하였다. In this paper, we propose an improved optical flow algorithm which reduces computational complexity as well as noise level. This algorithm reduces computational time by applying level simplification technique and removes noise by using eigenvectors of objects. Optical flow is one of the accurate algorithms used to generate depth information from two image frames using the vectors which track the motions of pixels. This technique, however, has disadvantage of taking very long computational time because of the pixel-based calculation and can cause some noise problems. The level simplifying technique is applied to reduce the computational time, and the noise is removed by applying optical flow only to the area of having eigenvector, then using the edge image to generate the depth information of background area. Three-dimensional images were created from two-dimensional images using the proposed method which generates the depth information first and then converts into three-dimensional image using the depth information and DIBR(Depth Image Based Rendering) technique. The error rate was obtained using the SSIM(Structural SIMilarity index).

Optical Flow 를 이용한 UAV 의 표적추적 알고리즘 구현

최재혁,방효충 한국항공우주학회 2011 한국항공우주학회 학술발표회 논문집 Vol.2011 No.4

본 연구에서는 Optical Flow Method 를 이용한 UAV 의 표적 추적(Target Tracking) 알고리즘을 제안한다. 제안된 알고리즘은 UAV 에서 촬영된 영상에 Pyramid Lucas-Kanade Optical Flow 를 적용, 속도장 정보를 추출하였다. 표적과 배경의 경계에서 속도장이 크게 변한다는 점을 착안, 표적과 배경을 구분하고 각각의 속도를 계산하였다. 배경의 속도는 Camera Frame 혹은 UAV 의 움직임을 반영하는 것이므로 이를 표적의 속도 계산에 보정하여 표적의 실제 속도를 계산할 수 있으며, 무인항공기의 표적 추적이 가능해진다. We suggested a target tracking algorithm for UAV(Unmanned Aerial Vehicle) based on optical flow. The algorithm includes pyramid Lucas-Kanade optical flow to obtain velocity field of sequential frames. The simple fact that velocity field changes largely at the boundary of the target allowed segmenting background and target form the scene. Since the velocity of background indicates the movement of the camera at the time, we can calibrate the calculated velocity of the target using it, which will led us to the absolute velocity of the target. This will enable target tracking for UAV based on Optical Flow.

Optical Flow Estimation of Large Displacements from Real Sequential Images

Kim, Jin-Woo The Korea Institute of Information and Commucation 2011 Journal of information and communication convergen Vol.9 No.3

In computing the optical flow. Horn and Schunck's method which is a representative algorithm is based on differentiation. But it is difficult to estimate the velocity for a large displacement by this algorithm. To cope with this problem multigrid method has been proposed. In this paper, we have proposed a scaled multigrid algorithm which the initial flow for a level is calculated by the summation of the optimally scaled flow and error flow. The optimally scaled flow is the scaled expanded flow of the previous level, which can generate an estimated second image having the least RMS error with respect to the original second image, and the error flow is the flow between the estimated second image (generated by the optimally scaled flow) and the original second image. The flow for this level is then estimated using the original first and second images and the initial flow for that level. From among the various coarsest starting levels of the multigrid algorithm, we select the one that finally gives the best estimated flow. Better results were achieved using our proposed method compared with Horn and Schunck's method and a conventional multigrid algorithm.

Gas-Flow Sensor using Optical Fiber Bragg Grating(FBG)

심준환,조석제,유영호,손경락 한국항해항만학회 2008 한국항해항만학회지 Vol.32 No.9

We have proposed and demonstrated an gas-flow sensor using optical fiber bragg grating(FBG). The flow sensor has no electronics and no mechanical parts in its sensing part and the structure is thus simple and immune to electromagnetic interference(EMI). The FBG sensor was consisted of the sensing element and a coil heater. The metal coil was used to supply the current to the FBG. While some currents supply to the coil, the refractive index of the FBG under the coil is changed and thus the wavelength shift of fiber optic sensor was induced. In this work, the wavelength shift according to flow-rate was experimentally studied and was used to evaluate the gas flow-rate in a gas tube. As a result, it was possible to measure the flow-rate in a linear range from 5 to 20 ℓ/min with a resolution of approximately 1ℓ/min at the applied currents of 100 ㎃ and 120 ㎃. The measured sensitivities were 15.3 pm/ℓ/min for 100 ㎃ and 20.2 pm/ℓ/min for 120 ㎃. We have proposed and demonstrated an gas-flow sensor using optical fiber bragg grating(FBG). The flow sensor has no electronics and no mechanical parts in its sensing part and the structure is thus simple and immune to electromagnetic interference(EMI). The FBG sensor was consisted of the sensing element and a coil heater. The metal coil was used to supply the current to the FBG. While some currents supply to the coil, the refractive index of the FBG under the coil is changed and thus the wavelength shift of fiber optic sensor was induced. In this work, the wavelength shift according to flow-rate was experimentally studied and was used to evaluate the gas flow-rate in a gas tube. As a result, it was possible to measure the flow-rate in a linear range from 5 to 20 ℓ/min with a resolution of approximately 1ℓ/min at the applied currents of 100 ㎃ and 120 ㎃. The measured sensitivities were 15.3 pm/ℓ/min for 100 ㎃ and 20.2 pm/ℓ/min for 120 ㎃.

ASM-LK Optical Flow 기반 최적 얼굴정서 특징분석 기법

고광은(Kwang-Eun Ko),박승민(Seung-Min Park),박준형(Junheong Park),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2011 한국지능시스템학회논문지 Vol.21 No.4

얼굴영상에서 나타나는 정서특징을 분석하기 위하여 본 논문에서는 Active Shape Model (ASM)과 Lucas-Kanade (LK) optical flow 기법을 기반으로 하는 특징검출 및 분석방법을 제안한다. Facial Action Coding System에 근거하여 묘사된 정서적 특징을 고려하여, 특징이 분포하는 영역에 위치한 다수의 landmark로 shape 모델을 구성하고 모델에서 각 Landmark를 중심으로 하는 움직임 벡터 윈도우 내부의 픽셀에 대한 LK 기법을 통해 optical flow 벡터를 추출한다. 추출된 움직임 벡터의 방향성 조합에 근거하여 얼굴정서특징을 shape 모델로 표현할 수 있으며, 베이지안 분류기라는 확률 기반 추론기법을 기반으로 정서적 상태에 대한 추정할 수 있다. 또한, 정서특징분석과정의 연산 효율성과 정확성 향상을 도모하기 위하여 common spatial pattern (CSP) 분석기법을 적용하여 정서상태 별로 상관성이 높은 특징만으로 구성된 최적 정서특징을 추출한다. In this paper, we propose an Active Shape Model (ASM) and Lucas-Kanade (LK) optical flow-based feature extraction and analysis method for analyzing the emotional features from facial images. Considering the facial emotion feature regions are described by Facial Action Coding System, we construct the feature-related shape models based on the combination of landmarks and extract the LK optical flow vectors at each landmarks based on the centre pixels of motion vector window. The facial emotion features are modelled by the combination of the optical flow vectors and the emotional states of facial image can be estimated by the probabilistic estimation technique, such as Bayesian classifier. Also, we extract the optimal emotional features that are considered the high correlation between feature points and emotional states by using common spatial pattern (CSP) analysis in order to improvise the operational efficiency and accuracy of emotional feature extraction process.

상태인식을 이용하여 TV를 off

최고훈(Kohoon Choi),주진수(Jinsu Ju),박철준(CheolJun Park),홍성준(SeongJun Hong),정문호 한국HCI학회 2013 한국HCI학회 학술대회 Vol.2013 No.1

상태 인식은 개인의 상태정보를 카메라를 통해 획득하여 이용하는 기술로, 본 연구에서는 눈과 얼굴 그리고 optical flow를 이용하여 사람의 몸을 추적하고 TV에 off 신호를 주려고 한다. 초기 프레임으로 부터 몸의 영역과 얼굴의 영역을 설정하고 두 번째 프레임을 통하여 몸과 얼굴의 이동경로를 optical flow를 통하여 표시하여 준다. 각 사람마다 최대 1000개의 점을 이용하여 optical flow로 나타내어 준다. Condition recognition is a skill that obtains condition information through a camera and uses it. In the research, it would determine a method of conditions of eyes and face, and of tracking a human"s body by using optical flow and one"s condition, calculating quantity of motion The camera sets the zone of a body and face from the first frame. And it marks movements of body and face over the optical flow from the second frame. Each person"s body is recognized as the optical flow by making use of a thousand dots.