폐색 영역을 고려한 시간 축 스테레오 매칭

백으뜸(Eu-Tteum Baek),호요성(Yo-Sung Ho) 대한전자공학회 2017 전자공학회논문지 Vol.54 No.2

스테레오 정합은 두 영상의 색상과 공간 유사성이 최대가 되는 지점을 찾아 깊이 정보를 예측한다. 그런데, 두 시점 사이에 발생하는 폐색 영역으로 잘못된 깊이 정보를 얻게 되고, 폐색 영역을 보완하지 않은 깊이 정보는 시간 축 스테레오 매칭에서 잡음을 전파하는 문제를 일으킨다. 본 논문은 폐색 영역을 보완하여 시간 축 상에서 발생하는 잡음의 전파를 줄이고, 정확한 깊이 정보를 공유하여 스테레오 매칭의 정확성을 높이는 방법을 제안한다. 제안한 알고리즘을 수행하기 위해 색상과 공간의 유사성을 계산하는 함수를 정의하여 초기 깊이 정보를 예측하고, 세 가지 제약사항을 고려한 에너지 함수를 세워 (EM: expectation maximization) 으로 폐색 영역을 구한 뒤, 동적 프로그래밍 방법으로 예측된 폐색 영역을 보정한다. 끝으로, 이전 시점에 구해진 정확한 깊이 정보를 사용하여 시간 축 스테레오 매칭을 수행한다. 실험을 통해 제안한 알고리즘이 기존의 폐색 영역 예측 방법보다 우수한 성능을 가지는 것을 알 수 있었으며, 시간 축 정보를 고려하지 않은 스테레오 매칭 방법보다 정확한 결과를 얻는 것을 확인할 수 있었다. Generally, stereo matching methods are used to estimate depth information based on color and spatial similarity. However, most depth estimation methods suffer from the occlusion region because occlusion regions cause inaccurate depth information. Moreover, they do not consider the temporal dimension when estimating the disparity. In this paper, we propose a temporal stereo matching method, considering occlusion and disregarding inaccurate temporal depth information. First, we apply a global stereo matching algorithm to estimate the depth information, we segment the image to occlusion and non-occlusion regions. After occlusion detection, we fill the occluded region with a reasonable disparity value that are obtained from neighboring pixels of the current pixel. Then, we apply a temporal disparity estimation method using the reliable information. Experimental results show that our method detects more accurate occlusion regions, compared to a conventional method. The proposed method increases the temporal consistency of estimated disparity maps and outperforms per-frame methods in noisy images.

컬러와 다중 임계값 기반 영상 분할 기법을 통한 스테레오 매칭의 성능 향상

김은경(Eun Kyeong Kim),조현학(Hyunhak Cho),장은석(Eunseok Jang),김성신(Sungshin Kim) 한국지능시스템학회 2016 한국지능시스템학회논문지 Vol.26 No.1

본 논문에서는 스테레오 매칭 시 발생하는 신뢰도가 낮은 부분을 컬러와 명도의 다중 임계값에 기반한 영상 분할 기법을 통해 보정하는 방법을 제안한다. 스테레오 매칭은 좌측 영상 위의 한 점과 대응하는 점을 우측 영상에서 찾는 과정이며, 이를 통해 스테레오 영상 내에서 거리 정보를 복원할 수 있다. 하지만 영상 내 특징이 불분명한 부분의 경우, 스테레오 매칭의 신뢰도가 낮기 때문에 Bad Pixel이 발생하게 된다. 제안하는 방법에서는 Bad Pixel을 보정하기 위해서 각 픽셀의 연관성을 고려하고자 한다. 일반적으로 동일한 물체는 비슷한 색상과 명도를 가진다. 따라서 컬러와 명도의 다중 임계값에 의해 각각 분할된 영역을 통해 영역 간의 연관성을 고려하여, 동일한 물체로 판단되는 부분을 재분할한다. 이후 분할된 픽셀들의 관계 정보에 따라 디스패리티 맵의 Bad Pixel을 보정하였다. 실험 결과, 제안하는 방법을 통해 기존 방법의 결과에서 Bad Pixel이 28% 감소함을 확인하였다. This paper proposed the method to improve performance of a pixel, which has low accuracy, by applying image segmentation methods based on color and multi-threshold of brightness. Stereo matching is the process to find the corresponding point on the right image with the point on the left image. For this process, distance(depth) information in stereo images is calculated. However, in the case of a region which has textureless, stereo matching has low accuracy and bad pixels occur on the disparity map. In the proposed method, the relationship between adjacent pixels is considered for compensating bad pixels. Generally, the object has similar color and brightness. Therefore, by considering the relationship between regions based on segmented regions by means of color and multi-threshold of brightness respectively, the region which is considered as parts of same object is re-segmented. According to relationship information of segmented sets of pixels, bad pixels in the disparity map are compensated efficiently. By applying the proposed method, the results show a decrease of nearly 28% in the number of bad pixels of the image applied the method which is established.

스테레오 영상의 효율적 매칭을 위한 개선된 SURF 알고리즘 개발

염민교(Youm, Min Kyo),윤홍식(Yoon, Hong Sik),황진상(Whang, Jin Sang),이동하(Lee, Dong Ha) 대한공간정보학회 2013 대한공간정보학회지 Vol.21 No.2

3차원 모델은 현재 많은 분야에서 사용되고 있다. 특히 기존 평면의 지도에 비해 3차원으로 제작된 지도는 현실감이 뛰어날 뿐만 아니라 제한된 평면 지도 안에서 얻을 수 없는 다양한 정보를 제공 할 수 있기 때문이다. 본 논문에서는 지금까지 모델링을 위해 사용되었던 고가의 레이저 스캐너를 대체하여 디지털 카메라 스테레오 매칭 알고리즘의 성능 개선을 통하여 쉽고 빠르게 양산 할 수 있는 프로세스를 제안하였다. 본 연구에 사용된 알고리즘은 OpenCV 라이브러리 내에 포함되어있는 SURF 알고리즘이며 알고리즘이 가지고 있는 부정합 점들을 호모그라피 변환과 에피폴라 라인을 이용하여 제거하였다. 또한 개선된 알고리즘을 상용프로그램과 비교하였으며 상용프로그램에 비하여 성능이 우수한 것으로 확인하였다. 제안된 방법은 스테레오 매칭의 조건을 만족한다면 쉽고 빠르게 3차원 모델링을 할 수 있기 때문에 각종 디지털 지도나 3차원 가상 현실 분야에 크게 기여할 것으로 예상된다. Nowadays 3D models are used in diverse sectors. The 3D maps provide better reality than existing plane maps as well as diverse pieces of information that cannot be expected from the limited plane maps. A process proposed in this paper enables easy and quick production by replacing the expensive laser scanners for modeling by an improved digital camera stereo matching algorithm. The algorithm used in this study was a SURF algorithm contained in the OpenCV library. The unconformity points of the algorithm were eliminated using the homography conversion and epipolar lines. In addition, the improved algorithm was compared with the commercial program, and it showed a better performance than the commercial program. It is expected that the proposed method can contribute to the digital maps and 3D virtual reality because it enables easy and quick 3D modeling provided that the stereo matching conditions are met.

다양한 조건의 조명변화에 적응적인 지역적 스테레오 매칭 기법

김대근(Daekeun Kim),신광무(Kwangmu Shin),정기동(Kidong Chung) 한국정보과학회 2011 정보과학회논문지 : 소프트웨어 및 응용 Vol.38 No.12

최근 3D영화의 흥행과 더불어 3D 영상제작 기술들이 높은 관심을 받고 있다. 변이 정보를 획득하기 위한, 스테레오 매칭에 관한 분야는 꾸준히 연구가 되고 있는 분야이다. 그 중에서도 지역적 방법은 구현의 용이성과 낮은 계산복잡도로 인하여 많은 연구가 진행되고 있다. 하지만 대부분의 지역적 방법들은 영상이 외부환경에 변형되었을 때의 경우를 고려하지 않고 있기 때문에, 외부환경에 의해 많이 변형된 영상에 대해서는 제대로 된 변이 정보를 추출해내지 못한다. 본 논문에서는 양쪽 영상에서 픽셀간의 차이를 이용하여 서로 대응되는 영역을 찾는 스테레오 매칭 기법을 제안한다. 제안하는 기법은 조명과 같은 외부요소에 강인한 특징을 가진다. 이 기법은 전 처리나 후처리 과정에서 부가적인 작업의 수행 없이 기법 자체만으로 외부요소에 대한 보상을 실행한다는 면에서 장점을 가진다. 다양한 영상에서 변이를 추출하는 실험 결과, 단계적 조명 변화에 대해서도 대조군 방법과 비교하여 균일한 변이 영상을 획득할 수 있었다. 3d video production technology get many people´s attention because 3d movie is a box office hit. For obtaining disparity information, stereo matching was studied steadily. Among them, local method is achieved many research results because of its low complexity and speed. But, many local method don´t consider about illumination variations and disparity image is wrong about the image changed by various illuminations. So this paper proposes stereo matching method robust to various illumination changes using difference value of the pixel values of the difference in the window. It doesn´t need pretreatment and posttreatment. This method gets a good result about the image changed by illumination by experiment.

디지털 입체 항공사진의 영역기반매칭법에 의한 갯벌 DEM 제작

이효성 ( Hyo Seong Lee ),안기원 ( Ki Weon Ahn ),김덕진 ( Duk Jin Kim ) 한국지리정보학회 2010 한국지리정보학회지 Vol.13 No.3

본 연구는 항공디지털 스테레오영상으로부터 사진측량기법을 적용하여 한반도 서해안 갯벌중 하나인 제부도 갯벌에 대해 퇴적·침식의 변화를 탐지하는데 기초자료가 될 수 있는 DEM을 제작하였다. 이를 위해, 상호표정에 의한 에피폴라 선을 추출하였으며, 반사도 및 질감 등을 바탕으로 갯벌표면 분류영상을 제작하여, 각 표면 특성별 적합한 매칭사이즈를 선정하고, 이로부터 영역기반 매칭을 수행하였다. 결과적으로, 갯벌과 같이 고도의 변화가 미묘한 지역에서는 제안방법으로 제작한 DEM이 고정된 매칭사이즈로 제작한 DEM과 기존 상용 S/W에 의한 DEM 보다 더욱 세밀한 높낮이 변화를 보여주었다. The purpose of this study is to produce digital elevation model (DEM) in the Jebu tidal flat, one of the west coast of the Korean Peninsula, by means of photogrammetric techniques from aerial digital stereo-images. Produced DEM would be become the fundamental data for change detection of the sediment and erosion. To do so, epipolar line is established by relative orientation. Area-based matching is then carried out based on this line and matching size according to surface property of tidal flat after a classified image is produced from reflectance and texture of the surface. As the results, DEM generated by the proposed method showed subtle changes in height more precisely than DEM using the fixed matching size and DEM by the commercial S/W in the region, such as tidal flats having few level differences.

고속 스테레오 매칭과 3차원 매핑 알고리즘을 사용한 증강현실 HUD 시스템

권병무(Byoung-moo Kwon),이강희(Kang-hee Lee) 한국컴퓨터정보학회 2014 한국컴퓨터정보학회 학술발표논문집 Vol.22 No.2

포인트 클라우드 매칭기법을 이용한 DEM 세트간 정합

이효성(Lee, Hyoseong),김창재(Kim, Chang Je),신대식(Shin, Dae Sik),권원석(Kwon, Won Suk) 한국측량학회 2019 한국측량학회 학술대회자료집 Vol.2019 No.4

스캔라인 연속영상을 이용한 실시간 장애물 인식에 관한 연구

정성엽,오준호,Cheung, Sheung-Youb,Oh, Jun-Ho 대한기계학회 1997 大韓機械學會論文集A Vol.21 No.10

This study is devoted to the detection of the 3-dimensional point obstacles on the plane by using accumulated scan line images. The proposed accumulating only one scan line allow to process image at real time. And the change of motion of the feature in image is small because of the short time between image frames, so it does not take much time to track features. To obtain recursive optimal obstacles position and robot motion along to the motion of camera, Kalman filter algorithm is used. After using Kalman filter in case of the fixed environment, 3-dimensional obstacles point map is obtained. The position and motion of moving obstacles can also be obtained by pre-segmentation. Finally, to solve the stereo ambiguity problem from multiple matches, the camera motion is actively used to discard mis-matched features. To get relative distance of obstacles from camera, parallel stereo camera setup is used. In order to evaluate the proposed algorithm, experiments are carried out by a small test vehicle.

단일 카메라를 이용한 이상유동 기포율 측정방법의 개발과 응용

최동환(Dong whan Choi),성재용(Jae yong Sung),유정열(Jung Yul Yoo),송진호(Jin Ho Song) 대한기계학회 2007 大韓機械學會論文集B Vol.31 No.11

A measurement technique for void fraction has been proposed using a time-resolved two-phase PIV system and the bubble dynamics has been investigated in gas-liquid two-phase flows. For the threedimensional evaluation of the bubble information, both the images from the front and side views are simultaneously recorded into a high speed CCD camera by reflecting the side view image on a 45° oriented mirror to be juxtaposed with the front view image. Then, a stereo-matching technique is applied to calculate the void fraction, bubble size and shape. To obtain the rising bubble velocities, the 2-frame PTV method was adopted. The present technique is applied to freely rising bubby flows in stagnant liquid. The results show that the increase of bubble flow rate gives rise to the increase of bubble size and rising velocity at first. If it goes over a certain level, the rising velocity becomes constant and the horizontal velocity grows bigger instead due to the obstruction of other bubbles.

스테레오 비전 기반 이동 로봇의 실시간 지도 작성 기법

한철훈(Cheol-Hun Han),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2010 한국지능시스템학회논문지 Vol.20 No.1

본 논문은 모바일 로봇에 장착된 스테레오 카메라의 영상에서 주변 환경에 대한 지도를 작성하기 위해 특징 검출 및 매칭 그리고 2D 지도 작성의 결과를 기술한다. 영상의 특징을 추출하는 방법은 실시간으로 프로세싱하기 위해서 빠른 연산이 가능한 에지 검출과 차 영상을 이용한 특징을 스테레오 매칭 기법을 통해 상관계수를 구할 수 있다. 이동 로봇의 위치를 추정하기 위해 ZigBee를 이용한 비컨과 로봇에 장착된 엔코더를 칼만 필터를 통해 추정한다. 또한 방위를 측정할 수 있는 자이로 센서를 병합하여 모바일 로봇이 이동하면서 지도를 작성할 수 있게 한다. 이는 이동 로봇의 SLAM 기술과 더불어 지능형 로봇이 인간 생활에서 효과적으로 적용될 수 있는 기반이 될 것이다. This paper describes the results of 2D mapping, feature detection and matching to create the surrounding environment in the mounted stereo camera on Mobile robot. Extract method of image's feature in real-time processing for quick operation uses the edge detection and Sum of Absolute Difference(SAD), stereo matching technique can be obtained through the correlation coefficient. To estimate the location of a mobile robot using ZigBee beacon and encoders mounted on the robot is estimated by Kalman filter. In addition, the merged gyro scope to measure compass is possible to generate map during mobile robot is moving. The Simultaneous Localization and Mapping (SLAM) of mobile robot technology with an intelligent robot can be applied efficiently in human life would be based.