시맨틱 분할 모델을 이용한 입술 특징점 탐지의 개선

윤동련(Dongryun Yoon),최대웅(Daewoong Choi),추헌국(Heonkook Choo) 한국HCI학회 2022 한국HCI학회 학술대회 Vol.2022 No.2

얼굴 특징점 탐지 기술은 얼굴 인식, 얼굴 생성, 얼굴 정렬 등등을 포함한 다양한 연구 분야에 활용되고 있다. 그렇지만 얼굴의 전체 특징점들 중에서 입술 특징점들은 상대적으로 좁고 세밀하며 움직임이 많아 탐지가 어렵고 까다롭다. 또한 연속되는 프레임상에서 특징점들이 매끄럽지 못하고 흔들리는 떨림(Jittering)현상이 발생한다. 따라서 본 연구에서는 떨림 현상이 더 적고 정확하게 입술 특징점들을 찾을 수 있도록 시맨틱 분할모델을 이용한 보정기술을 제안한다. 시맨틱 분할 모델은 입술 영역을 보다 명확하게 찾을 수 있기 때문에 시맨틱 분할 모델로부터 얻은 픽셀 단위의 정보를 이용하여 입술 특징점들의 위치를 이동시킨다. 실험 결과는 보정된 입술 특징점들이 기존의 얼굴 특징점 탐지 모델의 입술 특징점 대비 낮아진 거리오차와 떨림 현상의 개선을 보여준다. 그리고 얼굴 특징점 활용 분야 중 하나인 얼굴 재연 기술에 적용하여 제안 기술의 효과를 평가하였다.

긴 비디오 프레임들에서의 강건한 2차원 특징점 추적

윤종현,박종승,Yoon, Jong-Hyun,Park, Jong-Seung 한국정보처리학회 2007 정보처리학회논문지B Vol.14 No.7

비디오 영상 프레임들에서 2D 특징점들을 지속적으로 추적하는 문제는 프레임 간의 빈번한 특징점 매칭 실패로 인하여 어려움을 겪어왔다. 본 논문에서는 긴 비디오 프레임들에서 강건하게 2D 특징점들을 추적하는 기법을 제안한다. 이전 프레임까지 추적되어온 각 특징점에 대해 움직임 상태변수를 정의하고 이들 상태변수로부터 현재 프레임에서의 움직임을 예측한다. 예측된 움직임은 추적을 위한 탐색 윈도우를 설정을 위한 초기 위치로 지정된다. 유사성 검사를 통해서 탐색 윈도우 내에서 대응점을 결정한다. 측정 데이터를 반영하여 현재 프레임에서의 특징점의 움직임 상태 변수를 수정하는 과정을 갖는다. 특징점의 추적 결과는 오차를 포함하고 있고 잘못된 추적이 발생될 수 있다. 잘못 추적된 이상값들은 RANSAC 알고리즘을 적용하여 제거함으로써 정확한 특징점 추적이 지속될 수 있도록 한다. 실제 비디오 프레임들에 대해 특징점 추적을 실시한 결과 긴 비디오 프레임들에 대해서도 특징점 추적이 안정적으로 수행됨을 확인할 수 있었다. Feature tracking in video frame sequences has suffered from the instability and the frequent failure of feature matching between two successive frames. In this paper, we propose a robust 2D feature tracking method that is stable to long video sequences. To improve the stability of feature tracking, we predict the spatial movement in the current image frame using the state variables. The predicted current movement is used for the initialization of the search window. By computing the feature similarities in the search window, we refine the current feature positions. Then, the current feature states are updated. This tracking process is repeated for each input frame. To reduce false matches, the outlier rejection stage is also introduced. Experimental results from real video sequences showed that the proposed method performs stable feature tracking for long frame sequences.

특징점의 연결정보를 이용한 지문인식

차정희,장석우,김계영,최형일,Cha, Heong-Hee,Jang, Seok-Woo,Kim, Gye-Young,Choi, Hyung-Il 한국정보처리학회 2003 정보처리학회논문지B Vol.10 No.7

Fingerprint image enhancement and minutiae matching are two key steps in an automatic fingerprint identification system. In this paper, we propose a fingerprint recognition technique by using minutiae linking information. Recognition process have three steps ; preprocessing, minutiae extraction, matching step based on minutiae pairing. After extracting minutiae of a fingerprint from its thinned image for accuracy, we introduce matching process using minutiae linking information. Introduction of linking information into the minutiae matching process is a simple but accurate way, which solves the problem of reference minutiae pair selection with low cost in comparison stage of two fingerprints. This algorithm is invariable to translation and rotation of fingerprint. The matching algorithm was tested on 500 images from the semiconductor chip style scanner, experimental result revealed the false acceptance rate is decreased and genuine acceptance rate is increased than existing method. 지문영상의 품질 향상과 특징점 정합은 자동 지문인식 시스템의 중요한 두 단계이다. 본 논문에서는 특징점의 연결정보를 사용한 지문인식 기법을 제안한다. 인식 과정은 전처리와 특징점 추출, 그리고 특징점 pairing을 기반으로 한 정합의 세 단계로 이루어져 있다. 정확성을 위해 세선화된 이미지로부터 지문의 특징점을 추출한 후에, 특징점의 연결정보를 사용한 정합과정을 소개한다. 특징점 정합과정에서 연결정보를 사용하는 것은 간단하지만 정확한 방법이며, 두 지문의 비교단계에서 낮은 비용으로 기준 특징점 쌍을 선택하는 문제를 해결해 준다. 알고리즘은 지문의 회전과 이동에 무관하다. 정합 알고리즘은 반도체 칩방식 지문 입력장치로부터 획득한 500개의 지문영상으로 실험하였으며, 실험 결과는 기존 방법보다 오인식율은 줄어들고 정확도는 증가하였음을 보여준다.

방향 연결성 추적을 이용한 의사 특징점 제거

김강(Kang Kim),이건익(Keon-Ik Lee) 한국컴퓨터정보학회 2011 한국컴퓨터정보학회 학술발표논문집 Vol.19 No.1

본 논문에서는 방향 연결성 추적을 이용한 의사 특징점 제거에 관하여 연구하였다. 특징점을 추출하는 방법에는 교차수를 이용한 방법이 있다. 그러나 교차수를 이용한 방법에서는 의사 특징점이 많이 추출된다. 교차수를 이용한 방법에서 잘못 추출된 특징점들을 방향 연결성 추적을 이용한 의사 특징점 제거 알고리즘을 이용하여 의사 특징점을 제거하였다. 성능 평가를 위하여 교차수를 이용한 방법과 방향 연결성 추적을 이용하여 추출된 실제 특징점을 비교하였으며, 실험결과 방향 연결성 추적을 이용하여 많은 의사 특징점이 제거되었음을 알 수 있었다.

픽셀 연결성 추적을 이용한 의사 특징점 제거

김강(Kang Kim),이건익(Keon-Ik Lee) 한국컴퓨터정보학회 2011 韓國컴퓨터情報學會論文誌 Vol.16 No.8

본 논문에서는 픽셀 연결성 추적을 이용한 의사 특징점 제거에 관하여 연구하였다. 특징점을 추출하는 방법에는 교차수를 이용한 방법이 있다. 그러나 교차수를 이용한 방법에서는 의사 특징점이 많이 추출된다. 교차수를 이용한 방법에서 잘못 추출된 특징점들을 제거하기 위하여 단점과 분기점 주위에 있는 8개 픽셀을 추적하여 조건을 만족하는 경우 실제 특징점으로 추출하고 조건을 만족하지 않는 경우 의사 특징점이므로 제거하였다. 성능 평가를 위하여 교차수를 이용한 방법과 픽셀 연결성 추적을 이용하여 추출된 실제 특징점을 비교하였으며, 실험결과 픽셀 연결성 추적을 이용하여 궁상문형, 와상문형, 제상문형에 대하여 의사특징점이 각각 47%, 40%, 30% 제거되었음을 알 수 있었다. In this paper, using pixel connectivity tracking feature to remove a doctor has been studied. Feature extraction method is a method using the crossing. However, by crossing a lot of feature extraction method sis a doctor. Extracted using the method of crossing the wrong feature to remove them from the downside and the eight pixels around the fork to trace if it satisfies the conditions in the actual feature extraction and feature conditions are not satisfied because the doctor was removed. To evaluate the performance using crossing methods and extracted using pixel connectivity trace was compared to the actual feature, the experimental results using pixel connectivity trace arcuate sentence, croissants sentence, sentence the defrost feature on your doctor about47%, respectively, 40%, 30%were found to remove.

특징점 레이블 간의 지지도 계산에 의한 부분적으로 가려진 이진 객체의 인식

문영인(YoungIn Moon),구자영(JaYoung Koo) 한국정보과학회 2011 정보과학회논문지 : 소프트웨어 및 응용 Vol.38 No.7

본 논문은 작업 공간 내에서 서로 겹쳐져서 부분적으로 가려진 객체를 인식하는 방법을 제안하고 있다. 본 논문에서 제안된 방법은 이진화된 입력영상과 모델영상의 윤곽선을 검출하고 곡률계산에 의해 특징점들을 추출하고, 입력영상의 특징점과 모델영상의 특징점들 사이의 기하학적 유사성을 검출하는 방법이다. 위의 두 특징점의 집합들로 부터 국지적 특성비교에 의해 쌍별 지정 그래프가 구성되고 이웃하는 특징점 레이블로부터의 지지도를 계산함으로써 명백한 특징점 레이블링을 얻을 수 있었다. 실험을 통해서 제안된 알고리즘이 바르게 작동하고 가려진 객체들이 올바르게 인식됨을 보였다. This paper deals with the recognition of partially occluded objects in the work space. The boundary in the binary image is extracted and feature points are detected along the boundary by calculating the curvature. The feature points are used to establish the correspondence between the geometrically similar points of the input and the model image. The pair-wise assignment graph is constructed and unambiguous dominant point labeling is obtained by calculating the support values from neighbouring dominant point labels. An experiment on several sample data is given to show the result of the proposed algorithm.

다중 스케일 영상 공간에서 특징점 클러스터를 이용한 영상 스케일 예측

류권열 한국융합신호처리학회 2018 융합신호처리학회 논문지 (JISPS) Vol.19 No.1

In this paper, we propose the method to eliminate repetitive processes for key-point detection on multi-scale image space. The proposed method detects key-points from the original image, and select a good key-points using the cluster filters, and create the key-point clusters. And it select reference objects by using direction angles of the key-point clusters, predict the scale of the original image by using the distributed distance ratio. It transform the scale of the reference image, and apply the detection of key-points to the transformed reference image. In the results of the experiment, the proposed method can be found to improve the key-points detection time by 75 % and 71 % compared to SIFT method and scaled ORB method usingthe multi-scale images. 본 논문에서는 다중 스케일 영상 공간에서 특징점 검출을 위해 수행되는 반복적인 과정을 제거하는 방법을 제안한다. 제안한 방법은 원 영상으로부터 특징점을 검출하고, 클러스터 필터를 이용하여 유효한 특징점을 선별하고, 특징점 클러스터를 생성한다. 그리고 특징점 클러스터의 방향 각도를 이용하여 참조 객체를 선별하고, 분산 거리 비율을 이용하여 원 영상의 스케일을 예측한다. 예측한 스케일에 따라 참조 영상의 스케일을 변환하고, 변환된 참조 영상에 대해 특징점 검출을 적용한다. 실험 결과 제안한 방법은 다중 스케일 영상을 사용하는 SIFT 방법 및 Scaled ORB 방법에 비해 특징점 검출 시간이 각각 75% 및 71% 향상됨을 알 수 있었다.

광류를 사용한 빠른 자연특징 추적

배병조,박종승,Bae, Byung-Jo,Park, Jong-Seung 한국정보처리학회 2010 정보처리학회논문지B Vol.17 No.5

시각기반 증강현실을 구현하기 위한 추적 방법들은 정형 패턴 마커를 가정하는 마커 추적기법과 영상 특징점을 추출하여 이를 추적하는 자연특징 추적기법으로 분류된다. 마커 추적기법은 빠른 마커의 추출 및 인식이 가능하여 모바일 기기에서도 실시간 처리가 가능하다. 한편 자연 특징 추적기법의 경우는 입력 영상의 다양성을 고려해야 하므로 계산량이 많은 처리과정을 거쳐야 한다. 따라서 저사양의 모바일 기기에서는 빠른 실시간 처리에 어려움이 있다. 기존의 자연특징 추적에서는 입력되는 카메라 영상의 매 프레임마다 특징점을 추출하고 패턴매칭 과정을 거친다. 다수의 자연특징점들을 추출하는 과정과 패턴매칭 과정은 계산량이 많아 실시간 응용에 많은 제약을 가하는 요인으로 작용한다. 특히 등록된 패턴의 개수가 증가될수록 패턴매칭 과정의 처리시간도 증가하게 된다. 본 논문에서는 이러한 단점을 해결하고자 자연특징 추적 과정에 광류를 사용하여 모바일 기기에서의 실시간 동작이 가능하도록 하였다. 패턴매칭에 사용된 특징점들은 다음의 연속 프레임에서 광류추적 기법을 적용하여 대응점들을 빠르게 찾도록 하였다. 또한 추적 과정에서 소실되는 특징점의 수에 비례하여 새로운 특징점들을 추가하여 특징점의 전체 개수는 일정 수준으로 유지되도록 하였다. 실험 결과 제안하는 추적 방법은 자연특징점 추적 시간을 상당히 단축시킬 뿐만 아니라 카메라 자세 추정 결과도 더욱 안정시킴을 보여주었다. Visual tracking techniques for Augmented Reality are classified as either a marker tracking approach or a natural feature tracking approach. Marker-based tracking algorithms can be efficiently implemented sufficient to work in real-time on mobile devices. On the other hand, natural feature tracking methods require a lot of computationally expensive procedures. Most previous natural feature tracking methods include heavy feature extraction and pattern matching procedures for each of the input image frame. It is difficult to implement real-time augmented reality applications including the capability of natural feature tracking on low performance devices. The required computational time cost is also in proportion to the number of patterns to be matched. To speed up the natural feature tracking process, we propose a novel fast tracking method based on optical flow. We implemented the proposed method on mobile devices to run in real-time and be appropriately used with mobile augmented reality applications. Moreover, during tracking, we keep up the total number of feature points by inserting new feature points proportional to the number of vanished feature points. Experimental results showed that the proposed method reduces the computational cost and also stabilizes the camera pose estimation results.

KLT특징점 검출 및 추적에 의한 비디오영상등록

Sukhee Ochirbat,박상언(Park Sang Eon),신성웅(Shin Sung Woong),유환희(Yoo Hwan Hee) 대한공간정보학회 2008 대한공간정보학회지 Vol.16 No.2

영상등록은 영상모자잌기술 중 중요한 기술로 인식되고 있으며, 파노라마 영상생성이나 비디오 모니터링, 영상복원 등과 같은 다양한 분야에서 사용될 수 있다. 영상등록에서 중요한 처리과정은 많은 시간이 소요되는 특징점 검출과 추적이다, 본 연구에서는 연속된 영상자료에서 특징점을 검출하고 추적하기 위해서 KLT 특징점 추적자를 제안하였으며, 무인헬기에서 촬영된 연속영상프레임의 영상등록에 적용하여 효용성을 입증하였다. 그 결과 KLT 추적자에 의한 반복처리는 연속영상의 첫 번째 프레임에서 추출된 특징점을 이용하여 전체 프레임에 걸쳐 성공적으로 추적할 수 있었다. 또한, 회전, 축척, 이동량이 다른 각각의 프레임들간의 특징점추적은 KLT영상피라미드와 처리조건의 선택에 의해 정확도를 향상시킬 수 있었다. Image registration is one of the critical techniques of image mosaic which has many applications such as generating panoramas, video monitoring, image rendering and reconstruction, etc. The fundamental tasks of image registration are point features extraction and tracking which take much computation time. KLT(Kanade-Lucas-Tomasi) feature tracker has proposed for extracting and tracking features through image sequences. The aim of this study is to demonstrate the usage of effective and robust KLT feature detector and tracker for an image registration using the sequence image frames captured by UAV video camera. In result, by using iterative implementation of the KLT tracker, the features extracted from the first frame of image sequences could be successfully tracked through all frames. The process of feature tracking in the various frames with rotation, translation and small scaling could be improved by a careful choice of the process condition and KLT pyramid implementation.

드론 영상을 이용한 특징점 추출 알고리즘 간의 성능 비교

이충호,김의명 한국측량학회 2022 한국측량학회지 Vol.40 No.2

Images taken using drones have been applied to fields that require rapid decision-making as they can quickly construct high-quality 3D spatial information for small regions. To construct spatial information based on drone images, it is necessary to determine the relationship between images by extracting keypoints between adjacent drone images and performing image matching. Therefore, in this study, three study regions photographed using a drone were selected: a region where parking lots and a lake coexisted, a downtown region with buildings, and a field region of natural terrain, and the performance of AKAZE (Accelerated-KAZE), BRISK (Binary Robust Invariant Scalable Keypoints), KAZE, ORB (Oriented FAST and Rotated BRIEF), SIFT (Scale Invariant Feature Transform), and SURF (Speeded Up Robust Features) algorithms were analyzed. The performance of the keypoints extraction algorithms was compared with the distribution of extracted keypoints, distribution of matched points, processing time, and matching accuracy. In the region where the parking lot and lake coexist, the processing speed of the BRISK algorithm was fast, and the SURF algorithm showed excellent performance in the distribution of keypoints and matched points and matching accuracy. In the downtown region with buildings, the processing speed of the AKAZE algorithm was fast and the SURF algorithm showed excellent performance in the distribution of keypoints and matched points and matching accuracy. In the field region of natural terrain, the keypoints and matched points of the SURF algorithm were evenly distributed throughout the image taken by drone, but the AKAZE algorithm showed the highest matching accuracy and processing speed. 드론을 이용하여 촬영한 영상은 소규모 지역에 대하여 고품질의 3차원 공간정보를 빠르게 구축할 수 있어 신속 한 의사결정이 필요한 분야에 적용되고 있다. 드론 영상을 기반으로 공간정보를 구축하기 위해서는 인접한 드론 영 상 간에 특징점 추출하고 영상 매칭을 수행하여 영상 간의 관계를 결정할 필요가 있다. 이에 본 연구에서는 드론을 이용하여 촬영한 주차장과 호수가 공존하는 지역, 건물이 있는 도심 지역, 자연 지형의 들판 지역의 3가지 대상지역 을 선정하고 AKAZE (Accelerated-KAZE), BRISK (Binary Robust Invariant Scalable Keypoints), KAZE, ORB (Oriented FAST and Rotated BRIEF), SIFT (Scale Invariant Feature Transform), and SURF (Speeded Up Robust Features) 알고리즘의 성능을 분석하였다. 특징점 추출 알고리즘의 성능은 추출된 특징점의 분포, 매칭점의 분포, 소요시간, 그리고 매칭 정확도를 비교하였다. 주차장과 호수가 공존하는 지역에서는 BRISK 알고리즘의 속도가 신 속하였으며, SURF 알고리즘이 특징점과 매칭점의 분포도와 매칭 정확도에서 우수한 성능을 나타내었다. 건물이 있는 도심 지역에서는 AKAZE 알고리즘의 속도가 신속하였으며 SURF 알고리즘이 특징점과 매칭점의 분포도와 매칭 정확도에서 우수한 성능을 나타내었다. 자연 지형의 들판 지역에서는 SURF 알고리즘의 특징점, 매칭점이 드 론으로 촬영한 영상 전반적으로 고르게 분포되어 있으나 AKAZE 알고리즘이 가장 높은 매칭 정확도와 신속한 속 도를 나타내었다.