얼굴 탐지를 적용한 CMT 객체 추적 기법의 스마트폰 활용 연구

이상구 국제문화기술진흥원 2021 The Journal of the Convergence on Culture Technolo Vol.7 No.1

최근 영상 콘텐츠의 확산에 따라 기존 콘텐츠들이 동영상으로 전환되고 있으며, 새로운 플랫폼들의 등장으로 인해 영상 콘텐츠 생태계의 성장은 가속화되고 있다. 이처럼 가속화된 성장은 전문가의 영역으로 분류되던 동영상 제 작 및 편집 기술들을 일반인들 또한 쉽게 접하고 이용할 수 있도록 기술의 보편화 과정에 큰 영향을 미치고 있다. 이 러한 기술들의 발전으로 인해 사람의 수작업을 통해서만 영상을 녹화하고 조절하던 과정들을 객체 추적 기술에 기반 하여 자동으로 촬영하고자 하는 객체를 찾아 화면의 정중앙에 위치시켜 영상을 녹화하는 자동화 과정이 가능하게 되 었다. 하지만 추적하고자 하는 객체를 지정하는 일은 아직까지 사람의 수작업을 요구하며 객체를 지정하는 수작업 과 정에서 지연이나 객체 지정에 실수가 발생할 수도 있다. 이에 따라, 본 연구에서는 Haar Cascade Classifier를 활용 한 얼굴 탐지기법과 CMT 객체 추적 알고리즘을 결합한 새로운 객체 추적 기법을 제안한다. 제안된 시스템은 스마트 폰에서 실시간 연속적인 객체추적을 위한 효율적이고 강인한 영상추적 시스템에 잘 응용될 수 있다. Due to the recent proliferation of video contents, previous contents expressed as the character or the picture are being replaced to video and growth of video contents is being boosted because of emerging new platforms. As this accelerated growth has a great impact on the process of universalization of technology for ordinary people, video production and editing technologies that were classified as expert’s areas can be easily accessed and used from ordinary people. Due to the development of these technologies, tasks like that recording and adjusting that depends on human’s manual involvement could be automated through object tracking technology. Also, the process for situating the object in the center of the screen after finding the object to record could have been automated. Because the task of setting the object to be tracked is still remaining as human’s responsibility, the delay or mistake can be made in the process of setting the object which has to be tracked through a human. Therefore, we propose a novel object tracking technique of CMT combining the face detection technique utilizing Haar cascade classifier. The proposed system can be applied to an effective and robust image tracking system for continuous object tracking on the smartphone in real time.

다중 카메라를 이용한 실시간 객체 추적 방법

장인태(In-Tae Jang),김동우(Dong-Woo Kim),송영준(Young-Jun Song),권혁봉(Hyeok-Bong Kwon),안재형(Jae-Hyeong Ahn) 한국산업정보학회 2012 한국산업정보학회논문지 Vol.17 No.4

최근 보안 감시 분야에서 영상처리를 이용한 객체 추적에 관한 연구가 활발히 이루어지고 있다. 기존 여러 대의 카메라를 이용한 보안 감시 시스템은 각각 독립적으로 운영되었다. 따라서 추적 객체가 다른 카메라의 감시영역으로 이동 시 계속해서 추적이 어려웠다. 이 문제를 해결하기 위해 본 논문은 다중 카메라에서 객체의 이동방향에 따라 자동으로 카메라의 제어권을 변경하는 방법을 제안한다. 제안방법은 객체를 검출하고 객체의 색상 정보와 방향 정보로 객체를 추적한다. 색상 정보는 hue를 이용하고 방향 정보는 광류를 이용하여 획득한다. 이때 광류는 전체 영상이 아닌 객체가 검출된 영역에만 적용하여 계산량을 줄여 실시간 추적이 가능하게 한다. 또한, 자동으로 객체를 추적함으로써 기존 카메라를 이용한 보안 감시 시스템의 불편함을 해결할 수 있다. Recently, the study about object tracking using image processing has been active in the field of security and surveillance. Existing security and surveillance systems using multiple cameras have been operating independently. Thus, the chase was difficult when the tracking object move to other monitored areas. In this paper, we propose the way to change the control of camera automatically following the moving direction of objects in multiple cameras. The proposed method detects the object and tracks the object using color information and direction information of object. The color information obtains using the hue and the direction information obtains using the optical flow. At this time, the optical flow is detected for the entire image area of an object that is not applied only to reduce the computational complexity makes it possible to track in real time. In addition, it can be solved to inconvenience of security surveillance system to use existing camera by tracking an object automatically.

정보융합을 이용한 객체 추적

이진형(Jinhyung Lee),조성원(Seongwon),김재민(Jaemin Kim),정선태(Sun-Tae Chung) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.5

본 논문은 비정형 객체를 추적함에 있어서 다른 객체와 겹쳐진 후 계속 추적할 수 있는 방법으로 지역 정보와 객체의 모션 템플리트 그리고 색 정보를 계층적으로 사용하는 방안을 제안한다. 기본적으로 색 정보 기반의 CAMshift 알고리즘을 바탕으로 각 프레임마다 color template를 업데이트하여 현재의 객체와 template를 비교하고, 업데이트 된 color template를 바탕으로 색 분포를 사용하여 CAMshift 결과를 비교하여 추적하는 물체를 보다 정확하게 판별할 수 있도록 한다. 지역정보, 컬러 정보, 모션 템플리트 정보를 융합한 객체추적은 기존의 객체추적 방법의 장점을 모두 유지하면서 추적하는 객체를 보다 정확하게 인식할 수 있다. 이러한 성능 향상은 기존의 객체추적 시스템에 추가하기도 용이 할 뿐만 아니라 감시 시스템 및 객체 추적 시스템의 연구에서 정확성의 향상에 기여할 것으로 기대된다. In this paper, we propose a new method for tracking objects continously and successively based on fusion of region information, color information and motion template when multiple objects are occluded and splitted For each frame, color template is updated and compared with the present object. The predicted region, dynamic template and color histogram are used to classify the objects. The vertical histogram of the silhouettes is analyzed to determine whether or not the foreground region contains multiple objects. The proposed method can recognize more correctly the objects to be tracked.

Fuzzy C-means와 CONDENSATION을 이용한 객체 검출 및 추적 시스템

김종호(Jong-Ho Kim),김상균(Sang-Kyoon Kim),황구선(Goo-Seun Hang),안상호(Sang-Ho Ahn),강병두(Byoung-Doo Kang) 한국산업정보학회 2011 한국산업정보학회논문지 Vol.16 No.4

동영상에서의 움직이는 객체 검출과 추적은 객체 식별, 상환인식, 지능형 영상 감시 시스템 등 많은 시각 기반 응용 시스템에서 기본적이고 필수적인 전처리 작업이다. 본 논문에서는 배경과 조명이 실시간으로 변화하는 상황에서 움직이는 객체를 빠르고 정확하게 추출하고 움직이는 객체가 다른 물체에 가려지는 경우에도 강인하게 객체를 추적하는 방법을 제안한다. 객체의 효과적인 검출을 위해서 효과적인 고유 공간과 Fuzzy C-means(FCM)를 결합하여 사용하고 검출된 객체를 강인하게 추적하기 위해 Conditional Density Propagation (CONDENSATION) 알고리즘을 사용한다. 먼저 Principal Component Analysis(PCA)를 이용하여 배경 영상에서 수집한 학습데이터를 주성분(Principal component)으로 선형변환 한다. 주성분들의 고유 특성에 대한 해석을 통하여 객체와 배경에 대하여 판별 능력이 우수한 주성분을 선별하여 고유 배경을 구성한다. 다음으로 이전단계에서 구성된 고유 벡터와 입력 영상을 결합한 연산 결과를 FCM의 입력 값으로 사용해서 객체를 검출한다. 최종적으로 검출된 객체의 좌표를 CONDENSATION의 입력으로 사용해서 객체를 추적한다. 고정된 카메라에서 조명변화와 배경변화에 적용 가능한 시스템을 구현하기 위해 고정된 카메라에서 움직이는 다양한 객체가 포함된 영상을 수집하여 학습데이터로 구성하여 사용하였다 실험 결과에 따르면 제안하는 방법이 조명변화와 배경변화 그리고 객체의 부분적 움직임에 모두 강인하게 객체를 검출하고 다른 물체나 배경에 의해 객체가 일부 가려지더라도 객체를 추적함을 보여준다. Detecting a moving object from videos and tracking it are basic and necessary preprocessing steps in many video systems like object recognition, context aware, and intelligent visual surveillance. In this paper, we propose a method that is able to detect a moving object quickly and accurately in a condition that background and light change in areal time. Furthermore, our system detects strongly an object in a condition that the target object is covered with other objects. For effective detection, effective Eigen-space and FCM are combined and employed, and a CONDENSATION algorithm is used to trace a detected object strongly. First, training data collected from a background image are linear-transformed using Principal Component Analysis (PCA). Second, an Eigen-background is organized from selected principal components having excellent discrimination ability on an object and a background. Next, an object is detected with FCM that uses a convolution result of the Eigen-vector of previous steps and the input image. Finally, an object is tracked by using coordinates of an detected object as an input value of condensation algorithm. Images including various moving objects in a same time are collected and used as training data to realize our system that is able to be adapted to change of light and background in a fixed camera. The result of test shows that the proposed method detects an object strongly in a condition having a change of light and a background, and partial movement of an object.

무선 센서 네트워크에서 질의 중계를 이용한 이동 객체의 위치 추적 방안

김상대(Sangdae Kim),김천용(Cheonyong Kim),조현종(Hyunchong Cho),임용빈(Yongbin Yim),김상하(Sang-Ha Kim) 한국정보과학회 2014 정보과학회 컴퓨팅의 실제 논문지 Vol.20 No.11

무선 센서 네트워크에서 객체의 위치 추적은 객체의 움직임 포착 및 동선 파악 등에 활용되는 중요한 어플리케이션이다. 따라서 객체의 정확한 동선을 파악하기 위해 추적의 정밀성이 중요하다. 하지만 기존의 연구들은 객체 추적을 위하여 사용자가 반복적으로 질의를 하기 때문에 에너지 효율성 및 정밀성이 떨어지게 된다. 따라서 본 논문에서는 객체 추적의 에너지 효율성 및 추적의 정밀성을 향상시키기 위하여, 각 노드들이 사용자의 질의를 객체의 예상 경로에 중계하는 방안을 제안한다. 이 방법은 객체 추적을 위하여 네트워크를 일정 크기로 클러스터링하고 각 클러스터 헤드를 트리로 구성한다. 객체를 감지한 클러스터 헤드는 트리를 통해 사용자에게 객체의 정보를 전달하고, 객체의 예상 경로에 위치한 클러스터 헤드에게 사용자의 질의를 중계해 줌으로써, 사용자의 반복적인 질의를 줄여준다. 시뮬레이션 결과, 제안 방안이 기존의 객체 추적 연구에 비해 높은 에너지 효율과 추적 정밀성을 가지는 것을 보인다. In wireless sensor networks, two methods have been generally used to track continuously moving object: a user query-based method and a periodic report-based method. Although the former method generates more overhead as a result of the user queries, the former one is also an energy-efficient method that does not transfer unnecessary information. For the user query-based method, a virtual tree that consist of sensor nodes is used to perform the user query and the sensor reporting. The tree stores the information of the mobile objects, and the stored information triggers a report b the user query. However, in case of a fast-moving object, the tracking accuracy decreases as a result of the time delay of the end-to-end repeated query. In order to solve this problem, we propose a query-relay method that reduces the time delay for mobile object tracking. In the proposed method, the nodes in the tree relay the query to adjacent nodes according to the movement of mobile object that is tracked. When the query messages are relayed. The end-to-end querying time delay is reduced. and a simulation shows that our method is superior to existing ones in terms of tracking accuracy.

MPEG-2 압축 영역에서 움직이는 객체의 추적 및 해석

문수정,유원영,김준철,이준환,Mun, Su-Jeong,Ryu, Woon-Young,Kim, Joon-Cheol,Lee, Joon-Hoan 한국정보처리학회 2004 정보처리학회논문지B Vol.11 No.1

본 논문에서는 MPEG-2비디오 스트림에서 복호화 과정 없이 압축비디오에서 직접 얻을 수 있는 정보들을 활용하여 움직이는 객체를 추적하고 해석하는 방법을 제안한다. 제안된 방법에서는 먼저 MPEG-2의 움직임 벡터로부터 근사적으로 움직임 플로우(motion new)를 구성하고, 전역 적인 움직임 플로우로부터 일반화된 Hough 변환을 이용 카메라의 기본적인 움직임인 팬(pan), 틸트(tilt), 줌(zoom)량 등을 계산하였다. 계산된 카메라 움직임은 국부적으로 일어나는 객체의 움직임을 보정하는데 사용하였다. 움직이는 객체의 추적은 사용자가 원하는 객체를 바운딩 박스 형태로 정의함으로 시동된다. 이후의 객체의 추적은 카메라 움직임이 보정된 객체의 움직임 플로우를 한 GOP(Group of Pictures)단위로 면적 기여도에 따라 누적하여 추적하였다. 또한 추적오차의 누적을 막기 위해 매 GOP마다 DCT(Discrete Cosine Transform) 정보를 이용하여 초기 바운딩 박스와 매칭을 통해 객체의 영역을 재 설정하였다. 제안된 방법은 압축된 비디오 스트림에서 직접 정보를 얻음으로써 계산속도의 향상을 기할 수 있으나, 압축된 MPEG-2 비디오에서 얻을 수 있는 정보들이 최대 블록 단위이므로 객체의 정의도 블록단위 이상의 객체로 제한되며, 이용한 수 있는 정보가 제한되어 있기 때문에 정확한 객체추적보다는 근사적인 객체추적에 적합하다. This paper proposes a method to trace and interpret a moving object based on the information which can be directly obtained from MPEG-2 compressed video stream without decoding process. In the proposed method, the motion flow is constructed from the motion vectors included in compressed video. We calculate the amount of pan, tilt, and zoom associated with camera operations using generalized Hough transform. The local object motion can be extracted from the motion flow after the compensation with the parameters related to the global camera motion. Initially, a moving object to be traced is designated by user via bounding box. After then automatic tracking Is performed based on the accumulated motion flows according to the area contributions. Also, in order to reduce the cumulative tracking error, the object area is reshaped in the first I-frame of a GOP by matching the DCT coefficients. The proposed method can improve the computation speed because the information can be directly obtained from the MPEG-2 compressed video, but the object boundary is limited by macro-blocks rather than pixels. Also, the proposed method is proper for approximate object tracking rather than accurate tracing of an object because of limited information available in the compressed video data.

실시간 객체 추적을 위한 Condensation 알고리즘과 Mean-shift 알고리즘의 결합

조상현,강행봉,Cho Sang-Hyun,Kang Hang-Bong 한국정보처리학회 2005 정보처리학회논문지B Vol.12 No.3

실시간 객체 추적(Real-time object tracking)은 비디오 감시 시스템, 비전 기반 네비게이터와 같은 비전 응용 산업이 발달하면서 그 중요성이 더해지고 있는 분야이다. 객체 추적을 위해 많이 이용되고 있는 알고리즘으로 Mean-shift와 Condensation 알고리즘이 있다. Mean-shift 알고리즘을 기반으로 한 객체 추적 알고리즘은 구현이 간단하고, 적은 계산 복잡도를 갖는 장점이 있다. 따라서 실시간 객체 추적 시스템에 적합하다고 할 수 있지만, 지역 모드(Local mode)로 수렴하는 특성으로 인해 복잡한 환경(Cluttered environment)에서는 좋은 성능을 나타내지 못하는 단점을 가지고 있다. 반면, 여러 개의 후보들을 이용해 객체의 위치를 추정하는 Condensation 추적 알고리즘은 복잡한 환경에서 특정 객체를 추적하는데 많이 사용된다. 하지만 Condensation 알고리즘을 기반으로 한 추적 알고리즘은 정확한 추적을 하기 위해서 복잡도가 높은 객체 모델과 많은 수의 후보가 요구된다. 따라서 높은 복잡도를 갖게 되고, 이것으로 인해 복잡한 환경에서는 실시간 구현이 어렵다는 단점을 갖게 된다. 본 논문에서는, 복잡한 환경에서 실시간 객체 추적에 적합하도록 Condensation 알고리즘과 Mean-shift 알고리즘을 결합해서, 적은 수의 후보들을 이용하는 모델을 제안한다. 적은 수의 후보들을 이용하더라도, Mean-shift 알고리즘을 이용해 보다 높은 유사도를 가지는 후보들만을 이용함으로써, Condensation 알고리즘이나 Mean-shift 알고리즘만을 이용할 때보다 더 나은 성능을 얻을 수 있었다. Real-time Object tracking is an important field in developing vision applications such as surveillance systems and vision based navigation. mean-shift algerian and Condensation algorithm are widely used in robust object tracking systems. Since the mean-shift algorithm is easy to implement and is effective in object tracking computation, it is widely used, especially in real-time tracking systems. One of the drawbacks is that it always converges to a local maximum which may not be a global maximum. Therefore, in a cluttered environment, the Mean-shift algorithm does not perform well. On the other hand, since it uses multiple hypotheses, the Condensation algorithm is useful in tracking in a cluttered background. Since it requires a complex object model and many hypotheses, it contains a high computational complexity. Therefore, it is not easy to apply a Condensation algorithm in real-time systems. In this paper, by combining the merits of the Condensation algorithm and the mean-shift algorithm we propose a new model which is suitable for real-time tracking. Although it uses only a few hypotheses, the proposed method use a high-likelihood hypotheses using mean-shift algorithm. As a result, we can obtain a better result than either the result produced by the Condensation algorithm or the result produced by the mean-shift algorithm.

환경변화에 강인한 다중 객체 탐지 및 추적 시스템

이우주(Wu Ju Lee),이배호(Bae Ho Lee) 大韓電子工學會 2009 電子工學會論文誌-SP (Signal processing) Vol.46 No.6

본 논문에서는 보안 및 감시 시스템 분야에 적용할 수 있는 실시간 객체 탐지 및 추적 알고리듬을 제안한다. 구현된 시스템은 객체 탐지 단계, 객체 추적 단계로 구성되었다. 객체탐지에서는 정확한 객체의 움직임 검출을 위한 향상된 검출 방법인 적응배경 차분법과 적응적 블록 기반 모델을 제안한다. 객체추적에서는 칼만 필터에 기반한 다중 물체 추적 시스템을 설계하였다. 실험결과 이동객체의 움직임을 추정할 수 있었고, 추적 과정에서도 다수의 객체를 잃어버리지 않고 정상적으로 추적할 수 있었다. 또한 원거리 탐지 및 추적에서 향상된 결과를 얻을 수 있었다. This paper proposes real time object detection and tracking algorithm that can be applied to security and supervisory system field. A proposed system is devide into object detection phase and object tracking phase. In object detection, we suggest Adaptive background subtraction method and Adaptive block based model which are advanced motion detecting methods to detect exact object motions. In object tracking, we design a multiple vehicle tracking system based on Kalman filtering. As a result of experiment, motion of moving object can be estimated. the result of tracking multipul object was not lost and object was tracked correctly. Also, we obtained improved result from long range detection and tracking.

이중계층구조 파티클 샘플링을 사용한 다중객체 검출 및 추적

정경원(Kyungwon Jeong),김나현(Nahyun Kim),이승원(Seoungwon Lee),백준기(Joonki Paik) 대한전자공학회 2014 전자공학회논문지 Vol.51 No.9

가려진 보행자 추적에 강건한 다중 객체 추적 기술

강민성(Minsung Kang),임영철(Young-Chul Lim) 한국자동차공학회 2021 한국자동차공학회 부문종합 학술대회 Vol.2021 No.6

자율주행 자동차는 주변 환경을 인식하기 위하여 주변 객체들의 연속적인 움직임을 추정하여야 한다. 도로 주행 환경에서 실시간으로 객체들을 추적하기 위하여 tracking-by-detection 기반의 다중 객체 추적 기법을 사용한다. 보행자의 경우 다른 보행자나 객체 등에 의해 가려짐이 발생하고, 이는 객체 검출 단계에서 미검출을 발생시킨다. 기존의 low level feature 기반의 다중 추적 기법은 객체의 겹침, 가려짐 등에서 동일한 객체들을 연관하기가 어렵다. 본 논문에서는 보행자의 겹침 및 가려짐 등이 발생하여도 지속적으로 해당 보행자를 추적할 수 있는 방법을 제안한다. 기존 기법에서 취약한 특징 추출 단계에서 딥 특징 임베딩 기반의 재식별 기법을 사용하여, 재식별 과정에서 동일 객체 유무를 판단한다. 딥 특징을 추출하기 위하여 single-stage 기반의 객체검출 네트워크를 사용하고, 객체 검출 헤드와 객체 추적 헤드를 멀티 태스킹 기법으로 학습한다. 도로 주행 환경 데이터셋을 이용하여 기존의 low level feature 기반의 방법과 제안하는 deep feature 기반의 방법의 성능을 비교 분석한다.