Tracking by Detection of Multiple Faces using SSD and CNN Features

Tai, Do Nhu,Kim, Soo-Hyung,Lee, Guee-Sang,Yang, Hyung-Jeong,Na, In-Seop,Oh, A-Ran THE KOREAN INSTITUTE OF SMART MEDIA 2018 스마트미디어저널 Vol.7 No.4

Multi-tracking of general objects and specific faces is an important topic in the field of computer vision applicable to many branches of industry such as biometrics, security, etc. The rapid development of deep neural networks has resulted in a dramatic improvement in face recognition and object detection problems, which helps improve the multiple-face tracking techniques exploiting the tracking-by-detection method. Our proposed method uses face detection trained with a head dataset to resolve the face deformation problem in the tracking process. Further, we use robust face features extracted from the deep face recognition network to match the tracklets with tracking faces using Hungarian matching method. We achieved promising results regarding the usage of deep face features and head detection in a face tracking benchmark.

A Fast and Accurate Face Tracking Scheme by using Depth Information in Addition to Texture Information

Kim, Dong-Wook,Kim, Woo-Youl,Yoo, Jisang,Seo, Young-Ho The Korean Institute of Electrical Engineers 2014 Journal of Electrical Engineering & Technology Vol.9 No.2

This paper proposes a face tracking scheme that is a combination of a face detection algorithm and a face tracking algorithm. The proposed face detection algorithm basically uses the Adaboost algorithm, but the amount of search area is dramatically reduced, by using skin color and motion information in the depth map. Also, we propose a face tracking algorithm that uses a template matching method with depth information only. It also includes an early termination scheme, by a spiral search for template matching, which reduces the operation time with small loss in accuracy. It also incorporates an additional simple refinement process to make the loss in accuracy smaller. When the face tracking scheme fails to track the face, it automatically goes back to the face detection scheme, to find a new face to track. The two schemes are experimented with some home-made test sequences, and some in public. The experimental results are compared to show that they outperform the existing methods in accuracy and speed. Also we show some trade-offs between the tracking accuracy and the execution time for broader application.

Tracking by Detection of Multiple Faces using SSD and CNN Features

Do Nhu Tai,Soo-Hyung Kim,Guee-Sang Lee,Hyung-Jeong Yang,In-Seop Na,A-Ran Oh 한국스마트미디어학회 2018 스마트미디어저널 Vol.7 No.4

Multi-tracking of general objects and specific faces is an important topic in the field of computer vision applicable to many branches of industry such as biometrics, security, etc. The rapid development of deep neural networks has resulted in a dramatic improvement in face recognition and object detection problems, which helps improve the multiple-face tracking techniques exploiting the tracking-by-detection method. Our proposed method uses face detection trained with a head dataset to resolve the face deformation problem in the tracking process. Further, we use robust face features extracted from the deep face recognition network to match the tracklets with tracking faces using Hungarian matching method. We achieved promising results regarding the usage of deep face features and head detection in a face tracking benchmark.

A Fast and Accurate Face Tracking Scheme by using Depth Information in Addition to Texture Information

Dong-Wook Kim,Woo-Youl Kim,Jisang Yoo,Young-Ho Seo 대한전기학회 2014 Journal of Electrical Engineering & Technology Vol.9 No.2

This paper proposes a face tracking scheme that is a combination of a face detection algorithm and a face tracking algorithm. The proposed face detection algorithm basically uses the Adaboost algorithm, but the amount of search area is dramatically reduced, by using skin color and motion information in the depth map. Also, we propose a face tracking algorithm that uses a template matching method with depth information only. It also includes an early termination scheme, by a spiral search for template matching, which reduces the operation time with small loss in accuracy. It also incorporates an additional simple refinement process to make the loss in accuracy smaller. When the face tracking scheme fails to track the face, it automatically goes back to the face detection scheme, to find a new face to track. The two schemes are experimented with some home-made test sequences, and some in public. The experimental results are compared to show that they outperform the existing methods in accuracy and speed. Also we show some trade-offs between the tracking accuracy and the execution time for broader application.

컬러 정보를 이용한 신경 진동망 기반 얼굴추적 방법

황용원(Yong Won Hwang),오상록(Sang Rok Oh),유범재(Bum Jae You),이지용(Ji Yong Lee),박민용(Mignon Park),정문호(Mun Ho Jeong) 大韓電子工學會 2011 電子工學會論文誌-SC (System and control) Vol.48 No.2

본 논문은 출입통제시스템이나 사용자인증이 필요한 통제시스템 등에 적용될 수 있는 신경 진동자(Neural Oscillators)를 이용한 실시간 얼굴검출 및 추적에 필요한 새로운 알고리즘을 제안한다. 신경 진동자(Neural Oscillators)는 생물학적 뉴런의 동작원리를 모방한 것으로서 뉴런의 활성과 비활성의 주기적인 반복동작 특성을 모델링 한 인공신경모델이다. 본 논문에서 제안한 시스템은 크게 두 단계의 처리과정을 가진다. 첫 번째 단계는 얼굴검출 과정인데, 우선 비용이 저렴한 Webcam을 이용하여 실시간 전달되는 RGB24bit 컬러 영상을 획득, LEGION(Locally Excitatory Globally Inhibitory) 알고리즘을 이용하여 분할과정을 거쳐 얼굴영역을 검출한다. 두 번째 단계는 검출된 얼굴영역에서 이웃뉴런들로부터 연결강도가 가장 큰 리더뉴런(Max Leader Neuron)을 찾아 얼굴을 추적하는 방법으로 스케일 문제해결 과 안정된 새로운 얼굴 추적 방법을 제안한다. This paper proposes a real-time face detection and tracking system that uses neural oscillators which can be applied to access regulation system or control systems of user authentication as well as a new algorithm. We study a way to track faces using the neural oscillatory network which imitates the artificial neural net of information handing ability of human and animals, and biological movement characteristic of a singular neuron. The system that is suggested in this paper can broadly be broken into two stages of process. The first stage is the process of face extraction, which involves the acquisition of real-time RGB24bit color video delivering with the use of a cheap webcam. LEGION(Locally Excitatory Globally Inhibitory)algorithm is suggested as the face extraction method to be preceded for face tracking. The second stage is a method for face tracking by discovering the leader neuron that has the greatest connection strength amongst neighbor neuron of extracted face area. Along with the suggested method, the necessary element of face track such as stability as well as scale problem can be resolved.

지상파 DMB 단말에서의 3D 컨텐츠 최적 서비스를 위한 경계 정보 기반 실시간 얼굴 수평 위치 추적 방법에 관한 연구

강성구(Seonggoo Kang),이상섭(Sangseop Lee),이준호(Juneho Yi),김중규(Jungkyu Kim) 大韓電子工學會 2011 電子工學會論文誌-SP (Signal processing) Vol.48 No.6

모바일 단말과 같은 임베디드 환경은 범용 컴퓨터에 비하여 연산 성능이 현저히 낮다. 따라서 기존 얼굴 및 추적 알고리즘은 모바일 환경에서 적용하기에는 복잡도가 높아 검출 시간이 오래 걸리기 때문에 모바일 단말에서의 실시간 적용에는 적합하지 않다. 모바일 단말에서 실시간 시선 추적은 사용자와 단말 간의 양방향 멀티미디어 서비스를 가능하게 함으로써 단방향 서비스에 비해 고품질의 서비스를 제공할 수 있게 된다. 따라서 모바일 환경에 최적화된 실시간 시선 추적 기법의 개발이 필요하다. 이에 본 논문에서는 지상파 3D DMB 컨텐츠의 품질 향상을 위하여 단말에서 사용자 얼굴의 수평 위치를 실시간으로 추적할 수 있는 기법을 제안한다. 본 논문에서 제안하는 방법은 에지의 방향성을 이용하여 얼굴의 좌/우 경계 지점을 추정하며 컬러 에지 정보에 의하여 얼굴의 수평 위치 및 크기를 최종적으로 판단한다. 소벨 연산 과정에서의 경사도 벡터를 수직 방향으로 크기 투영한 데이터에서 얼굴의 경계 후보 지점들이 선택되며 정확한 판단을 위하여 평활화 방법 및 탐색 방법을 제안하였다. 일반적인 얼굴 검출 알고리즘은 멀티스케일의 특징 벡터를 사용하기 때문에 모바일 환경에서는 검출 시간이 오래 걸리지만 본 알고리즘은 수평 위치 검출이라는 제약 조건 하에서의 단일 스케일에서의 검출 방법이므로 기존 얼굴 검출 방법에 비하여 빠른 검출이 가능하다. An embedded mobile device mostly has lower computation power than a general purpose computer because of its relatively lower system specifications. Consequently conventional face tracking and face detection methods requiring complex algorithms for higher recognition rates are unsuitable in a mobile environment aiming for real time detection. On the other hand by applying a real-time tracking and detecting algorithm we would be able to provide a two-way interactive multimedia service between an user and a mobile device thus providing a far better quality of service in comparison to a one-way service. Therefore it is necessary to develop a real-time face and eye tracking technique optimized to a mobile environment. For this reason in this paper we proposes a method of tracking horizontal face position of a user on a T-DMB device for enhancing the quality of 3D DMB content. The proposed method uses the orientation of edges to estimate the left and right boundary of the face and by the color edge information the horizontal position and size of face is determined finally to decide the horizontal face. The sobel gradient vector is projected vertically and candidates of face boundaries are selected and we proposed a smoothing method and a peak-detection method for the precise decision. Because general face detection algorithms use multi-scale feature vectors the detection time is too long on a mobile environment. However the proposed algorithm which uses the single-scale detection method can detect the face more faster than conventional face detection methods.

실시간 비디오 감시에서 신경망 기반의 얼굴 검출

정수웅 김천과학대학 2003 김천과학대학 논문집 Vol.29 No.-

본 논문에서는 실시간 비디오 감시 시스템에서 움직이는 사람들의 얼굴을 추출하고 추적하는 방법을 제안한다. 얼굴 추출 과정에서 계산량으로 인한 부하를 줄이기 위해 제안한 방법은 변화 영역 접근 방식에 기반을 두고 있다. 전체적인 얼굴 추출 방법은 두 단계로 구성되어 있다. 첫 번째 단계는 움직이는 영역 추출을 위해 자동으로 임계값을 선택하는 적응 임계치 방법을 사용한다. 그리고, 임계 처리된 영상에서 이진 모션 마스크들을 생성한다. 두 번째 단계에서는 얼굴 영역을 검출한다. 얼굴 영역 추출은 추출된 모션 마스크 내에서 미리 정의된 피부색 모델을 활용하여 유사한 피부색을 가지는 픽셀들이 추출되고 후보 얼굴 영역들이 얻어진다. 후보 얼굴 영역들에 대해 얼굴의 크기와 모양을 학습한 신경망에 적용하여 실제 얼굴을 검출한다. 현재 프레임에서 검출된 얼굴을 바탕으로 연속된 프레임에서 얼굴들이 추적된다. 실험을 통하여 제안한 방법이 잡음이나 배경이 복잡한 영상에서 매우 효과적으로 얼굴을 추출함을 보인다. In this paper, we present a method to track and detect faces of moving humans for real-time video surveillance. In order to reduce the computational load to the human face detection, the presented method is based on the variation regions application. The method consists of two steps: moving region detection and face region detection. First, the moving region detection, the rough positions of moving objects in image sequence are determined using an adaptive thresholding method that automatically choose the threshold value for detecting the moving regions. Then, we obtained binary motion masks. Second, the face region detection, the pixels in the detected motion masks that have similar skin-color are extracted using the predefined skin-color model, which is a stochastic model to characterize skin-colors of human faces, then we obtain the binary candidate face region masks. The candidate face regions are classified into the real face region using neural network, which is trained size and shape of face. Based on the detected face in current frame, faces are tracked in consecutive frames. Our experimental results show that the presented method is robust under complex background and some noise.

A Fast and Accurate Face Tracking Scheme by using Depth Information in Addition to Texture Information

김동욱,김우열,유지상,서영호 대한전기학회 2014 Journal of Electrical Engineering & Technology Vol.9 No.2

This paper proposes a face tracking scheme that is a combination of a face detectionalgorithm and a face tracking algorithm. The proposed face detection algorithm basically uses theAdaboost algorithm, but the amount of search area is dramatically reduced, by using skin color andmotion information in the depth map. Also, we propose a face tracking algorithm that uses a templatematching method with depth information only. It also includes an early termination scheme, by a spiralsearch for template matching, which reduces the operation time with small loss in accuracy. It alsoincorporates an additional simple refinement process to make the loss in accuracy smaller. When theface tracking scheme fails to track the face, it automatically goes back to the face detection scheme, tofind a new face to track. The two schemes are experimented with some home-made test sequences, andsome in public. The experimental results are compared to show that they outperform the existingmethods in accuracy and speed. Also we show some trade-offs between the tracking accuracy and theexecution time for broader application

동영상에서 칼만 예측기와 블록 차영상을 이용한 얼굴영역 검출기법

장희준(Heejun Jang),고혜선(Hyesun Ko),최영우(Youngwoo Choi),한영준(Youngjoon Han),한헌수(Hernsoo Hahn) 한국지능시스템학회 2005 한국지능시스템학회논문지 Vol.15 No.2

복잡한 환경에서 이동하는 사람의 얼굴영역은 배경과 조명에 의해 확장, 축소 검출되기도 하고 잘못된 영역을 오검출하기도 한다. 본 논문에서는 동영상에서 얼굴을 추적하는데 있어서 확장 혹은 축소검출이나 오검출 문제를 해결하기 위해 블록차영상과 칼만예측기를 사용하는 방법을 제안한다. 블록차영상은 입력영상을 블록화하여 차영상을 얻는 방법으로 미세한 움직임까지 검출이 가능하여 영상에서 움직임이 작은 경우에도 검출이 가능하게 된다. 검출된 움직임영역에서 얼굴영역은 1차적으로 피부색을 이용하여 검출하며 피부색이 검출되지 않는 경우는 움직임영역의 경계선을 8이웃화소 창을 이용하여 부호화하고 머리 부분의 코드를 갖는 영역을 얼굴영역으로 추정하는 방법을 사용한다. 추정된 얼굴영역을 컬러분할하고 분할된 영역에서 피부색과 가장 가까운 색을 갖는 영역을 얼굴영역으로 판단한다. 얼굴영역은 최외각화소를 포함하는 4각형으로 표시하고 각 정점의 이동을 칼만예측기를 이용하여 추정하고 추정된 위치에서 얼굴영역을 검출하는 방법을 사용한다. 제안하는 방법은 동영상에서 얼굴영역검출의 정확도를 높이고 얼굴영역의 추적에서 얼굴영역검출에 소요되는 시간을 상당부분 감소시키는 효과를 거두게 됨을 실험을 통해 입증하였다. When tracking a human face in the moving pictures with complex background under irregular lighting conditions, the detected face can be larger including background or smaller including only a part of the face. Even background can be detected as a face area. To solve these problems, this paper proposes a new face tracking method using a block difference image and a Kalman estimator. The block difference image allows us to detect even a small motion of a human and the face area is selected using the skin color inside the detected motion area. If the pixels with skin color inside the detected motion area, the boundary of the area is represented by a code sequence using the 8-neighbor window and the head area is detected analysing this code. The pixels in the head area is segmented by colors and the region most similar with the skin color is considered as a face area. The detected face area is represented by a rectangle including the area and its four vertices are used as the states of the Kalman estimator to trace the motion of the face area. It is proved by the experiments that the proposed method increases the accuracy of face detection and reduces the face detection time significantly.

고유얼굴을 사용한 검증 기반의 얼굴 추적

정수웅 김천과학대학 2002 김천과학대학 논문집 Vol.28 No.-

얼굴 영상에 대한 처리가 영상 분석 분야에서 많은 관심을 보이고 있다. 본 논문에서는 배경이 복잡한 환경에서 실시간으로 사람의 얼굴을 추적하는 검증 기반 방법을 제안한다. 제안한 방법은 얼굴 추출, 얼굴 검증, 얼굴 추적 과정의 세 단계로 구성되어 있다. 얼굴 추출 과정에서 피부색 모델과 모션 정보를 사용하여 얼굴 후보 영역들을 추출하고 추출된 얼굴 후보 영역이 얼굴인지를 주성분 분석을 통하여 얼굴 검증 과정에서 판별한다. 검증된 얼굴 영역이 화면의 중앙에 항상 위치하도록 능동 카메라를 제어하여 얼굴을 추적한다. 실험을 통하여 제안한 방법이 매우 효과적으로 얼굴을 추적함을 보인다. 제안된 방법은 무인 감시나 사람과 컴퓨터간의 인터페이스 등과 같은 시스템에 응용할 수 있다. The processing of face images receives more and more interesting in the field of image analysis. This paper presents a realtime verification-based face tracking method. The proposed method consists of face detection, verification and tracking modules. First, It detects face candidate regions and verifies candidate regions using principle component analysis. Then, active camera tracks a verified face. Face detection step extracts face candidate regions using skin color and motion information. To improve the robust results of face tracking, the detected regions are verified by eigenfaces. The tracking of a face is done in such a way that the verified region is kept on the center of the screen through controlling an active camera mounted on the pan/tilt platform. The proposed method can be applied to other systems such as intruder inspection system and human-machine interface.