인간 행동인식을 위한 자세추정 모델 기반 자동 레이블링 시스템

다국어 초록 (Multilingual Abstract)

Today, the technological paradigm represented by the 4th industrial
revolution has made it possible to effectively manage and analyze various big
data generated through people and Internet of Things (IoT) terminals. In
addition, the outputs were able to converge into new values beyond all areas
of society. Among them, artificial intelligence (AI) successfully solves
problems that were difficult to solve with traditional computer algorithms, and
has established itself as the most core technology leading the 4th industrial
revolution.
In general, artificial intelligence learns how to represent the data by
appropriately transforming the feature space of the dataset. In order to
acquire an artificial intelligence model with adequate performance, data points
that can represent the entire data set well and are not biased must be
collected and selected and processed appropriately so that the machine can
understand them well. For this reason, preparing a training dataset is
considered so important that 80% of the entire project's time resources are
invested.
Data labeling is a kind of data preprocessing task that annotates data
so that machines can understand the data, which takes a long time and
requires a lot of human labor. The data labeling task does not require
high-level technology, but it is a very important starting point as a
preparatory task for learning artificial intelligence. However, most of the data
labeling task is currently carried out by people's labor, so it takes a lot of
time. In addition, consistency is poor due to differences in labeling skills
depending on the worker, which is emerging as an issue that negatively
affects learning process of the artificial intelligence model.
Therefore, this paper proposes a system that automatically labels pose
estimation and object tracking information focusing on action recognition to
increase the task efficiency of data labeling that requires a large number of
manpower and time in the artificial intelligence research process. The
proposed system labels object pose and position automatically using models;
YOLOv7-Pose and StrongSort.
The implemented automatic labeling system achieved a F1-score of 0.849,
and showed better performance on indoor images rather than outdoor. These
results show that, except for specific situations such as object occlusion, the
performance of the automatic labeling system was very similar to the results
of manual task by workers, and it can significantly reduce task time.

국문 초록 (Abstract)

오늘날 4차 산업혁명으로 대변되는 기술 패러다임은 사람과 사물인터넷
단말 등이 쏟아내는 각종 빅데이터를 효과적으로 관리하고 분석할 수 있
게 만들었다. 또한, 그 산출물들은 분야를 초월하여 새로운 가치로써 융합
될 수 있다. 그중에서도 인공지능은 기존의 컴퓨터 알고리즘으로는 해결
이 어려웠던 문제들을 성공적으로 해결함으로써, 4차 산업혁명을 이끄는
가장 핵심적인 기술로 분류된다.
인공지능은 일반적으로 데이터 세트의 특징 공간을 적절하게 변형하여
그 공간에 속한 데이터들의 표현 방법을 배운다. 적절한 성능의 인공지능
모델을 확보하기 위해, 전체 데이터 세트를 정확하게 설명할 수 있고 편
향되지 않은 데이터 포인트들을 수집·선별하고, 그것을 기계가 잘 이해할
수 있도록 적절히 처리해 주어야 한다. 이 때문에 학습 데이터 세트를 준
비하는 작업은 전체 프로젝트의 80%에 이르는 시간 자원이 투입될 정도
로 매우 중요하게 분류된다.
데이터 레이블링은 기계가 데이터를 이해할 수 있도록 데이터에 각종
주석을 추가하는, 일종의 데이터 전처리 작업이며, 시간이 오래 걸리고 사
람의 노동력을 많이 요구한다. 데이터 레이블링 작업은 난이도가 높은 기
술을 요구하지는 않지만 인공지능의 학습을 위한 준비 작업으로 매우 중
요한 시작점이다. 그러나, 현재는 대부분의 데이터 레이블링 작업들이 사
람들의 노동력에 의해 이루어지고 있어서 많은 시간이 소요되고 있는 실
정이다. 또한 작업자에 따라서 레이블링 방식의 차이로 인해 일관성이 떨
어지며, 이는 인공지능 모델 학습에 부정적인 영향을 미치게 되는 문제점
으로 대두되고 있다.
이에 본 논문에서는 인공지능 연구 과정에서 다수의 인력과 많은 시간
을 요구하는 데이터 레이블링의 작업 능률을 높이고자, 행동 인식 분야를
중심으로 자체추정 및 객체추적 정보를 자동으로 레이블링하는 시스템을
제안한다. 제안한 시스템은 비디오 영상 프레임에 나타난 객체의 자세추
정을 위해 YOLOv7-Pose 모델을 활용하여 객체추적을 위해 StrongSort
모델을 사용하여 위치와 자세를 자동으로 레이블링하도록 한다.
구현된 자동 레이블링 시스템은 F1-score 0.849이 측정되었으며, 실외보
다는 실내 영상에 대하여 상대적으로 더 좋은 성능을 보였다. 이러한 결
과를 통해 객체 가려짐 등과 같은 특수한 상황을 제외한다면, 자동 레이
블링 시스템의 성능은 작업자가 직접 수작업한 결과물과 매우 유사했으
며, 작업 시간을 대폭 줄일 수 있다는 것을 확인할 수 있었다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구 배경 및 목적 1
• 2. 논문의 구성 3
• Ⅱ. 관련연구 5
• 1. 객체식별 5
• 2. YOLO 8
• 3. 어노테이션 12
• 4. 자세추정 16
• Ⅲ. 이미지 레이블링 자동화 시스템 설계 18
• 1. 자세추정 인식모델 18
• 2. 객체추적 19
• 3. 레이블링 자동화 시스템 설계 21
• Ⅳ. 구현 및 성능평가 29
• 1. 시스템 구현 29
• 2. 성능평가 33
• Ⅴ. 결론 38