코사인 유사도 기반 객체 추적을 통한 다중 객체 환경에서의 행동 인식 개선

국문 초록 (Abstract)

본 연구에서는 코사인 유사도 기반 객체 추적 알고리즘을 통합한 개선된 행동 인식 방법을 제안한다. 제 안된 시스템은 Faster R-CNN을 사용한 객체 검출, HRNet을 이용한 포즈 추정, 그리고 PoseC3D를 활용한 행동 분류를 기반으로 한다. 핵심 개선 사항은 PoseC3D의 출력에 코사인 유사도 기반 추적 알고리즘을 적용하여 연속 된 프레임에서 각 개별 객체를 일관되게 식별하고 추적하는 것이다. 이를 통해 다양한 인물이 등장하는 야구 영상 에서 투수를 인식할 수 있도록 하였다. 실험을 진행한 결과, 한 사람이 등장하는 야구 영상에서는 97%의 정확도 를 나타내었으며, 시각화를 통해 타자와 투수, (외)야수 등 각 인물을 잘 인식하고 있음을 확인할 수 있었다. 이어 서 다중 인물 중 투수를 인식하여 영상을 추출하는 실험을 진행한 결과, 92%의 정확도로 투수를 인식하였음을 확인할 수 있었다.

다국어 초록 (Multilingual Abstract)

In this study, we propose the improved action recognition method that integrates a cosine similarity-based object tracking algorithm. The proposed system is based on object detection using Faster R-CNN, pose estimation using HRNet, and action classification using PoseC3D. The key improvement lies in applying the cosine similarity-based tracking algorithm to the output of PoseC3D, allowing consistent identification and tracking of individual objects across consecutive frames. As a result, the proposed method enables the recognition of the pitcher in baseball videos including multiple objects. Experimental results showed an accuracy of 97% in baseball videos with a single individual. Further experiments on baseball videos with multiple individuals demonstrated a 92% accuracy in recognizing the pitcher.

목차 (Table of Contents)

• 요약
• Abstract
• Ⅰ. 서론
• Ⅱ. 관련 연구
• Ⅲ. 시스템 구조
• 3.1 시스템 구조 및 동작
• 3.2 기존 시스템의 한계
• 3.3 코사인 유사도 기반 추적 알고리즘을 적용한 행동 인식 시스템
• Ⅳ. 성능 평가
• 4.1 구현 내용
• 4.2 실험 내용 및 결과
• Ⅴ. 결론
• REFERENCES