딥러닝 자세 추정 모델을 이용한 지하공동구 다중 작업자 낙상 검출 모델 비교

국문 초록 (Abstract)

연구목적: 본 연구는 지하공동구 내 다수 작업자의 낙상을 자동으로 판별하기 위한 Top-down 방식의 딥러닝 자세 추정 모델 기반 낙상 검출 모델을 제안하고, 제안 모델의 성능을 평가한다. 연구방법: Top-down 방식의 자세 추정모델 중 하나인 YOLOv8-pose로부터 추론된 결과와 낙상 판별 규칙을 결합 한 모델을 제시하고, 지하공동구 내 2인 이하 작업자가 출현한 기립 및 낙상 이미지에 대해 모델 성능지 표를 평가하였다. 또한 동일한 방법으로 Bottom-up 방식 자세추정모델(OpenPose)을 적용한 결과를 함 께 분석하였다. 두 모델의 낙상 검출 결과는 각 딥러닝 모델의 작업자 인식 성능에 의존적이므로, 작업 자 쓰러짐과 함께 작업자 존재 여부에 대한 성능지표도 함께 조사하였다. 연구결과: YOLOv8-pose와 OpenPose의 모델의 작업자 인식 성능은 F1-score 기준으로 각각 0.88, 0.71로 두 모델이 유사한 수준이 었으나, 낙상 규칙을 적용함에 따라 0.71, 0.23로 저하되었다. 작업자의 신체 일부만 검출되거나 작업자 간 구분을 실패하여, OpenPose 기반 낙상 추론 모델의 성능 저하를 야기한 것으로 분석된다. 결론: Top-down 방식의 딥러닝 자세 추정 모델을 사용하는 것이 신체 관절점 인식 및 개별 작업자 구분 측면 에서 지하공동구 내 작업자 낙상 검출에 효과적이라 판단된다.

다국어 초록 (Multilingual Abstract)

Purpose: This study proposes a fall detection model based on a top-down deep learning pose estimation model to automatically determine falls of multiple workers in an underground utility tunnel, and evaluates the performance of the proposed model. Method: A model is presented that combines fall discrimination rules with the results inferred from YOLOv8-pose, one of the top-down pose estimation models, and metrics of the model are evaluated for images of standing and falling two or fewer workers in the tunnel. The same process is also conducted for a bottom-up type of pose estimation model (OpenPose). In addition, due to dependency of the falling interference of the models on worker detection by YOLOv8-pose and OpenPose, metrics of the models for fall was not only investigated, but also for person. Result: For worker detection, both YOLOv8-pose and OpenPose models have F1-score of 0.88 and 0.71, respectively. However, for fall detection, the metrics were deteriorated to 0.71 and 0.23. The results of the OpenPose based model were due to partially detected worker body, and detected workers but fail to part them correctly. Conclusion: Use of top-down type of pose estimation models would be more effective way to detect fall of workers in the underground utility tunnel, with respect to joint recognition and partition between workers.

목차 (Table of Contents)

• ABSTRACT
• 요약
• 서론
• 연구배경 및 목적
• 다중 인원의 딥러닝 기반 쓰러짐 검출 기술 필요성
• KP 기반 작업자 낙상 검출 모델
• Top-down vs Bottom-up pose detection: YOLOv8-pose and OpenPose
• YOLOv8-pose와 OpenPose
• 딥러닝 자세 추정 모델 기반 쓰러짐 판별 모델
• 제안 모델의 지하공동구 다중 작업자 낙상 검출 실험
• 실험데이터 구축 및 성능평가 방법
• 사전 훈련 모델의 지하공동구 작업자 검출 성능 비교
• 작업자 쓰러짐 검출 모델 적용 결과
• 결론
• Acknowledgement
• References