Vision & Audio 기반 엘리베이터 내 이상행동 인식 임베디드 시스템

국문 초록 (Abstract)

엘리베이터는 공간 특성상 폐쇄성과 고립성이 있어 범죄자의 범행 장소가 될 가능성이 높고, 실신이 발생 시 빠른 구조 조치가 어려울 수 있다. 이에 본 논문은 엘리베이터 내 CCTV 카메라를 통해 폭행 및 실신 사고를 감지하고 마이크를 통해 음성을 분석하는 vision & audio 기반의 multi - modal 엘리베이터 내 이상행동 임베디드 시스템에 대해 연구하였다. 1024개의 CUDA 코어와 32개의 Tensor 코어가 있어 대규모 계산 작업이 가능한 Jetson Orin Nx 8G와 저가형 임베디드 시스템이 구축 가능한 Raspberry Pi5에서 동시에 개발 및 연구를 진행해 비교 분석이 가능하도록 하였다. 폭행 및 쓰러짐 감지를 위해, YOLOv5-n에 관련 데이터를 학습시켜 1차로 이상행동을 검출하도록 하였으며, 폭행과 쓰러짐 감지의 정확도를 높이기 위해 추가 지표를 YOLOv5-n와 함께 사용하였다. 폭행 감지에서는 추가 지표로 엘리베이터 환경에서 비명소리의 threshold amplitude를 선정한 후, Fast Fourier Transform으로 음성을 분석하여 비명소리의 frequency 중 threshold amplitude 이상인 것들을 사용한다. 쓰러짐 감지에서는 추가 지표로 사람의 skeleton point에서 구한 사람의 방향 벡터와 쓰러진 위치의 바닥 법선 벡터의 각도 비교를 사용한다. 또한, 피에조 버저를 이용한 경보 시스템을 구축하여 쓰러짐 및 폭행 발생 시 신속한 조치가 가능하도록 연구 개발하였다.

목차 (Table of Contents)

• 요약
• 1. 서론
• 2. 관련 연구 동향
• 3. 제안 방법
• 4. 실험
• 5. 결론
• 6. 참고문헌