자막 검출 CNN 모델을 이용한 동의 및 비동의 동영상자동 분류 포렌식 = Automatic Agreed or Non-agreed Video Classification Forensics through Caption Detection CNN Model

국문 초록 (Abstract)

동영상을 이용한 디지털 범죄가 증가하고 있지만 방대한 데이터 규모로 인해 인력 및 자원 측면에서 분석에 제약이 있어서 멀티미디어 포렌식에 인공지능을 도입하는 추세이다. 본 논문에서는 동영상에 포함된 자막 검출을 기반으로 동의 및 비동의 동영상을 분류하여 포렌식 분석 대상을 선별하는 알고리즘을 제안한다. 동의 및 비동의 동영상의 기준을 정의하고 동영상을 세그먼트 단위로 분할하여 동영상 데이터셋을 구축하였다. 자막 검출을 위해서 CNN 모델을 설계하여 최적화를 수행한 후에 동영상에 적용하여 자막 검출 비율에 대한 임계값을 기준으로 동의 및 비동의 분류를 수행하였다. 또한 성능 향상을 위한 다양한 실험과 분석을 수행하였다. 그 결과에 따르면 설계한 자막 검출 CNN 모델은 98.1% 정확도를 보였고, 제안한 동의 및 비동의 동영상 분류 알고리즘은 95.9% 정확도를 나타냈다.

다국어 초록 (Multilingual Abstract)

Digital crimes using video are increasing and hence artificial intelligence is being introduced because of limitations in analysis in terms of manpower and resources due to the vast amount of data. In this paper, we propose an algorithm to select videos for forensic analysis by classifying an agreed or non-agreed video based on detecting captions included videos. After defining the criteria for agreed and non-agreed video, a video dataset was constructed by dividing video into segments. A CNN model was designed and optimized for caption detection and then applied to the video to classify an agreed or non-agreed video based on the caption detection rate threshold. We also conducted various experiments and analyzes to improve performance. As a result, the designed caption detection CNN model showed 98.1% accuracy, and the proposed agreed or non-agreed video classification algorithm showed 95.9% accuracy.