유토피아 스마트시티에서의 사람 탐색을 위한 딥러닝과 클라우드 기반의 실시간 분산병렬 이미지 처리 미들웨어 시스템에 대한 연구 = A Study on Deep Learning and Cloud Based Real-time Distributed Parallel Image Processing Middleware System for Person Detection in UTOPIA Smart City

국문 초록 (Abstract)

본 논문에서는 스마트시티에서 생성된 비디오 데이터에서 사람을 탐색하기 위해, 대용량 이미지 데이터를 효과적으로 실시간 분석하는 URAIPD(UTOPIA Real-time Artificial Intelligence Person Detection) 시스템을 소개한다. URAIPD 시스템은 딥러닝 방법과 클라우드 컴퓨팅 기반 실시간 분산병렬처리 방법을 스마트시티 미들웨어에 올인원 시스템으로 구현했다. 구현한 시스템은 딥러닝을 통해 사람 탐색 인공지능을 개발한 다음, 개발한 사람 탐색 인공지능을 사용하여 UTOPIA 스마트시티의 CCTV와 카메라에서 지속 공급되는 빅 비디오에서 사람을 실시간으로 탐색한다. 본 논문에서는 연구개발 목표, 설계 세부 사항, 구현 및 구현한 시스템의 성능평가를 설명한다. 성능평가 실험을 통해, 구현한 시스템이 잘 작동하고 확장 가능하며 안정적이고 효율적임을 입증하였다.

다국어 초록 (Multilingual Abstract)

For smart cities, this paper introduce the UTOPIA Real-time Artificial Intelligence Person Detection(URAIPD) system that effectively analyzes a large amount of image data in real time to detect persons in video data generated in smart cities. The URAIPD system was implemented with a deep learning method and a cloud computing based real-time distributed parallel processing method as an all-in-one system in smart city middleware. The implemented system develops person detection artificial intelligence through deep learning, and then uses the developed person detection artificial intelligence to detect in real time humans in the video that are continuously fed by CCTVs and cameras in UTOPIA smart cities.
This paper describes the research and development goals, design details, implementation, and performance evaluation of the implemented system. Through performance evaluation experiments, it is demonstrated that the implemented system is well-functioning, scalable, stable, and efficient.

목차 (Table of Contents)

• 1. 서론 1
• 2. 관련 연구 6
• 3. UTOPIA 실시간 인공지능 사람 탐색 시스템 12
• 3.1 딥러닝과 클라우드 기반의 실시간 사람 탐색 시스템 12
• 3.2 AI Generator 17
• 3.2.1 AI Developer 17
• 3.2.2 AI Tester 19
• 3.3 AI Analyzer 21
• 3.4 Cloud Based Real-time Distributed Parallel Processor 23
• 4. 성능평가 실험 27
• 4.1 실험시스템 27
• 4.2 사람 탐색을 위한 딥러닝 29
• 4.2.1 딥러닝 데이터 제작 29
• 4.2.2 사람 탐색 인공지능 개발 36
• 4.2.3 개발된 사람 탐색 인공지능의 정확도 평가 36
• 4.3 개발된 인공지능을 사용한 사람 탐색 37
• 4.4 클라우드 컴퓨팅 기반 실시간 분산병렬처리 38
• 4.5 실험환경 39
• 4.5.1 딥러닝 실험환경 39
• 4.5.2 실시간 분산병렬 사람 탐색 실험환경 40
• 5. 성능평가 42
• 5.1 성능 지표 42
• 5.2 사람 탐색 인공지능의 생성과 정확도 성능평가 43
• 5.2.1 사람 탐색 인공지능의 생성 성능 43
• 5.2.2 GPU 가속기와 딥러닝 속도 46
• 5.2.3 딥러닝 횟수에 대한 가이드라인 47
• 5.2.4 개발된 인공지능을 사용하여 정지 영상 사진 속의 사람 탐색 47
• 5.2.5 개발된 인공지능을 사용하여 스마트시티 CCTV 동영상 속의 사람 탐색 성능 48
• 5.2.6 추가 학습과 정확도 49
• 5.3 실시간 사람 탐색 성능평가 51
• 5.3.1 병렬처리 성능 51
• 5.3.2 실시간 분산병렬처리 성능 52
• 5.3.3 할당되는 프레임 수 변화에 따른 성능 53
• 5.3.4 CCTV 대수 증가에 따른 성능 54
• 6. 결론 56
• 참고문헌 58
• Abstract 68
• 감사의 글 70

참고문헌 (Reference)

1 Hinton , G. E., "Deep Belief Networks", 4 ( 5 ) :5947 ., 2009

2 Zhao , Z. Q. , Zheng , P. , Xu , S. T. , Wu , X., "Object detection with deep learning : A review", 30 , 3212-3232 , doi:10.1109/TNNLS.2018.2876865 ., 2019

3 Jiao , L. , Zhang , F. , Liu , F. , Yang , S. , Li , L. , Feng , Z. , Qu , R., "A survey of deep learning-based object detection", 7 , 128837-128868 , doi:10.1109/ACCESS.2019.2939201 ., 2019

4 Parekh , H. S. , Thakore , D. G. , Jaliya , U. K. ,, "A survey on object detection and tracking methods", 2 , 2970-2978 ., 2014

5 Nguyen , D. T. , Li , W. , Ogunbona , P. O., "Human detection from images and videos : A survey", 51 , 148-175 , doi:10.1016/j.patcog.2015.08.027 ., 2016

6 Yoon , C. S. , Jung , H. S. , Park , J. W. , Lee , H. G. , Yun , C. H. , Lee , Y. W. ,, "A Cloud-Based UTOPIA Smart Video Surveillance System for Smart Cities", 10 , 6572 , doi:10.3390/app10186572 ., 2020

7 Xu , Z. F. , Jia , R. S. , Liu , Y . B. , Zhao , C. Y. , Sun , H. M., "Fast method of detecting tomatoes in a complex scene for picking robots", 8 , 55289-55299 ., 2020

8 Sikora , P. , Malina , L. , Kiac , M. , Martinasek , Z. , Riha , K. , Prinosil , J. , Jirik , L. , Srivastava , G. ,, "Artificial intelligence-based surveillance system for railway crossing traffic ”", 21 , 15515-15526. doi:10.1109/JSEN.2020.3031861 ., 2020

9 Ahn , S. W. , Jung , H. S. , Yoo , C. , Lee , Y. W., "NARS : Network Bandwidth Adaptive Scalable Real-Time Streaming for Smart Ubiquitous Middleware", 14 , 217 ? 230 , doi:10.6138/JIT.2013.14.2.05 ., 2013

10 Anjum , A. , Abdullah , T. , Tariq , M. F. , Baltaci , Y. , Antonopoulos , N. ,, "Video stream analysis in clouds : An object detection and classification framework for high performance video analytics", 7 , 1152-1167. doi:10.1109/TCC.2016.2517653 ., 2016

11 Fadlullah , Z. M. , Tang , F. , Mao , B. , Kato , N. , Akashi , O. , Inoue , T. , Mizutani , K., "State-of-the-art deep learning : Evolving machine intelligence toward tomorrow ’ s intelligent network traffic control systems", 19 , 2432-2455 , doi:10.1109/COMST.2017.2707140 ., 2017

12 Akkus , Z. , Cai , J. , Boonrod , A. , Zeinoddini , A. , Weston , A. D. , Philbrick , K. A. , Erickson , B. J., "A survey of deep-learning applications in ultrasound : Artificial intelligence ? powered ultrasound for improving clinical workflow", 16 , 1318-1328 , doi:10.1016/j.jacr.2019.06.004 ., 2019