인공지능(AI) 기반 동작 인식 알고리즘을 활용한 태권도 품새 평가도구 개발 = Development of Taekwondo Poomsae Evaluation System by Utilizing the AI Based Activity Detection Algorithm

다국어 초록 (Multilingual Abstract)

This study aims to develop a tool for the evaluation of Taekwondo Poomsae based on an algorithm for the recognition of Taekwondo motions. Concretely, first, this study developed algorithms for the recognition of the basic motions in Taekwondo Poomsae, utilizing motion recognition algorithms. To do so, from 64 black-belt holders in a level higher than Taekwondo 1 Dan (First Degree), who could perform Taekwondo Taegeuk 1 Jang, Taegeuk 1 Jang videos were collected, and EfficientNet B4 Model was adopted as the final deep learning model to classify Taekwondo motions. Second, utilizing the developed algorithms for the recognition of the basic motions of Taekwondo Poomsae, the optimum models for the evaluation of Taekwondo Poomsae were selected. To draw a result better than the performance in the developed single model, an ensemble technique was utilized. Third, utilizing the selected optimum models, a tool for the evaluation of Taekwondo Poomsae was developed and applied. As an artificial intelligence-based Taekwondo Poomsae evaluation tool, Python’s PyQt5 Library was used, and it has a series of system that can conduct video insertion (input), motion classification (processing), and Poomsae result information provision (output). It does not simply classify motions, but they are matched according to the designated classified motions of Taegeuk 1 Jang Poomsae, and finally, the success or failure of Taegeuk 1 Jang can be judged. The conclusions of this study are as follows.

First, according to the point of view of the camera and the shape of the image, algorithms for the recognition of 27 basic motions in Taekwondo Poomsae were developed. Of the 27 algorithms developed, the algorithm that showed the best performance achieved an accuracy of 96.1% to the maximum.

Second, an ensemble model was developed to improve the performance of the algorithm for the recognition of the basic motions in Taekwondo Poomsae. This study selected nine ensemble models that were finally developed as the optimum models for the evaluation of Taekwondo Poomsae.

Third, utilizing the selected optimum model, this study developed an artificial intelligence-based Taekwondo Poomsae evaluation tool. Of the nine models developed, the model that showed the best performance achieved an accuracy of 100.0% to the maximum.

In conclusion, this study developed an artificial intelligence-based Taekwondo Poomsae evaluation tool, utilizing the Taekwondo motion recognition algorithm. This study can be utilized as a useful tool in providing objective judgment in the Taekwondo Poomsae evaluation site and can further be utilized as the baseline information in evaluating motions in various sports events.

국문 초록 (Abstract)

이 연구는 태권도 동작 인식 알고리즘을 기반으로 태권도 품새 평가도구를 개발하는데 목적이 있다. 구체적으로 첫째, 동작 인식 알고리즘을 활용하여 태권도 품새 기본 동작 인식 알고리즘을 개발하였다. 이를 위해 태권도 태극 1장을 수행할 수 있는 태권도 1단 이상 유단자 64명을 대상으로 태극 1장 영상을 수집하였으며, EfficientNet B4 모델을 태권도 동작을 분류하는 최종 딥러닝 모델로 채택하였다. 둘째, 개발된 품새 기본 동작 인식 알고리즘을 활용하여 태권도 품새 평가 최적 모델을 선정하였다. 개발된 단일 모델에서의 성능보다 더 나은 결과를 도출하기 위해 앙상블(Ensemble) 기법을 활용하였다. 셋째, 선정된 최적 모델을 활용하여 태권도 품새 평가도구를 개발하고 실제 적용해보았다. 인공지능 기반 태권도 품새 평가도구는 Python의 PyQt5 라이브러리를 이용하였으며, 영상삽입(입력) - 동작분류(처리) - 품새결과정보제공(출력)을 할 수 있는 일련의 체계를 지니고 있다. 단순히 동작을 분류할 뿐만 아니라 지정해놓은 태극 1장 품새 구분 동작에 따라 매칭되어 최종적으로 태극 1장의 성공여부를 판단할 수 있다. 이 연구의 결론은 다음과 같다.

첫째, 카메라 시점과 이미지 형태에 따라 27개의 태권도 품새 기본 동작 인식 알고리즘을 개발하였다. 개발된 27개의 알고리즘 중 가장 좋은 성능을 나타낸 알고리즘은 최대 96.1%의 정확도를 달성했다.

둘째, 태권도 품새 기본 동작 인식 알고리즘의 성능을 높이기 위해 앙상블 모델을 개발하였다. 이 연구에서는 최종적으로 개발된 9개의 앙상블 모델을 태권도 품새 평가 최적 모델로 선정하였다.

셋째, 선정된 최적 모델을 활용하여 인공지능 기반 태권도 품새 평가도구를 개발하였다. 개발된 9개의 모델 중 가장 좋은 성능을 나타낸 모델은 최대 100.0%의 정확도를 달성했다.

결론적으로 이 연구에서는 태권도 동작 인식 알고리즘을 활용하여 인공지능 기반 태권도 품새 평가도구를 개발하였다. 이는 태권도 품새 심사 현장에서 객관적인 판정을 제공하는데 유용한 도구로 활용할 수 있을 것이며, 더 나아가 다양한 스포츠 종목의 동작 평가를 하는데 기초정보로 활용될 수 있을 것이다.

목차 (Table of Contents)

• I. 서론 1
• 1. 연구의 필요성 1
• 2. 연구내용 7
• Ⅱ. 이론적 배경 8
• 1. 태권도 심사 8
• 2. 인공지능의 기본 개념 11
• 3. 딥러닝의 동작 원리 15
• 4. 다양한 스포츠 종목의 인공지능 적용사례 27
• Ⅲ. 연구방법 31
• 1. 연구절차 31
• 2. 자료수집방법 및 절차 32
• 3. 자료처리방법 34
• Ⅳ. 연구결과 49
• 1. 동작 인식 알고리즘을 활용한 태권도 품새 기본 동작 인식 알고리즘 개발 49
• 1) 정면 영상을 활용한 태권도 품새(태극 1장) 기본 동작 인식 알고리즘 개발 49
• 2) 측면 영상을 활용한 태권도 품새(태극 1장) 기본 동작 인식 알고리즘 개발 52
• 3) 후면 영상을 활용한 태권도 품새(태극 1장) 기본 동작 인식 알고리즘 개발 55
• 2. 품새 기본 동작 인식 알고리즘을 활용한 태권도 품새 평가 최적 모델 선정 59
• 1) 태권도 품새 기본 동작 인식 알고리즘을 활용한 앙상블 모델 개발 59
• 2) 태권도 품새 기본 동작 인식 알고리즘 최적 모델 선정 60
• 3. 태권도 품새 평가도구 개발 및 적용 62
• 1) 태권도 품새 평가 최적 모델을 활용한 태권도 품새 평가도구 개발 62
• 2) 태권도 품새 평가 최적 모델을 활용한 태권도 품새 평가도구 적용 65
• Ⅴ. 논의 90
• Ⅵ. 결론 97
• 참고문헌 98
• ABSTRACT 106

참고문헌 (Reference)

1 국기원, "태권도교본", 오성출판사, 2006

2 국기원, 국기원, "태권도 심사규정", 2016

3 국기원, "태권도 심사규칙", 2017

4 강상조, "체육통계 (개정판)", 도서출판 21세기교육사, 2006

5 양희태, 장훈, "딥러닝의 현재와 미래", FUTURE HORIZON, (38), 8-11, 2018

6 강민수, 박재현, 강상조, "체육연구방법 (개정판)", 서울: 21세기교육사, 2010

7 국기원, "국기원 승품 단 심사 절차.", 국기원 홈페이지. http://www.kukkiwon.or.kr/front/pageView.action?cmd=/kor/evaluate/evaluate2에서 검색, 2021

8 문성은, 장수범, 이종석, 이정혁, "기계학습 및 딥러닝 기술동향", 한국통신학회지, 33(10), 49-56, 2016

9 신병주, "잘못된 심사제도 바로 세우자①", 태권도신문. http://www.tkdnews.com/news/articleView.html?idxno=7548에서 검색, 2012

10 이재민, 최태영, "CNN을 활용한 운동선수 자세 분류", 한국정보과학회 학술발표논문집, 904-906, 2017

11 이재성, "심층 신경망의 발전 과정과 이해", Information and Communications Magazine, 33(10), 40-48, 2016

12 임일혁, "태권도 품새 경기의 미학적 가치", 움직임의 철학: 한국체육철학회지, 21(3), 79-93, 2013

13 김동근, "python으로 배우는 OpenCV 프로그래밍", 서울 : 가메, 2018

14 안근아, 안진영, "태권도 품새경기의 미적체험 구조", 한국스포츠학회지, 12(1), 143-151, 2014

15 정현도, "태권도 국기원 고단자 심사 개선 방안", 세계태권도문화학회지, 28, 81-100, 2020

16 정현도, "태권도 자유 품새 경기의 활성화 방안", 세계태권도문화학회지, 55-67, 2015

17 서진교, "태권도의 심사비용 구조 및 쟁점 분석", 한국체육학회지, 41(5), 105-117, 2002

18 김상용, 오준석, "여자 기계체조경기 판정에 대한 사례연구", 코칭능력개발지, 17(3), 167-178, 2015

19 김현주, 윤영길, "K 리그 심판 판정에 VAR 도입의 도움과 방해", 스포츠사이언스, 39(2), 125-133, 2021

20 임동훈, 최도연, 정광모, "딥러닝 기반 앙상블을 이용한 유방암 분류", 보건정보통계학 회지, 43(2), 140-147, 2018

21 문진우, 최은지, 최영재, 박보랑, "재실자 활동량 산출을 위한 Pose분류 모델 개발", 한국생태환경건축학회 논문집, 18(5), 93-98, 2018

22 손태식, 정재한, "공개 딥러닝 라이브러리에 대한 보안 취약성 검증", 정보보호학회논 문지, 29(1), 117-125, 2019

23 김은별, 한재식, 최은아, 이용민, 이민호, "EfficientNet 기반 향상된 버섯 이미지 분류 모델 개발", 한국콘텐츠학회 종합학술대회 논문집, 399-400, 2021

24 박정웅, "전이학습을 이용한 상표 인식. 미간행 석사학위논문", 군산대학교 대학원, 2019

25 김인성, 정창영, 정상옥, "태권도수련생 학부모의 승품심사요인에 대한 만족도", 세계 태권도학회지, 6, 481-528, 2003

26 김서경, 이봉, "태권도 승품 (단) 실기심사에 대한 문제점 및 개선방안", 한국체육과학 회지, 24(5), 173-184, 2015

27 최규정, "OpenPose를 활용한 감시 정찰 시스템. 미간행 석사학위논문", 광운대학교 대학원, 2021

28 조은형, "인지된 태권도 전자호구 문제점에 대한 대륙별 인식 탐색", 한국체육측정평 가학회지, 17(1), 47-56, 2015

29 박주미, "인공지능(AI)이 체조를 채점한다고? 양학선 ‘아주 좋아요!’", KBS NEWS. http://news.kbs.co.kr/news/view.do?ncd=4160954&ref=A에서 검색, 2019

30 강은철, "전이 학습을 이용한 나뭇잎 영상 인식. 미간행 석사학위논문", 전북대학교 대학원, 2018

31 이찬수, "[특집편집기] 딥러닝을 포함한 인간행동 인식 최신 기술 동향", 전자공학회지, 44(8), 15-15, 2017

32 도수화, "AI 아나운서가 일하는 '인공지능 시대'…AI 기술 어디까지 왔나", 산업일보. http://www.kidd.co.kr/news/221466에서 검색, 2021

33 류시현, "태권도 앞차고 몸돌아 옆차기의 균형성. 미간행 석사학위논문", 한국체육대학교 대학원, 2012

34 이준영, 한인구, 최은주, "딥러닝 오픈소스 프레임워크의 사례연구를 통한 도입 전략 도출", 지능정보연구, 26(4), 27-65, 2020

35 조영복, "앙상블 딥러닝을 이용한 초음파 영상의 간병변증 분류 알고리즘", 한국 인터넷방송통신학회 논문지, 20(4), 101-106, 2020

36 유동현, 정태성, "태권도장의 유소년 수련층 증가로 인한 심사제도의 문제점 고찰", 국기원태권도연구, 8(4), 171-190, 2017

37 서영애, "태권도 품새대회 발전을 위한 제 문제 고찰. 미간행 석사학위논문", 한국체육 대학교 사회체육대학원, 2013

38 최은지, "딥러닝 기반 재실자 포즈별 MET 산출모델 개발. 미간행 석사학위논문", 중앙 대학교 대학원, 2019

39 강희창, "태권도 품새경기 문제점 및 활성화 방안 탐색. 미간행 석사학위논문", 용인대 학교 교육대학원, 2014

40 엄한주, 조은형, "체계적 내용분석에 기반한 태권도 품새기술 평가도구의 양호도 검증", 한국체육측정평가학회지, 16(3), 31-40, 2014

41 김은수, "EfficientNet을 이용한 악성코드 이미지 유형 분류. 미간행 석사학위논문", 아주대학교 대학원, 2021

42 류시현, 윤석훈, 박상균, 류지선, "태권도 우수ㆍ비 우수선수 간 태권도 앞차고 몸돌 아옆차기의 균형성", 한국운동역학회지, 22(1), 55-63, 2012

43 이화연, "무용분야의 인공지능기술도입에 관한 사례연구. 미간행 석사학위논문", 경희 대학교 대학원, 2021

44 김병희, 장병탁, "딥러닝: 인공지능을 이끄는 첨단 기술. 서울대학교 Technical Report: BI-17-001", URL: https://bi.snu.ac.kr/Publications/techreport/bhkim_170416.pdf, 2017

45 양준석, "딥러닝 기반 배드민턴 선수 위치 추적 시스템 구현. 미간행 박사학위논문", 중앙대학교 대학원, 2020

46 조나래, "딥러닝 기반 범죄자 신원 인식 시스템 설계 및 구현. 미간행 석사학위논문", 가천대학교 대학원, 2017

47 노형준, 이영림, "심사위원 관점에 따른 저단자 태권도 승, 품단 심사 평가기준에 관한 연구", 국기원태권도연구, 6(3), 187-209, 2015

48 이후진, 하태용, "인공지능 기반의 행동인식을 통한 개인 운동 트레이너 구현의 방향성 제시", 한국융합학회논문지, 10(6), 235-242, 2019

49 백남섭, "ICT 기술이 태권도 분야에 미치는 기술･문화적 발전 방향에 관한 문헌 고찰", 차세대융합기술학회논문지, 4(4), 419-429, 2020

50 권혁정, "태권도 심사에서 공정성에 대한 현상학적 논의: 승품･ 단 심사를 중심으로", 한국스포츠학회, 17(2), 263-272, 2019

51 김동건, "공정한 스포츠경기를 위한 전자심판기 및 영상판정제 도입강화에 관한 연구", 스포츠엔터테인먼트와 법, 19(3), 45-62, 2016

52 박장우, 정희원, 이소인, 신홍재, "딥러닝을 활용한 실내 식물 이미지 분류 및 식물 정보 제공 웹 어플리케이션", 한국지식정보기술학회 논문지, 15(2), 167-175, 2020

53 장세윤, "딥러닝을 통한 하이엔드 패션 브랜드 감성 학습과 활용. 미간행 석사학위논문", 서울대학교 대학원, 2021

54 박부건, "ICT기반 태권도측정시스템 개발에 의한 산업 관련성 연구. 미간행 석사학위 논문", 한양대학교 대학원, 2018

55 김인혜, "딥러닝 기반 OpenPose를 이용한 수화 동작 인식에 관한 연구. 미간행 석사 학위논문", 대전대학교 대학원, 2021

56 정승훈, "인공신경망을 이용한 프로스포츠 소비자행동 예측 및 분석. 미간행 석사학위 논문", 경희대학교 대학원, 2011

57 신용천, "머신러닝 기반의 부동산경매 낙찰가 예측 모델에 관한 연구. 미간행 석사학위 논문", 고려사이버대학교 융합정보대학원, 2017

58 김아람, "퍼지 추론 및 양방향 LSTM-RNN을 이용한 의미 있는 손동작 인식. 미간행 박사학위논문", 경남대학교 일반대학원, 2017

59 이혁, "CUDA를 이용한 어플리케이션의 병렬화와 PyTorch Custom Kernel 개발. 미간행 석사학위논문", 중앙대학교 대학원, 2021

60 김재승, 우용태, 박준영, "CNN (Convolutional Neural Network) 모델을 이용한 야구 경기 영상의 동작 분류 및 검색시스템", 한국컴퓨터정보학회논문지, 26(8), 31-37, 2021

61 함민정, "딥러닝 기반 기상 악화 대응 보행자 검출 시스템 설계 및 구현. 미간행 석사학위논문", 가천대학교 대학원, 2018

62 김우현, "안저 사진을 이용한 딥러닝 기반의 녹내장 검출 알고리즘 연구. 미간행 석사학위논문", 고려대학교 대학원, 2021

63 김윤진, "딥러닝(Deep Learning)을 활용한 이미지 빅데이터(Big Data) 분석 연구. 미간행 박사학위논문", 중앙대학교 대학원, 2017

64 리우창, 정경원, "우슈 투로와 태권도 품새의 경기규칙 비교분석을 통한 품새경기의 발전 방향에 관한 연구", 국기원태권도연구, 10(3), 255-282, 2019

65 임승엽, 조은정, "주관적 판정 종목 리듬체조의 심판판정 공정성 및 전문성에 대한 선수-학부모의 관점 이해", 한국스포츠사회학회지, 30(4), 71-91, 2017

66 이연수, "뇌전증 발작 탐지에서 CPSM 방식을 통한 딥러닝 기반의 CNN 앙상블 모델. 미간행 석사학위논문", 한양대학교 대학원, 2021

67 유혜림, "지능형 영상 감시 시스템에서 openpose를 이용한 아동 학대 판단 시스템. 미간행 박사학위논문", 대전대학교 대학원, 2019

68 김대경, 차재혁, 장경로, 김태희, "프로스포츠 구단의 ICT 융합 기술 서비스에 대한 소비자 편익 분석: 조건부가치평가법의 적용", 한국체육학회지, 56(6), 275-292, 2017

69 홍영철, "유전자 알고리즘과 인공신경망을 이용한 공시지가 자동 산정에 관한 연구. 미간행 석사학위논문", 아주대학교 정보통신대학원, 2005

70 박재석, 최용석, 신승호, "프로축구 팬의 비디오판독 (VAR)에 대한 인식과 관람몰입, 관람만족 및 재관람의도와의 구조적 관계", 한국스포츠산업경영학회지, 25(4), 63-78, 2020

71 이진규, "품새 자동 평가 시스템 구축을 위한 합성곱 신경만 기반 태권도 단위동작 인식 방법. 미간행 석사학위논문", 건국대학교 대학원, 2021

72 최지명, "기계학습 알고리즘을 이용한 한국어 텍스트 저자 판별: 블로그의 영화 리뷰 를 대상으로. 미간행 석사학위논문", 연세대학교 대학원, 2015

73 윤효준, "소셜 빅데이터 기반 한국프로야구 실시간 선수평가모형 개발 : 머신러닝을 적용한 감성분석. 미간행 박사학위논문", 한국체육대학교 대학원, 2018

74 이수정, "선형 회귀 모델 기반의 인공지능 예측 시스템을 이해하기 위한 초등학생용 교육 프로그램의 개발. 미간행 석사학위논문", 대구교육대학교 교육대학원, 2021

75 임준범, "확장된 이산 행동 영역에 적용한 강화학습 기반의 행동 특화된 전문가 모델 앙상블 트레이딩 시스템. 미간행 석사학위논문", 아주대학교 대학원, 2019

76 서미현, "앙상블 머신 러닝 기법을 이용한 갑상샘 과산화효소 저해제 예측 모델의 개발 및 합성 향로에의 적용. 미간행 석사학위논문", 서울대학교 대학원, 2021