음성과 텍스트를 이용하여 우울증 및 자살 위험을 평가하는 인공지능 기반 임상의사결정지원시스템에 관한 연구 = A study on artificial intelligence-based clinical decision support system to evaluate depression and suicide risk using voice and text

국문 초록 (Abstract)

서론: 전 세계적으로 우울증과 자살은 발병률이 지속적으로 증가하고 있으며, 그로 인한 사회경제적 손실이 막대하다. 하지만 이를 진단하는 방법은 환자의 주관적인 대답을 바탕으로 진단하는 방법 뿐이다. 그로 인해 환자가 증상을 축소하여 보고하거나 심층적인 면담을 진행하기 어려운 상황에서는 정확한 진단이 어렵고, 효율적인 개입을 하기 어렵다. 따라서 우울증과 자살을 진단할 수 있는 객관적인 마커들에 대한 다양한 연구들이 진행되고 있다. 그 중 인터뷰 시의 목소리와, 사용하는 단어 등은 임상의가 축적된 임상경험을 바탕으로 내리는 임상적 판단에 많이 활용되었던 지표들이다. 최근 목소리의 다양한 지표를 추출하고 발화 단어를 추출하는 기술들이 개발됨에 따라서 우울증과 자살 위험에 따른 목소리의 차이와 발화 단어들의 차이들이 밝혀지고 있다. 또한 인공 지능이 의료계에 접목됨에 따라서 이러한 미세한 차이들을 감지하고 임상적 의사 결정에 도움을 줄 수 있게 되었다. 하지만 국내외의 선행 연구들에서는 아직 피험자의 수가 충분하지 않고, 약물 등의 다양한 임상적 상황들에 대한 고려가 부족하다는 한계가 있다. 따라서 본 연구에서는 기존의 한계들을 극복하여, 인터뷰 중의 피험자 목소리와 사용된 단어를 기반으로 우울증과 자살 위험군을 평가하는 인공지능 기반 임상의사결정지원시스템을 구축해보고자 한다.
방법: 우울한 증상을 호소하는 환자군과 정상대조군을 각각 모집하였고, 모든 피험자에게 간이 국제 신경 정신 인터뷰(Mini International Neuropsychiatric Interview)를 시행하여 해당 인터뷰를 녹음하였다. 녹음된 인터뷰 파일 중 피험자가 발화한 구간만을 추출한 뒤, 각 구간에서 목소리의 다양한 지표들과 텍스트 데이터를 추출하였다. 연구 I에서는 2차 년도까지의 초기 데이터를 이용하여 정상군과 경도 우울증군, 주요 우울증군을 비교하여 분석하였다. 그리고 연구 II와 III을 통해 최종적으로 모집된 초기 평가 데이터를 활용하여 우울증과 자살 위험을 평가하는 인공지능 기반 임상의사결정시스템을 구축해보고자 하였다. 자살 위험은 빈도가 작기 때문에, 자살 위험을 정확하게 평가하기 위하여 연구 II를 통해 음성과 텍스트를 이용하여 정상과 우울증을 구별할 수 있는 평가 알고리즘을 구축하였다. 그 후 2단계로서 연구 III을 통해 우울증 군 내에서 자살 저위험군과 자살 고위험군을 구분하여 자살 위험을 평가하는 알고리즘을 구축하여 그 성능을 확인하였다.
결과: 2차 년도까지 모집된 정상군 33명과 경도 우울증군 26명, 주요 우울증군 34명을 대상으로 분석한 연구 I의 결과, 세 군을 구별할 수 있는 음성 지표 7개를 발견하였다. 또한 음성 지표를 기반으로 세 군을 평가하는 진단 알고리즘을 다양한 모델을 통해 구축하였고, 다층 퍼셉트론의 성능이 가장 우수함을 확인하였다. 3차 년도까지 최종적으로 모집된 환자는 총 85명이었고, 그 중 자가보고설문지를 누락한 2명은 분석에서 제외하였다. 또한 정상대조군은 학내 게시판과 온라인 광고를 통해 총 105명이 모집되었으며 정신건강의학과 병력이 있는 22명은 분석에서 제외되었다. 이를 기반으로 진행된 연구 II에서는 음성 지표와 텍스트데이터를 분석하여 정상군과 우울증군을 구분할 수 있는 인공지능 기반 알고리즘을 구축하였고, 음성을 기반으로 한 인공지능 알고리즘의 곡선하면적은 0.806, 텍스트데이터를 기반으로 한 인공지능 알고리즘의 곡선하면적은 0.905로 우수한 성능을 확인하였다. 이어 연구 III의 우울증군 83명을 대상으로 자살 고위험군을 구분하는 인공지능 임상의사결정지원시스템을 구축하였다. 자살 고위험군을 구분하는 방법으로 각각 벡 자살사고 척도 기준의 방법과, 간이 국제 신경정신 인터뷰를 통해 분류하는 방법을 통해 구분하는 방법을 모두 적용하였다. 그 결과 음성지표를 기반으로 자살 고위험군을 평가하는 알고리즘의 경우 민감도 0.535가 최대값이었으며, 가장 우수한 성능은 로지스틱 회귀공식을 이용한 모델에서 보인 평균 정확도 0.495였다. 또한 텍스트를 기반으로 자살 위험을 평가한 알고리즘 역시 곡선하면적 0.632에 불과하여, 목소리와 텍스트를 기반으로 한 자살 고위험군 진단 알고리즘은 임상적으로 활용하기는 어려운 수준이었다. 하지만 텍스트 데이터와 사회인구학적 정보를 통합하여 구축한 앙상블 모델의 곡선하면적은 0.800으로 성능이 향상됨을 확인하였다.
결론: 본 연구는 구조화된 면담에서 피험자의 발화 구간을 통해 음성과 텍스트 데이터를 추출하여, 이를 기반으로 우울증과 자살 위험성을 평가하는 임상의사결정지원 알고리즘을 국내에서는 최초로 구축하였다. 우울증을 진단함에 있어서는 두 데이터 모두 우수한 성능을 보였으나, 자살 위험을 진단하기에는 부족하였다. 텍스트 데이터의 경우 구조화된 인터뷰를 통해 얻어진 텍스트라는 한계가 있음에도 불구하고 우울증의 진단함에 있어 임상의사결정지원시스템의 가능성을 확인하였다. 더욱이 자살 위험 진단에 있어서도 사회인구학적 정보와 통합된 앙상블모델의 우수한 성능을 확인함으로써 향후 임상적 활용가치를 보여주었다. 본 연구는 목소리, 텍스트 데이터가 가지는 객관적 진단 가치를 국내 최초로 입증한 연구로서, 디지털 진단 도구라는 정신건강의학과적으로는 새로운 분야로의 도전이다. 향후 해당 분야의 더 다양한 지역, 다양한 환경에서의 데이터에 대해서 추가적인 연구가 필요하다.

* 본 내용의 일부는
Shin, D., Cho, W. I., Park, C., Rhee, S. J., Kim, M. J., Lee, H., ... & Ahn, Y. M. (2021). Detection of Minor and Major Depression through Voice as a Biomarker Using Machine Learning. Journal of clinical medicine, 10(14), 3046.
에 출판 완료된 내용이며, 그 외 내용들은 현재 출판 준비 중임.
주요어 : 우울증, 자살 위험, 목소리, 텍스트, 기계학습, 임상의사결정지원시스템
학 번 : 2018-25300

다국어 초록 (Multilingual Abstract)

Introduction: The incidence of depression and suicide continues to increase worldwide, and the resulting socio-economic loss is also enormous. However, in diagnosing depression and suicide, it is difficult to effectively intervene due to a misdiagnosis in situations where it is difficult for the patient to report symptoms with reduced symptoms or conduct an in-depth interview because the diagnosis must be made through the patient's subjective answer. In addition, voices and text used by participants in interviews are traditionally known for their clinical significance in the Department of Psychiatry. In the past, the voice and the subject's utterance content had to be used for diagnosis based on the clinical experience accumulated by clinicians. As technologies for extracting various indicators of voice and extracting spoken words have been developed recently, differences in voices and differences in spoken words according to the risk of depression and suicide are being revealed. In addition, as machine learning is applied to the medical field, it has been able to detect these subtle differences and help make decisions. However, previous studies have limitations in that the number of subjects is not yet sufficient and consideration of various clinical situations such as drugs is insufficient. Therefore, this study aims to overcome the existing limitations and build an AI-based clinical decision support system that evaluates depression and suicide risk groups based on the subject's voice and words used during the interview.
Method: A patient group complaining of depressive symptoms and a normal control group were recruited, respectively, and a Mini International Neuropsychiatric Interview was performed on all subjects and the interview was recorded. After extracting only the section uttered by the subject from among the recorded interview files, various indicators of voice and text data were extracted from each section. In Study I, the initial data were used to compare and analyze the normal group, the mild depression group, and the major depression group. In Study II, the final initial evaluation data was used to identify voice indicators that can distinguish normal and depression, and a diagnostic algorithm using text was constructed. In Study III, an algorithm for diagnosing the high-risk group for suicide was established by defining the high-risk group for depression through the Beck’s suicide ideation scale and the suicide-related module of the mini international neuropsychiatric interview.
Results: In Study I, 7 voice and speech indicators that can distinguish 33 normal group, 26 mild depression group, and 34 major depression group were extracted. When the accuracy of various models was confirmed based on the voice and speech features, it was confirmed that the performance of the multilayer perceptron was the best. In Study II, the speech features and text data of 83 normal and 83 depressed patients were analyzed, and the area under the curve of the machine learning algorithm based on each was 0.806 and 0.905. In Study III, 83 people in the depression group were compared with both the Beck’s suicide ideation scale and the classification method through a mini international neuropsychiatric interview. However, in the case of the algorithm for predicting the suicide high risk group based on voice, the maximum sensitivity was 0.535, and the best performance was the average accuracy of 0.495 in the model using the logistic regression formula. On the other hand, the algorithm for predicting suicide risk based on text also had an area under the curve of only 0.632, but the ensemble model built by integrating text data and sociodemographic information was able to confirm the diagnostic usefulness with an area under the curve of 0.800.
Conclusion: This study established an algorithm for diagnosing depression and suicide risk by extracting voice and speech features and text data from the subject's utterance section in a structured interview. Both data showed excellent performance in diagnosing depression, but insufficient for diagnosing suicide risk. In the case of text data, although there are limitations as data obtained through structured interviews, when it was integrated with sociodemographic information using statistical techniques, it showed better performance than predicted by sociodemographic information alone, showing utility value. This study is the first study in South Korea to prove the objective diagnostic value of voice and text data, and it is a challenge to a new field of psychiatry as a digital objective diagnostic tool. In the future, additional research is needed on data from more diverse regions and environments in the field.

Keywords : depression, suicide risk, voice, text analysis, machine learning, clinical decision support system
Student Number : 2018-25300

목차 (Table of Contents)

• 초록 i
• 표 목차 vi
• 그림 목차 ix
• 약어 목록 x
• 제 1 장 서 론 1
• 제 2 장 목소리를 통해 경도 우울증과 주요 우울증을 구별하는 인공지능 알고리즘의 개발 (연구 I) 10
• 제 1 절 연구대상 및 방법 11
• 제 2 절 결과 22
• 제 3 절 고찰 26
• 제 3 장 목소리와 텍스트 데이터를 이용하여 우울증 진단 인공지능 알고리즘의 개발 (연구 II) 31
• 제 1 절 연구대상 및 방법 33
• 제 2 절 결과 38
• 제 3 절 고찰 43
• 제 4 장 목소리와 텍스트 데이터를 통해 자살고위험군을 진단하는 인공지능 알고리즘 개발 (연구 III) 49
• 제 1 절 연구대상 및 방법 51
• 제 2 절 결과 54
• 제 3 절 고찰 59
• 제 5 장 종합 고찰 65
• 참고문헌 128
• Abstract 152
• 표 목차
• [표 1-1] Comparison of demographics according to depressive episodes 78
• [표 1-2] Clinical characteristics by depressive episode 80
• [표 1-3] Difference of voice features by depressive episode 81
• [표 1-4 JonckheereTerpstra test result of voice features by depressive episode 83
• [표 1-5] Machine learning model performance through voice features 85
• [표 1-6] Comparison of demographics between healthy control and major depressive disorder and bipolar disorder 86
• [표 1-7] Comparison of clinical characteristics between healthy control and major depressive disorder and bipolar disorder 87
• [표 1-8] Voice and speech features between healthy control and major depressive disorder and bipolar disorder 88
• [표 2-1] Descriptive statistics of voice and speech features 90
• [표 2-2] The results of applying the diagnostic algorithm from Study I to the newly recruited test set from Study II 91
• [표 2-3] Demographics comparison between healthy control group and current depression group 92
• [표 2-4] Clinical characteristics between HC and CD 93
• [표 2-5] Voice and speech features comparison between healthy control and current depression 94
• [표 2-6] Classification results by voice and speech features between HC and CD 96
• [표 2-7] Classification results by text between HC and CD 97
• [표 2-8] Correlation analysis between voice and speech features and clinical characteristics in healthy control group 98
• [표 2-9] Correlation analysis between voice and speech features and clinical characteristics in current depression group 100
• [표 2-10] Mediation analysis between voice and speech features and clinical characteristics in healthy control group 102
• [표 2-11] Mediation analysis between voice and speech features and clinical characteristics in current depression group 103
• [표 3-1] Demographics between depression with low suicidal risk and depression with high suicidal risk (suicidal risk : BSS) 104
• [표 3-2] Clinical characteristics between depression with low suicidal risk and depression with high suicidal risk (suicidal risk : BSS) 105
• [표 3-3] Voice and Speech features between DLSR and DHSR (suicidal risk : BSS) 106
• [표 3-4] Classification results by voice and speech features between DLSR and DHSR (suicidal risk; BSS) 108
• [표 3-5] Classification results by voice and speech features between DLSR and DHSR (suicidal risk : BSS) 109
• [표 3-6] Demographics between depression with low suicidal risk and depression with high suicidal risk (suicidal risk : MINI) 110
• [표 3-7] Clinical characteristics between low suicidal risk and depression with high suicidal risk (suicidal risk : MINI) 111
• [표 3-8] Voice and Speech features between DLSR and DHSR (suicidal risk : MINI) 112
• [표 3-9] Classification results by voice and speech features between DLSR and DHSR (suicidal risk; MINI) 114
• [표 3-10] Classification results by voice and speech features between DLSR and DHSR (suicidal risk : MINI) 115
• 그림 목차
• [그림 1-1] Difference of voice features by depressive episode 116
• [그림 1-2] AUC curve predicting minor and major episodes using MLP 117
• [그림 2-1] ROC curve of classification HC and CD by voice and speech features 118
• [그림 2-2] Feature importance for classifying HC and CD 119
• [그림 2-3] Text mining of important features in HC and CD 120
• [그림 2-4] Classification results between HC and CD by text 121
• [그림 2-5] Mediation analysis between voice and speech feature and clinical characteristics in healthy control group 122
• [그림 2-6] Mediation analysis between voice and speech feature and clinical characteristics in current depression group 123
• [그림 3-1] ROC curve of classification DLSR and DHSR by voice and speech features (suicidal risk : BSS) 124
• [그림 3-2] Classification results of DLSR and DHSR by text and clinical characteristics (suicidal risk : BSS) 125
• [그림 3-3] ROC curve of classification DLSR and DHSR by voice and speech features (suicidal risk : MINI) 126
• [그림 3-4] Classification results of DLSR and DHSR by text and clinical characteristics (suicidal risk : MINI) 127

참고문헌 (Reference)

1 Jeon HJ, "Depression and suicide", 54:370-375, 2011

2 Sullivan , H.S., "The Psychiatric Interview", 14 ( 4 ) : p. 361-373 ., 1951

3 Ci , B. and R.-O ., "Rule , Confidence intervals", 1 ( 8531 ) : p. 494-7 ., 1987

4 Baumeister , R. F., "Suicide as escape from self", 97 ( 1 ) , 90 ., 1990

5 McCallie , M. S. , Blum , C. M. , & Hood , C. J ., "Progressive muscle relaxation .", 13 ( 3 ) , 51-66 ., 2006

6 Breznitz , Z, "Verbal indicators of depression", 119 ( 4 ) , 351-363 ., 1992

7 Pope , B. , et al., "Anxiety and depression in speech", 35 ( 1 ) : p. 128-33 ., 1970

8 Jamison , K. and F. Goodwin ,, "Suicide in manic depressive illness", p. 157-173 ., 1990

9 Lepine , J.P. and M. Briley, "The increasing burden of depression .", 7 ( Suppl 1 ) : p. 3-7 ., 2011

10 Watson , D. , et al. ,, "The measurement of suicidal ideation .", 22 ( 1 ) : p. 12-4 ., 2001

11 N. Sands, "Assessing the risk of suicide at triage ,", vol . 10 , no . 4 , pp . 161 ? 163, 2007

12 Tiku , M., "A new statistic for testing for normality .", 3 ( 3 ) : p. 223-232 ., 1974

13 Chang SM , Hong JP , Cho MJ ., "Economic burden of depression in South Korea .", 47 ( 5 ) :683 ? 9 ., 2012

14 Amisha , P. M. , Pathania , M. , & Rathaur , V. K., "Overview of artificial intelligence in medicine", 8 ( 7 ) , 2328 ., 2019

15 Hamdan , A.L. , et al. ,, "Effect of Hormonal Replacement Therapy on Voice .", 32 ( 1 ) : p. 116-121 ., 2018

16 Courts , F. A ., "Relations between muscular tension and performance", 39 ( 6 ) , 347 ., 1942

17 백연숙, "우울증 화자 음성의 음향음성학적 특징", 한국음성학회 , 4권 1호, p. 91~98, 2012

18 Sun , Y. , Liu , Z. , Todorovic , S. , & Li , J ., "Adaptive boosting for SAR automatic target recognition", 43 ( 1 ) , 112-125 ., 2007

19 Range , L.M . and E.C . Knott , Twenty suicide, "assessment instruments : evaluation and recommendations", 21 ( 1 ) : p. 25-58 ., 1997

20 Agoub , M. , Moussaoui , D. , & Kadri , N. (, "Assessment of suicidality in a Moroccan metropolitan area", 90 ( 2-3 ) , 223-226 ., 2006

21 D. E. Clarke , A.-M. Brown , and L. Giles-Smith, "Triaging suicidal patients : sifting through the evidence", vol . 16 , no . 3 , pp . 165 ? 174, 2008

22 Sinha , P. , et al., "Predictors of Effect of Atypical Antipsychotics on Speech .", 37 ( 4 ) : p. 429-33 ., 2015

23 Kroenke , K. ; Spitzer , R.L . ; Williams , J.B, "The PHQ-9 : Validity of a brief depression severity measure", 16 , 606 ? 613, 2001

24 Handelman , L.D . and D. Lester ,, "The content of suicide notes from attempters and completers .", 28 ( 2 ) : p. 102-4 ., 2007

25 Beck , A.T. , M. Kovacs , and A. Weissman ,, "Assessment of suicidal intention : the Scale for Suicide Ideation", 47 ( 2 ) : p. 343, 1979

26 Scherer , K. R., "Vocal affect expression : a review and a model for future research", 99 ( 2 ) , 143 ., 1986

27 Mitchell , A.J . ; Vaze , A. ; Rao, "S. Clinical diagnosis of depression in primary care : A meta-analysis", 374 , 609 ? 619 , doi:10.1016/s0140-6736 ( 09 ) 60879-5 ., 2009

28 Kotze , B. , & Brdaroska , B ., "Clinical decision support systems in psychiatry in the information age", 12 ( 4 ) , 361-364 ., 2004

29 WHO, "Depression and other common mental disorders : Global health estimates", 1- 24, 2017

30 Cuthbert , B. N. , & Insel , T. R., "Toward the future of psychiatric diagnosis : the seven pillars of RDoC", 11 ( 1 ) , 1-8 ., 2013

31 Im , J. S. , et al ., "`` Cultural Stigma Manifested in Official Suicide Death in South Korea", 77 ( 4 ) : 386- 403, 2018

32 Ghasemi , A. and S. Zahediasl, "Normality tests for statistical analysis : a guide for non-statisticians", 10 ( 2 ) : p. 486 ., 2012

33 Tharwat , Alaa, "`` Linear vs. quadratic discriminant analysis classifier : a tutorial .", 3 ( 2 ) : 145. doi:10.1504/IJAPR.2016.079050 . ISSN 2049-887X ., 2016

34 Barratt , E. S., "Factor analysis of some psychometric measures of impulsiveness and anxiety", 16 ( 2 ) , 547-554 ., 1965

35 He , L. , & Cao , C., "Automated depression analysis using convolutional neural networks from speech", 83 , 103-111 ., 2018

36 Kim , J.-C, "Detection of the Optimum Spectral Roll-off Point using Violin as a Sound Source", 12 , 51 ? 56, 2007

37 Ohayon MM , Hong SC, "Prevalence of major depressive disorder in the general population of South Korea", 40 ( 1 ) :30 ? 6, 2006

38 Bardhoshi , G. ; Duncan , K. ; Erford , B.T, "Psychometric Meta- Analysis of the English Version of the Beck Anxiety Inventory", 94 , 356 ? 373 , doi:10.1002/jcad.12090 ., 2016

39 Low , L.S. , et al., "Detection of clinical depression in adolescents ' speech during family interactions", 58 ( 3 ) : p. 574-86, 2011

40 Szabadi , E. , C.M . Bradshaw , and J.A . Besson ,, "Elongation of pause-time in speech : a simple , objective measure of motor retardation in depression", 129 : p. 592-7 ., 1976

41 Davidson , J.R. and S.E . Meltzer-Brody, "The underrecognition and undertreatment of depression : what is the breadth and depth of the problem ?", 60 ( 7 ) : p. 4-11 ., 1999

42 Tsai , S. Y. , Lee , J. C. , & Chen , C. C., "Characteristics and psychosocial problems of patients with bipolar disorder at high risk for suicide attempt", 52 ( 1-3 ) , 145-152 ., 1999

43 Wang , Z. , Chen , L. , Wang , L. , & Diao , G., "Recognition of audio depression based on convolutional neural network and generative antagonism network model", 8 , 101181- 101191 ., 2020

44 남민선, 유재순, 손정우, "자살 위험성이 높은 청소년을 대상으로 한 우울중재 및 자살예방 프로그램의 효과", 지역사회간호학회지, 21(1), 71-81, 2010

45 Dolan , M. ; Anderson , I.M . ; Deakin , J, "Relationship between 5-HT function and impulsivity and aggression in male offenders with personality disorders", 178 , 352 ? 359 ., 2001

46 Rapaport , M.H . ; Judd , L.L, "Minor depressive disorder and subsyndromal depressive symptoms : Functional impairment and response to treatment", 48 , 227 ? 232, 1998

47 Beck , A.T. ; Steer , R.A, "Relationship between the Beck Anxiety Inventory and the Hamilton Anxiety Rating-Scale with Anxious Outpatients .", 5 , 213 ? 223, 1991

48 고은정, 김은이, "텍스트 및 영상의 멀티모달분석을 이용한 트위터 사용자의 감성 흐름 모니터링 기술", 한국융합학회논문지, 9(1), 419-431, 2018

49 Bouloudnine , S. , et al. ,, "Perception of atypical antipsychotics ' side effects through speech analysis of schizophrenic patients . TALK Study ]", 37 Suppl 2 : p. S143-50 ., 2011

50 Trevethan , R., "Sensitivity , specificity , and predictive values : foundations , pliabilities , and pitfalls in research and practice", 5 , 307, 2017

51 Mardia , K.V, "Applications of some measures of multivariate skewness and kurtosis in testing normality and robustness studies . Sankhy ?", 115 ? 128, 1974

52 Levis , B. ; Benedetti , A. ; Thombs , B.D ., "Accuracy of Patient Health Questionnaire-9 ( PHQ-9 ) for screening to detect major depression : Individual participant data meta-analysis", 365 , l1476 , doi:10.1136/bmj.l1476 ., 2019

53 Wingrove , J. , & Bond , A. J ., "Impulsivity : a state as well as trait variable . Does mood awareness explain low correlations between trait and behavioural measures of impulsivity ?", 22 ( 3 ) , 333- 339 ., 1997