임상자료를 활용한 낙상 위험 예측 및 임상의사결정지원시스템 개발

정혜실 서울대학교 대학원 2020 국내박사

본 연구의 목적은 급성기 의료기관에서 발생하는 입원환자의 낙상을 예방하기 위해 임상 자료를 활용하여 낙상 위험을 예측하는 모델을 개발하고, 예측모델과 근거기반의 간호실무를 결합하여 간호사가 환자의 위험요인에 따라 맞춤형 간호중재를 제공할 수 있도록 지원하는 임상의사결정지원시스템을 개발하고 평가하는 데 있다. 본 연구에서는 10개의 자료원으로부터 수집한 임상 자료를 포함력(coverage), 최신성(currency), 상세성(granularity)을 기준으로 전처리한 후, 로지스틱 회귀 모델, Cox 비례 위험 회귀 모델, 의사결정나무 모델을 이용하여 낙상 위험 예측모델을 개발하고, 소프트웨어 개발 생명주기 방법론에 따라 낙상 위험 예측 및 예방 임상의사결정지원시스템을 개발하였다. 본 연구의 결과는 다음과 같다. 로지스틱 회귀 모델을 이용한 낙상 위험 예측모델의 예측타당도는 민감도 79.0%, 특이도 79.4%, 양성예측도 7.3%, 음성예측도 99.5%, AUC 0.859로, 현재 의료기관에서 사용하고 있는 낙상위험사정도구(민감도 76.5%, 특이도 64.0%, 양성예측도 4.2%, 음성예측도 99.3%, AUC 0.742)보다 모든 지표면에서 우수하였다. Cox 비례 위험 회귀 모델을 이용한 낙상 위험 예측모델의 예측타당도는 민감도 79.2%, 특이도 62.0%, 양성예측도 2.8%, 음성예측도 99.3%, AUC 0.753이었으며 의사결정나무모델을 이용한 예측모델은 민감도 56.5%, 특이도 83.2%, 양성예측도 6.4%, 음성예측도 98.9%, AUC 0.729로 나타났다. 로지스틱 회귀 모델에 포함된 낙상 위험 요인에 따라 7개의 낙상 예방 임상실무지침으로부터 71개의 간호 활동 지식을 추출하였고, 3인의 간호사가 추출된 지식의 임상 적용 가능성을 평가하여 총 63개의 간호 활동 지식을 낙상 위험 예측 및 예방 임상의사결정지원시스템에 포함하였다. 임상의사결정지원시스템이 제공하는 지식에 따라 낙상 예방 활동을 수행한 경우, 이를 간호일지에 기록할 수 있도록 63개의 낙상 예방 활동을 98개의 간호 진술문에 매핑하였다. 병원정보시스템 전문가 3인이 낙상 위험 예측 및 예방 임상의사결정지원시스템의 휴리스틱 문제를 평가한 결과, 10개 영역의 심각도 점수가 모두2점 이하로 나타났다. 낙상 위험 예측 및 예방 임상의사결정지원시스템 사용 한달 후, 간호사 14인을 대상으로 7점 Likert척도로 조사한 사용성 평가 결과에서 시스템 유용성 영역은 평균4.41점, 사용 용이성 영역은 평균 4.51점, 학습 용이성 영역은 평균 4.95점, 만족도 영역은 평균 4.28점으로 나타났다. 본 연구에서 개발한 낙상 위험 예측 및 예방 임상의사결정지원시스템을 이용하면 낙상 위험을 실시간으로 예측한 후, 낙상 고위험군 환자와 위험요인을 가진 환자에게 근거 기반의 맞춤형 간호를 제공할 수 있어 간호의 질이 향상되고 업무 효율이 증가하며 궁극적으로 낙상 발생이 줄어들 것으로 기대한다. This study aims to develop and evaluate 1) fall-predictive models using clinical data collected at the point of care and 2) a clinical decision support system (CDSS) to provide evidence-based tailored nursing intervention for fall prevention in acute care settings. In this study, we developed three models, logistic regression, Cox proportional hazard regression, and decision tree, to predict risk of patient falls and tested the predictive performance of these models by comparing the results to results from the Hendrich II Fall Risk Model. In addition, we developed and evaluated a CDSS for fall prevention according to Software Development Life Cycle (SDLC). The results of this study are as follows. The logistic regression model was the best predictive model. The predictive validity indicators of logistic regression model were 79.0% for sensitivity, 79.4% for specificity, 7.3% for positive predictive value, 99.5% for negative predictive value, and 0.859 for AUC. Across all predictive indices, logistic regression model had the highest predictive performance than Hendrich II Fall Risk Model (76.5% for sensitivity, 64.0% for specificity, 4.2% for positive predictive value, 99.3% for negative predictive value, 0.742 for AUC). The predictive validity indicators of Cox proportional hazard regression model were 79.2% for sensitivity, 62.0% for specificity, 2.8% for positive predictive value, 99.3% for negative predictive value, and 0.753 for AUC. The predictive validity indicators of decision tree were 56.5% for sensitivity, 83.2% for specificity, 6.4% for positive predictive value, 98.9% for negative predictive value, and 0.729 for AUC. In the analysis phase of SDLC, we extracted 71 nursing intervention knowledge from seven clinical practice guidelines for fall prevention by risk factors a fall-predictive model has. Totally, 63 nursing intervention knowledge verified from three nurses on clinical applicability were included in a CDSS. In the design phase, a data dictionary, an algorithm, and four-user screens were designed. In the implementation phase, we developed a CDSS using Microsoft Visual Studio, .NET (wpf), and oracle 11g. In the evaluation phase, the three informatics experts rated heuristics problems and 14 nurses evaluated usability of a CDSS. The usability results showed that the system got 4.41 points for usefulness, 4.51 points for ease of use, 4.95 points for ease of learning, and 4.28 points for satisfaction on average. We expect that nurses can provide higher quality, safer, and more efficient nursing intervention to patients with a high risk of falling and risk factors using a CDSS for fall prediction and prevention.

데이터 마이닝 기반의 간호진단, 간호평가 모형을 적용한 간호과정 임상의사결정지원시스템 설계

김현경 연세대학교 2006 국내박사

본 연구의 목적은 내․외과 환자와 관련된 10개의 간호문제에 따르는 간호과정 단계별 지식을 정의하고, 데이터 마이닝 기법을 기반으로 간호진단 및 간호평가 규칙과 모형을 개발하고, 간호과정 임상의사결정지원시스템을 설계하는 것이다.$$a$$a간호과정 지식정의 과정에서 내․외과 환자와 관련되어 선정된 10개의 간호문제는 가스교환장애, 감염의 위험, 비효율적 기도청결, 비효율적 호흡양상, 영양불균형: 신체요구량 보다 적음, 비효과적 조직관류, 체액부족, 급성 통증, 변비, 설사 등이었다.$$a$$a선정된 10개의 간호문제에 따른 간호과정 단계별 지식은 87개 객관적 징후, 20개 주관적 증상, 118개 관련요인이 선정되었고, 13개 간호목표, 33개 간호중재, 451개 간호활동, 172개 간호결과지표가 선정되었다.$$a$$a간호과정 단계별 지식 수집은 2005년 3월 30일부터 5월 10일까지 기간 동안 서울 및 경기도 지역에 위치한 17개 종합병원에서 내․외과 병동 및 중환자실에서 근무하는 임상 경력 1년 이상의 간호사를 대상으로 설문조사 방법으로 실시하였다. 지식표현 단계에서는 463부의 설문지로부터 수집된 임상 간호사의 간호과정 단계별 지식을 데이터 마이닝의 세 가지 기법(신경망 분석, 의사결정나무분석, 로지스틱 회귀분석)을 활용하여 분석하여 간호진단 및 간호평가의 규칙과 모형을 도출하였다.$$a$$a습득된 간호과정 지식을 적용한 간호과정 임상의사결정지원시스템은 다음과 같이 구성되었다. 지식베이스에는 간호진단 및 간호평가 모형과 규칙이 포함되었고, 추론엔진은 전향적 추론방법을 추론 방식으로 사용하였으며, 사용자 인터페이스는 Visual Basic 6.0을 사용하여 설계하였다. 또한 간호과정 임상의사결정지원시스템과 병원정보시스템의 통합을 위해서 간호과정 임상의사결정지원시스템의 데이터웨어하우스를 설계하였다.$$a$$a간호과정 임상의사결정지원시스템은, 첫째, 간호진단 단계에서 간호사의 주관적인 판단 대신 간호진단 모형을 기반으로 하여 시스템이 자동으로 간호진단을 예측하는 시스템이다. 둘째, 간호계획 및 간호수행 단계에서는 우선순위에 따라 목록이 제시되어 핵심 간호활동을 우선적으로 선택할 수 있고, 셋째, 간호평가 단계에서는 간호결과지표 항목에 대한 평가 점수를 근거로 간호목표 달성률이 백분율로 제시되고, 이를 누적 저장하여 평가 시점별 간호목표 달성률 모니터링이 가능한 시스템이다. 넷째, 간호과정 임상의사결정지원시스템의 데이터웨어하우스를 설계하여 병원정보시스템 데이터베이스에 저장되어 있는 환자 데이터를 공유할 수 있으므로 기존의 간호과정 단독 시스템보다 간호사정단계에서 시간 소비를 단축할 수 있는 시스템이다.$$a$$a본 연구의 의의는 첫째, 간호연구에서 아직은 생소한 새로운 지식습득 방법인 데이터 마이닝 기법을 도입하여 간호과정 지식을 습득하였고, 둘째, 습득된 간호과정 지식을 간호진단 모형으로 표현하여 시스템에 적용함으로써 간호진단 단계에서 의사결정의 자동화를 실현하였고, 셋째, 간호평가 단계에서 환자별 간호결과지표의 추이를 모니터링 할 수 있는 시스템의 기능을 활용하여 간호 중재와 간호결과 간의 관련성을 가시화하고, 간호인력 별 간호결과 평가를 통해 효율적인 간호의 질 관리의 가능성을 제시하였다.$$a$$a추후 연구로는 본 연구에서 개발된 간호진단 및 간호평가 모형의 타당도를 실제 환자 데이터로 검증한 임상 타당도 평가 연구가 요구되고, 데이터 마이닝 기법을 간호진단과 간호평가 단계뿐 아니라 간호중재와 간호활동 단계까지 확장하여 새로운 규칙이나 모형을 도출한 연구가 요구된다.$$a$$a This study was methodology; to make a range 5 steps of nursing process (assessment, diagnosis, plan, performance, and evaluation), which was clinical solving process of nurse; to acquire knowledge about the nursing process by steps of knowledge definition, collection, and representation; then, to design the data warehouse and clinical decision support system in nursing process.$$a$$aTo research the nursing process knowledge belonging to data base, we have chosen the problems and had steps for definition, collection, and representation of knowledge.$$a$$aThere were 10 nursing problems related to patients in internal medicine and surgery; gas exchange disorder, risk for infection, ineffective airway clearance, ineffective breathing pattern, imbalanced nutrition (less then body requirement), ineffective tissue, body fluid volume deficit, acute pain, constipation, and diarrhea.$$a$$aWe have selected 87 objective signs, 20 subjective symptoms, 118 related factors, 13 nursing objectives, 33 nursing interventions, 451 nursing activities, and 172 nursing outcome indicators in knowledge definition step.$$a$$aFor knowledge collection, objects were 463 nurses who worked more than 1 year in internal medicine/surgery ward and intensive care unit. From March 30th to May 10th 2005, survey was performed in 17 general hospitals located in Seoul and Kyunggi-do. Data was collected 4630 cases for 463 nurses'' decision in nursing process about 10 problems.$$a$$aIn knowledge representation, we have used 3 methods of data mining such as neural network analysis, decision tree analysis, and logistic regression analysis. And these help to deduce a principle and model for nursing diagnosis and evaluation. The principle was presented major parameters which derived by logistic regression analysis as if then production rule. The model made regression function adding objective/subjective symptom parameter to the estimates by logistic regression analysis. And it presented to yield probability a posteriori substituted the value to probability formula.$$a$$aThe clinical decision support system in nursing process which was applied those acquired knowledge was followed; the forward chaining was used for inference engine; a Visual Basic 6.0 was used for design the user interface; date warehouse was designed for clinical decision support system and integration of hospital information system in nursing process.$$a$$aThe clinical decision support system was defined as; first, it was an automatic diagnostic prediction system based on nursing diagnosis model instead of subjective adjudication of nurse in nursing diagnosis second, it was a preferential choice of the key nursing activity with a list by preferential order in nursing plan/ nursing performance; third, it was a system for monitoring of nursing achievement by evaluation time point in accumulation of data, which represents nursing achievement as percentage based on evaluation point about nursing result parameter items in nursing evaluation; fourth, it wasa system which reduce the time consuming compared to original system in audit and inspection by sharing patient''s data in data warehouse.$$a$$aThere was a significance of this study; first, knowledgewas acquired introduction of data mining which was new and unfamiliar in nursing research; second, we have tried to discrimination of rule-based system by presenting a principle and model the acquired nursing knowledge; third, we have designed clinical decision support system in nursing process which was related to data warehouse for integration with hospital information system, not for independent nursing process system.$$a$$aWe suggested below based on these results and significance;$$a$$aFirst, we recommended a clinical validity evaluation study verified the nursing diagnosis and evaluation model, which developed in this study, with practical patient''s data; second, further study was required to study using data mining method by collecting the knowledge form data largely stored at data base of hospital information system; third, we suggested a development research for nursing result parameter which was concrete and measurable to evaluate the solving degree of objective/subjective symptoms of patients in addition to the NOC parameters in items of nursing result parameter.$$a$$a

경동맥화학색전술 후 색전후증후군 관리를 위한 머신러닝기반 임상의사결정지원시스템 개발 및 효과

강민경 부경대학교 2023 국내박사

본 연구는 간세포암종을 가진 환자가 경동맥화학색전술(transarterial chemoembolization: TACE)을 시행한 후 겪게 되는 색전후증후군(post-embolization syndrome: PES) 발생을 예측하고 치료적 중재안을 권고하는 머신러닝기반 임상의사결정지원시스템(post-embolization syndrome clinical decision support system CDSS: POEM CDSS)을 개발하고 그 효과를 평가하기 위해 시행된 비동등성 대조군 전후 시차설계를 적용한 유사실험연구이다. 연구는 POEM CDSS의 개발과 중재 적용 후 효과를 평가하는 과정을 거쳤다. 먼저 개발은 분석, 설계, 개발, 구현, 평가를 따르는 ADDIE 모형에 따라 진행되었고, 개발된 시스템은 모바일에 웹 애플리케이션의 방식으로 탑재하였다. 중재는 4개의 상급종합병원과 1개의 종합병원에서 TACE 환자를 간호하고 있는 간호사 40명을 대상으로(실험군 21명, 대조군 19명)하였고, 실험군에게 6주간 POEM CDSS를, 대조군에게는 TACE와 PES 관리 포켓북을 제공하였다. 효과평가는 간호사 실험군과 대조군에게 시스템 측면(간호사 변화)의 결과로 POEM CDSS 수용도, POEM CDSS 이용도, PES관련 간호지식을, 간호사결과 측면(안위 간호)에서는 증상관리, 환자중심기반 돌봄태도, 증상관리 장애요인, 안위간호역량을 측정하였다. 환자결과 측면(환자 안위)에서는 실험군의 병동에 입원한 환자를 대상으로 POEM CDSS 중재 전 26명, 중재 후 25명을 대상으로 PES 증상발생, 증상간섭, 입원기간, PES관련 추가약물의 투여횟수를 측정하였다. 수집된 데이터는 SPSS/MAC 27.0 소프트웨어를 이용하여, 빈도와 백분율, 평균과 표준편차, chi-square test, Fisher's exact test, Shapiro-Wilk test, independent t-test 및 Mann-Whitney U test로 분석하였다. 본 연구의 결과는 POEM CDSS의 개발과 효과평가로 다음과 같다. 1. POEM CDSS 개발은 1개의 상급종합병원에서 2011년부터 2022년까지 등록된 1,200명의 환자를 대상으로 전자간호기록에서 3,757건, 전자의무기록에서 1,496건을 추출하였고 머신러닝과 자연어처리를 활용하여 PES위험도를 예측하고 치료적 중재안을 권고하는 시스템을 개발하여, 예측의 정확도는 발열 83.9%, 오심/구토 90.3%, 복부 통증 70.6%, 전체 PES 72.2%로 나타나 높은 정확도를 보여주었다. POEM CDSS에 대한 전문가 내용타당도는 전체평균이 0.91점이었고, POEM CDSS 수용도는 3.79±0.61점로 긍정적이었으며, POEM CDSS 이용도는 1일 평균접속횟수 3.46회로 양호한 수준이었다. 2. POEM CDSS의 효과평가에서 시스템 측면(간호사 변화)의 결과에서 PES관련 간호지식 수준은 실험군과 대조군간 차이가 없었고, 간호사결과 측면(안위 간호)에서는 환자중심기반 돌봄태도 수준과 통증관리 장애요인 인식수준, 안위간호역량이 두 군간 유의하게 차이가 있었다. 실험군의 병동에 입원한 환자의 POEM CDSS 중재 전과 후의 환자결과 측면(환자안위)에서는 증상간섭 정도가 두 군간 유의한 차이가 있어 일부 가설이 채택되었다. 본 연구에서 개발한 POEM CDSS는 TACE 시술 후 발생가능한 PES의 위험을정확도 높게 예측하고 관련된 치료적 중재안을 권고하여, 간호의 질 향상과 근거기반 간호실무 향상에 기여하고, 환자에게 긍정적인 결과를 보여 임상현장에서 활용가능할 것이다. This quasi-experimental study aimed to develop a machine learning-based post-embolization clinical decision support system called POEM CDSS and followed a non-equivalent control group non-synchronized design to evaluate its effectiveness in predicting post-embolization syndrome (PES) in patients with hepatocellular carcinoma after transarterial chemoembolization (TACE) and recommending therapeutic interventions. The study developed the POEM CDSS and evaluated its effectiveness after applying the intervention. First, the development was conducted according to the ADDIE model, i.e., analysis, design, development, implementation, and evaluation, and the developed system was uploaded as a mobile web application. The intervention targeted 40 nurses (experimental group: 21; control group: 19) who were caring for TACE patients in four tertiary general hospitals and one general hospital. The POEM CDSS was provided to the experimental group for 6 weeks, while an educational pocketbook was provided to the control group. To evaluate its effectiveness, the POEM CDSS acceptance, POEM CDSS utilization, and PES nursing knowledge were assessed in terms of the system aspect (nurse change) in the experimental and control groups. On the other hand, symptom management, patient-centered care attitude, symptom management barriers, and comfort care competence were assessed in the nurse outcome aspect (comfort care). In the patient outcome aspect (patient comfort), the PES symptoms, symptom interference, hospitalization period, and PES-related medications administered were assessed in 26 patients before the POEM CDSS intervention and in 25 patients after the POEM CDSS intervention for those in the experimental group. The collected data are presented as frequencies and percentages or means and standard deviations. The data were analyzed using chi-square test, Fisher's exact test, Shapiro-Wilk test, independent t-test, and Mann-Whitney U test using Statistical Product and Service Solutions/MAC 27.0 software. The results of this study detail the development of POEM CDSS and evaluation of its effectiveness. 1. To develop the POEM CDSS, 3,757 electronic nursing records and 1,496 electronic medical records were extracted from 1,200 patients registered at a tertiary general hospital between 2011 and 2022. A PES risk and therapeutic recommendation system was developed using machine learning and natural language processing. The prediction accuracy was 83.9% for fever, 90.3% for nausea/vomiting, 70.6% for abdominal pain, and 72.2% for the total PES, thus showing relatively high accuracy. As for the expert evaluation, overall average content validity index score was 0.91, the POEM CDSS acceptance was positive at 3.79±0.61 points, and the average frequency of accesses for POEM CDSS was 3.46 times/day, which was considered a good level. 2. When evaluating the effectiveness of POEM CDSS, there was no difference in the PES nursing knowledge of the system aspect (nurse change) between the experimental and control groups. However, a significant difference was observed in the patient-centered care attitude, pain management barriers, and comfort care competence of the nurse outcome aspect (comfort care). Some hypotheses were supported as there was a significant difference in the symptom interference of the patient outcome aspect (patient comfort) before and after POEM CDSS use in patients of the experimental group. The POEM CDSS developed in this study predicts the risk of PES after TACE with high accuracy and recommends related therapeutic interventions, contributing to the improvement in nursing quality and evidence-based nursing practice as well as positive results in patients. Therefore, it can be applied in the clinical field.

음성과 텍스트를 이용하여 우울증 및 자살 위험을 평가하는 인공지능 기반 임상의사결정지원시스템에 관한 연구

신다운 서울대학교 대학원 2022 국내박사

서론: 전 세계적으로 우울증과 자살은 발병률이 지속적으로 증가하고 있으며, 그로 인한 사회경제적 손실이 막대하다. 하지만 이를 진단하는 방법은 환자의 주관적인 대답을 바탕으로 진단하는 방법 뿐이다. 그로 인해 환자가 증상을 축소하여 보고하거나 심층적인 면담을 진행하기 어려운 상황에서는 정확한 진단이 어렵고, 효율적인 개입을 하기 어렵다. 따라서 우울증과 자살을 진단할 수 있는 객관적인 마커들에 대한 다양한 연구들이 진행되고 있다. 그 중 인터뷰 시의 목소리와, 사용하는 단어 등은 임상의가 축적된 임상경험을 바탕으로 내리는 임상적 판단에 많이 활용되었던 지표들이다. 최근 목소리의 다양한 지표를 추출하고 발화 단어를 추출하는 기술들이 개발됨에 따라서 우울증과 자살 위험에 따른 목소리의 차이와 발화 단어들의 차이들이 밝혀지고 있다. 또한 인공 지능이 의료계에 접목됨에 따라서 이러한 미세한 차이들을 감지하고 임상적 의사 결정에 도움을 줄 수 있게 되었다. 하지만 국내외의 선행 연구들에서는 아직 피험자의 수가 충분하지 않고, 약물 등의 다양한 임상적 상황들에 대한 고려가 부족하다는 한계가 있다. 따라서 본 연구에서는 기존의 한계들을 극복하여, 인터뷰 중의 피험자 목소리와 사용된 단어를 기반으로 우울증과 자살 위험군을 평가하는 인공지능 기반 임상의사결정지원시스템을 구축해보고자 한다. 방법: 우울한 증상을 호소하는 환자군과 정상대조군을 각각 모집하였고, 모든 피험자에게 간이 국제 신경 정신 인터뷰(Mini International Neuropsychiatric Interview)를 시행하여 해당 인터뷰를 녹음하였다. 녹음된 인터뷰 파일 중 피험자가 발화한 구간만을 추출한 뒤, 각 구간에서 목소리의 다양한 지표들과 텍스트 데이터를 추출하였다. 연구 I에서는 2차 년도까지의 초기 데이터를 이용하여 정상군과 경도 우울증군, 주요 우울증군을 비교하여 분석하였다. 그리고 연구 II와 III을 통해 최종적으로 모집된 초기 평가 데이터를 활용하여 우울증과 자살 위험을 평가하는 인공지능 기반 임상의사결정시스템을 구축해보고자 하였다. 자살 위험은 빈도가 작기 때문에, 자살 위험을 정확하게 평가하기 위하여 연구 II를 통해 음성과 텍스트를 이용하여 정상과 우울증을 구별할 수 있는 평가 알고리즘을 구축하였다. 그 후 2단계로서 연구 III을 통해 우울증 군 내에서 자살 저위험군과 자살 고위험군을 구분하여 자살 위험을 평가하는 알고리즘을 구축하여 그 성능을 확인하였다. 결과: 2차 년도까지 모집된 정상군 33명과 경도 우울증군 26명, 주요 우울증군 34명을 대상으로 분석한 연구 I의 결과, 세 군을 구별할 수 있는 음성 지표 7개를 발견하였다. 또한 음성 지표를 기반으로 세 군을 평가하는 진단 알고리즘을 다양한 모델을 통해 구축하였고, 다층 퍼셉트론의 성능이 가장 우수함을 확인하였다. 3차 년도까지 최종적으로 모집된 환자는 총 85명이었고, 그 중 자가보고설문지를 누락한 2명은 분석에서 제외하였다. 또한 정상대조군은 학내 게시판과 온라인 광고를 통해 총 105명이 모집되었으며 정신건강의학과 병력이 있는 22명은 분석에서 제외되었다. 이를 기반으로 진행된 연구 II에서는 음성 지표와 텍스트데이터를 분석하여 정상군과 우울증군을 구분할 수 있는 인공지능 기반 알고리즘을 구축하였고, 음성을 기반으로 한 인공지능 알고리즘의 곡선하면적은 0.806, 텍스트데이터를 기반으로 한 인공지능 알고리즘의 곡선하면적은 0.905로 우수한 성능을 확인하였다. 이어 연구 III의 우울증군 83명을 대상으로 자살 고위험군을 구분하는 인공지능 임상의사결정지원시스템을 구축하였다. 자살 고위험군을 구분하는 방법으로 각각 벡 자살사고 척도 기준의 방법과, 간이 국제 신경정신 인터뷰를 통해 분류하는 방법을 통해 구분하는 방법을 모두 적용하였다. 그 결과 음성지표를 기반으로 자살 고위험군을 평가하는 알고리즘의 경우 민감도 0.535가 최대값이었으며, 가장 우수한 성능은 로지스틱 회귀공식을 이용한 모델에서 보인 평균 정확도 0.495였다. 또한 텍스트를 기반으로 자살 위험을 평가한 알고리즘 역시 곡선하면적 0.632에 불과하여, 목소리와 텍스트를 기반으로 한 자살 고위험군 진단 알고리즘은 임상적으로 활용하기는 어려운 수준이었다. 하지만 텍스트 데이터와 사회인구학적 정보를 통합하여 구축한 앙상블 모델의 곡선하면적은 0.800으로 성능이 향상됨을 확인하였다. 결론: 본 연구는 구조화된 면담에서 피험자의 발화 구간을 통해 음성과 텍스트 데이터를 추출하여, 이를 기반으로 우울증과 자살 위험성을 평가하는 임상의사결정지원 알고리즘을 국내에서는 최초로 구축하였다. 우울증을 진단함에 있어서는 두 데이터 모두 우수한 성능을 보였으나, 자살 위험을 진단하기에는 부족하였다. 텍스트 데이터의 경우 구조화된 인터뷰를 통해 얻어진 텍스트라는 한계가 있음에도 불구하고 우울증의 진단함에 있어 임상의사결정지원시스템의 가능성을 확인하였다. 더욱이 자살 위험 진단에 있어서도 사회인구학적 정보와 통합된 앙상블모델의 우수한 성능을 확인함으로써 향후 임상적 활용가치를 보여주었다. 본 연구는 목소리, 텍스트 데이터가 가지는 객관적 진단 가치를 국내 최초로 입증한 연구로서, 디지털 진단 도구라는 정신건강의학과적으로는 새로운 분야로의 도전이다. 향후 해당 분야의 더 다양한 지역, 다양한 환경에서의 데이터에 대해서 추가적인 연구가 필요하다. * 본 내용의 일부는 Shin, D., Cho, W. I., Park, C., Rhee, S. J., Kim, M. J., Lee, H., ... & Ahn, Y. M. (2021). Detection of Minor and Major Depression through Voice as a Biomarker Using Machine Learning. Journal of clinical medicine, 10(14), 3046. 에 출판 완료된 내용이며, 그 외 내용들은 현재 출판 준비 중임. 주요어 : 우울증, 자살 위험, 목소리, 텍스트, 기계학습, 임상의사결정지원시스템 학 번 : 2018-25300 Introduction: The incidence of depression and suicide continues to increase worldwide, and the resulting socio-economic loss is also enormous. However, in diagnosing depression and suicide, it is difficult to effectively intervene due to a misdiagnosis in situations where it is difficult for the patient to report symptoms with reduced symptoms or conduct an in-depth interview because the diagnosis must be made through the patient's subjective answer. In addition, voices and text used by participants in interviews are traditionally known for their clinical significance in the Department of Psychiatry. In the past, the voice and the subject's utterance content had to be used for diagnosis based on the clinical experience accumulated by clinicians. As technologies for extracting various indicators of voice and extracting spoken words have been developed recently, differences in voices and differences in spoken words according to the risk of depression and suicide are being revealed. In addition, as machine learning is applied to the medical field, it has been able to detect these subtle differences and help make decisions. However, previous studies have limitations in that the number of subjects is not yet sufficient and consideration of various clinical situations such as drugs is insufficient. Therefore, this study aims to overcome the existing limitations and build an AI-based clinical decision support system that evaluates depression and suicide risk groups based on the subject's voice and words used during the interview. Method: A patient group complaining of depressive symptoms and a normal control group were recruited, respectively, and a Mini International Neuropsychiatric Interview was performed on all subjects and the interview was recorded. After extracting only the section uttered by the subject from among the recorded interview files, various indicators of voice and text data were extracted from each section. In Study I, the initial data were used to compare and analyze the normal group, the mild depression group, and the major depression group. In Study II, the final initial evaluation data was used to identify voice indicators that can distinguish normal and depression, and a diagnostic algorithm using text was constructed. In Study III, an algorithm for diagnosing the high-risk group for suicide was established by defining the high-risk group for depression through the Beck’s suicide ideation scale and the suicide-related module of the mini international neuropsychiatric interview. Results: In Study I, 7 voice and speech indicators that can distinguish 33 normal group, 26 mild depression group, and 34 major depression group were extracted. When the accuracy of various models was confirmed based on the voice and speech features, it was confirmed that the performance of the multilayer perceptron was the best. In Study II, the speech features and text data of 83 normal and 83 depressed patients were analyzed, and the area under the curve of the machine learning algorithm based on each was 0.806 and 0.905. In Study III, 83 people in the depression group were compared with both the Beck’s suicide ideation scale and the classification method through a mini international neuropsychiatric interview. However, in the case of the algorithm for predicting the suicide high risk group based on voice, the maximum sensitivity was 0.535, and the best performance was the average accuracy of 0.495 in the model using the logistic regression formula. On the other hand, the algorithm for predicting suicide risk based on text also had an area under the curve of only 0.632, but the ensemble model built by integrating text data and sociodemographic information was able to confirm the diagnostic usefulness with an area under the curve of 0.800. Conclusion: This study established an algorithm for diagnosing depression and suicide risk by extracting voice and speech features and text data from the subject's utterance section in a structured interview. Both data showed excellent performance in diagnosing depression, but insufficient for diagnosing suicide risk. In the case of text data, although there are limitations as data obtained through structured interviews, when it was integrated with sociodemographic information using statistical techniques, it showed better performance than predicted by sociodemographic information alone, showing utility value. This study is the first study in South Korea to prove the objective diagnostic value of voice and text data, and it is a challenge to a new field of psychiatry as a digital objective diagnostic tool. In the future, additional research is needed on data from more diverse regions and environments in the field. Keywords : depression, suicide risk, voice, text analysis, machine learning, clinical decision support system Student Number : 2018-25300

의약품 임상의사결정지원시스템 : 의료인공지능 수요조사로부터 개발 및 평가에 이르기까지 단계별 사례연구

유준상 성균관대학교 일반대학원 2020 국내박사

임상의사결정지원시스템 (Clinical Decision Support System, CDSS)은 의료를 개선할 수 있는 높은 잠재력을 지니고 있지만, 임상 이행 단계에서의 장벽들로 인해 그 잠재력을 실현하는데 어려움을 겪고 있다. 본 논문에서는 의료인공지능 알고리즘을 활용한 CDSS 추론엔진을 개발함으로써 맥락정보를 반영한 경보를 제공하고, 시스템적 요인과 인적요소를 함께 고려한 인간공학적 접근법의 활용 및 경보 피로 현상에 대한 분석과 개선안 도출의 방식을 통해 CDSS 적용상 문제점을 극복하고자 하였다. 본 연구는 지능형 CDSS 수요조사, 지능형 처방 CDSS 추론엔진 개발, 지능형 처방 CDSS의 사용자 인터페이스 (User Interface, UI) 개발, 및 처방 CDSS 활용 현황 분석의 의약품 CDSS라는 주제와 연결된 4 가지의 별개의 연구로 각 장을 구성하였다. 본 연구의 중추를 이루고 있는 현 의료 시스템 하 높은 사망률을 보이는 암환자에서의 칸디다혈증 예측을 위한 기계학습 알고리즘(CanDETEC)의 개발 및 검증 과정은 제 3장에 수록되었다. 해당 주제를 도출하기 위한 응급, 중환자실 의료진의 의료인공지능 알고리즘에 대한 이해도 및 기대와 우려, 그리고 임상적용전략을 조사는 제 2장에 수록되어 있으며, 제 4 장에서는 응급실에서의 의약품 CDSS가 생성하는 경보에 대한 의료진의 대응 패턴에 대한 후향적 연구를 수행하여, 의사의 경보무시행동에 영향을 미치는 요인을 밝히고 그 영향의 강도를 측정하였다. 제 5장에서는 CDSS 디자인, 환자수준의 위험도 사정을 위한 어플리케이션에 대한 체계적 조사를 통해 이들 어플리케이션이 수록하여야 하는 구성요소를 기반으로 체크리스트를 개발하였으며, 이를 활용하여 CanDETEC 모델의 UI 개발 사례를 제시하였다. 본 연구논문은 의약품 CDSS의 개발에서 평가에 이르는 전반의 과정에 대한 융합연구를 다루었으며, 이를 통해 의약품 CDSS의 수요조사, 개발, 임상이행 전략 수립, 적용 이후의 평가에 대한 단계별 우수사례를 제시하였다. The Clinical Decision Support System (CDSS) has a high potential to improve healthcare, but the barriers at the clinical implementation stage make it difficult to realize its potential. This paper aims to provide an alert comprising contextual information by developing a CDSS inference engine that utilizes medical artificial intelligence (AI) algorithms to overcome the problems in the application of CDSS. This study utilized an ergonomic approach of CDSS considering both systemic and human factors, analysis of alert fatigue phenomenon, and deriving improvement plans. This study consists of four separate studies linked to the subject of medication CDSS: intelligent CDSS demand research, development of an intelligent medication CDSS reasoning engine, development of an intelligent medication CDSS user interface (UI), and analysis of physicians’ medication CDSS utilization pattern. The process of developing and validation of machine learning algorithms for predicting candidemia in cancer patients (CanDETEC model) with high mortality rates under the current medical system is included in Chapter 3. The critical care setting providers’ hope and hype on medical AI algorithms, and investigations of its clinical application strategy are included in Chapter 2. Chapter 4 outlines a retrospective study conducted on physicians’ alert overriding behavior to the alert generated by the medication CDSS in an emergency department setting. This study identifies the factors affecting the physicians’ alert overriding behavior and to measure the intensity of its effects. Chapter 5 develops a “patient level risk assessment dashboard interface (PALRADIN)” checklist through a systematic investigation of CDSS design and applications for assessing patient-level risk which summarises the components to be contained in these applications. Based on this, a UI development case of the CanDETEC model is presented. This research study examines convergence research on the entire process from the development to evaluation of medication CDSS, and through this, presents best practices for each step of medication CDSS demand research, development, clinical implementation strategy establishment, and evaluation after its application.

개인화된 적혈구 수혈 요구량 예측을 위한 임상의사결정지원시스템

허수정 성균관대학교 일반대학원 2024 국내박사

혈액은 의료전달체계의 근간을 이루는 필수 의약품으로, 헌혈을 통해서만 수급이 가능한 특수성으로 인해 효율적 관리와 사용의 중요성이 강조되어 왔다. 수술 중 필연적으로 발생하는 출혈과 이로 인한 적혈구 수치 저하에 따르는 저산소증을 예방하기 위해, 수술실에서는 막대한 양의 적혈구 제제를 사용하며 이는 전체 적혈구 제제 소비량의 약 60%에 달한다. 수술 전 적정 혈액을 정밀하게 예측하는 것은, 혈액제제 폐기의 방지, 수술 환자의 안전 증진, 더 나아가 범 국가적 혈액자원의 효율적 관리에 이르는 높은 잠재력을 가지고 있다. 한편, 의료 분야에서 진단, 예후 예측, 위험도 예측 등 인공지능을 활용한 다양한 사례들이 보고되며, 일부 사례는 전문의 수준에 이르는 과업수행 성능을 보고하고 있다. 동시에 알고리즘 결정의 근거를 설명할 수 없는 블랙박스적 성격은 의료 인공지능이 임상 실무에 도입되는 것을 저해하는 주요 원인으로 지목되어왔다. 설명가능한 인공지능에 대한 연구의 진보를 통해 공학적 관점에서 기능 수준의 설명을 제공하는 SHapley Additive exPlanations (SHAP) 방식이 소개되어 의료분야 전반에서 널리 활용되고 있으나, 의료진의 시각에서 SHAP을 통한 설명이 충분한지에 대해서는 분야 연구자 간에 일치된 합의가 없었다. 이에 본 연구에서는 흉부외과 수술이 예정되어 있는 환자의 1) 수혈 요구량을 예측하는 기계학습 모델을 개발하고, 2) 이를 활용한 임상의사결정지원시스템 (Clinical Decision Support System, CDSS)으로 구현하고, 3) CDSS 결과부에 설명가능한 인공지능을 포함하여 표현방식에 따른 의료진의 조언 수용도와 신뢰도, 만족도를 비교하는 연구를 수행하였다. 본 연구는 수술 전 환자의 적혈구 수혈량 예측 CDSS의 개발과 검증 및 향후 의료분야에 적용 시 전략에 대한 CDSS의 우수 사례를 제시하였다는 점에서 의의를 가진다. 제1장에서는 흉부외과 수술 환자 데이터를 활용하여 수술 전 적정 수혈량을 예측하는 다수의 기계학습 모델을 개발하고, 가장 우수한 모델을 Precision MSBOS-Thoracic Surgery (pMSBOS-TS)로 선정하였다. 개발된 모델은 전통적으로 수술별 수혈 요구량의 평균값을 사용하여 도출한 최대혈액 신청량 (Maximum Surgical Blood Order Schedule, MSBOS) 방식과 비교하였으며, 예측 성능지표의 향상, 비용의 절감을 확인할 수 있었다. 제2장에서는 pMSBOS-TS 모델을 탑재한 CDSS에서 1) 인공지능 결과값만 제공한 경우, 2) SHAP 만을 제공한 경우 및 3) SHAP과 임상적 해석을 제공한 경우 의료진의 수용도, 신뢰도, 만족도를 비교하는 시뮬레이션 연구를 수행하였다. 인공지능 결과만 제시되었을 때 보다 추가적인 설명이 제시되었을 때 제안의 수용도, 신뢰도, 만족도 모두 향상되는 결과를 보였으며, 이러한 지표가 의료진의 수용도와 약한 양의 상관관계를 보인다는 점을 확인하였다. Blood product is a fundamental medicinal component within the healthcare system, and efficient management and use of these are important. Red blood cells serve as essential agents in preventing tissue hypoxia, accounting for approximately 60% of the total red blood cell products used in operating rooms. Preparing appropriate amount of red blood cells before surgery not only allows for the efficient utilization of limited medical resources, but also helps avoid situations where inadequately prepared blood may adversely impact patient safety. The aim of this study is to develop and validate machine learning models for predicting personalized red blood cell demand among patients with thoracic surgery. We’ll also compare the acceptance, trust, and satisfaction of medical practitioners based on the explainable method when applied as a clinical decision support system. In addition, we aimed to analyze the correlation between acceptance and trust, as well as acceptance and satisfaction. In Chapter 1, we developed machine learning models to predict the appropriate red blood cells before surgery. These models show higher performance compared to the Maximum Surgical Blood Order Schedule method based on the average blood transfusion demand per surgery. Precisely predicting the necessary amount of blood before surgery showcased the potential to enhance the efficient use of medical resources and ensure the timely transfusion of surgical patients, thereby increasing safety. The field of medicine has witnessed various applications of artificial intelligence, such as in diagnosis, prognosis, and risk prediction, all demonstrating high performance. Algorithms like deep learning and ensemble techniques have shown superior performance compared to statistical methods like regression analysis. However, their inexplicable black-box nature impedes their integration into the medical field. Research on explainable AI has shown that providing explanations alongside results influences the acceptance and reliability of outcomes positively. Nevertheless, there remains ambiguity regarding the most suitable explanation methods thus far. In Chapter 2, a simulation study was conducted to compare the acceptance, trustworthiness, and satisfaction of medical practitioners based on the results of the AI model integrated into the CDSS and the methods of explanation. We compared the results between only the AI result was provided and these results were accompanied by either explainable AI or clinical interpretations. The findings indicated that providing additional explanations significantly improved all of these factors compared to presenting only the AI results. Moreover, when clinical interpretations were provided alongside explainable AI methods, the evaluation metrics were notably higher. This research showcased the development and validation of a CDSS for predicting preoperative red blood cell transfusion volumes in patients undergoing surgery. Additionally, it highlighted exemplary cases for the strategic application of CDSS in future healthcare settings.

Clinical Genome Data Model towards Precision Medicine

김효정 서울대학교 대학원 2020 국내박사

진료 현장에서 의사결정을 내려야 하는 임상의에게 개인 유전체 정보를 다른 임상 근거들과 통합하여 보다 쉽게 다룰 수 있도록 구조화하여 지원하는 것은 정밀의학 구현을 위한 의료정보학의 주요 과제 중 하나이다. 차세대 염기서열 분석법과 같은 대량신속처리 유전체 기술의 등장과 그에 따른 해석정보의 축적으로 정밀 의학 및 개인 맞춤형 의학으로의 전환이 가시화 되는 듯 보였으나, 차세대염기서열 분석 기술 기반의 개인유전체 정보의 임상 활용은 여전히 제한적이다. 선행연구에서는 임상현장에서 유전체정보의 활용이 더딘 이유로 의료 전문가와 생물정보학자들 사이의 지식 격차, 진료 현장과 생물정보학 작업절차 간의 분리, 유전체 데이터만의 독특한 양적, 질적 자료구조의 특성과 같은 복합적인 원인을 제시하고 있다. 이러한 문제를 해결하고자 하는 시도로서 개인유전체정보를 병원정보시스템에 통합해야 한다는 요구가 높아지고 있으나 임상현장에서 활용하는 것을 목적으로 하는 지속가능하고 상호운용가능한 저장, 관리, 처리 방식에 대한 구체적인 논의는 부족한 실정이다. 본 연구에서는 임상정보시스템에 개인 유전체 정보가 통합되어 임상에 적용되기까지 현재의 장벽들을 문헌고찰을 통해 재탐색하고 관련된 개념과 방법들을 고찰하였다. 그리고 차세대 염기서열 분석방법을 기반으로 한 데이터를 어떻게 임상에서 활용하기 쉽도록 저장하고 처리하고 전달할 것인가 하는 당면한 과제에 단계적으로 접근하였다. 정보시스템 설계에 있어 데이터 모델의 설계는 최종시스템의 기능이 데이터 모델에 표현된 정보량 안에서 제한된다는 점에서 가장 일차적이며 중요한 단계이다. 따라서 1장에서는 다학제적 논의를 통해 임상의사결정에 활용할 수 있는 유전체 지식표현을 논리적 데이터모델의 형태로 도출하여 차세대염기서열분석기술 기반의 임상유전체데이터모델(cGDM; clinical Genome Data Model)을 제안하였다. 2장에서는 약물치료를 개인별로 최적화하기 위해 이용 가능한 유전체검사결과를 사용하는 방법에 대한 지식체인 CPIC guideline을 구조화하여 1장에서 구축한 환자의 유전체 정보와 데이터 레벨의 정보흐름을 구현함으로써 모듈 방식의 약물유전체 임상의사결정지원시스템을 제시한다. 3장에서는 생명정보학에서 임상적 의미를 드러내는 발견들이 지속됨에 따른 명명체계의 다양함을 수용하는 확장 체계의 하나로서 HLA gene에 대한 구조화된 정보 설계와 구현을 다루었다. 즉, HLA nomenclature를 대상으로 지식표현을 설계, 확장하여 임상유전체데이터모델의 지속가능성과 확장성을 검증하였다. 본 연구에서는 중개과학으로서 의료정보학이 정밀의료에 기여할 수 있는 다학제적공간을 탐색하고 정보시스템의 지식표현, 기능구현, 사용성 측면을 포괄하는 접근을 시도하였다. 본 연구의 결과로 제시된 임상유전체데이터모델은 논리적인 데이터모델 수준에서 설계되어 기존 병원정보시스템에 사용된 개발 언어에 제약을 받지 않고 데이터 수준의 확장체계로 활용할 수 있다. 즉, 정형화된 데이터를 기반으로 임상정보를 처리하는 기존의 다양한 정보시스템 아키텍쳐의 설계에 통합되어 각 기관 혹은 사용자의 필요에 맞게 CDSS나 서식에 연결하는 등 다양한 기능의 구현을 지원할 수 있다. 또한 연구용 데이터의 수집과 분석에 사용될 수도 있어 개인유전체분석결과를 실질적인 데이터 순환 사이클에 연결하는 데 기여할 수 있다. 궁극적으로, 의료전문가와 정보를 활용한 임상의사결정간의 지적상호작용을 지원하는 데이터 계층 인프라를 제공한다. Background The transition to precision medicine and personalized medicine is accelerating owing to progress in genomic technology and the consequent accumulation of genomic information. However, the clinical application of genomic information remains limited, and its spread rate has been slower than expected. This lag has been attributed to complex causes, including 1) a knowledge gap between medical experts and bioinformaticians, 2) separation of the bioinformatics workflow from clinics, and 3) unique characteristics of genomic data. Nevertheless, current informational approaches to link genomic data to clinical fields mostly address the data structure problem. Objective We aimed to develop a genomic data model allowing for more interactive support in clinical decision-making. Informational modeling was used as a knowledge communication scheme from the highly intellectual product of bioinformatics to a representative data component of a clinical decision. Methods Reliability-related attributes were derived through failure mode and effect analysis (FMEA). This study involved a multidisciplinary working group that conducted clinico-genomic workflow analyses and attributes extraction. Based on these data, an entity-attribute model was then developed through abstraction and normalization. Results The outputs of FMEA were a dataflow snapshot obtained from next-generation sequencing, the information process map extended to the clinico-genomic context, and the set of attributes. Next, an entity-attribute model consisting of eight entities and 49 attributes was identified to develop the final genome data model, including: a linkage identifier to clinical information, experiment-related information, bioinformatics protocol-related information, physical location information, expression, annotation, actor information, and timeline information. Conclusion The proposed genome data model could serve as a data-layer infrastructure supporting the intellectual interplay between medical experts and informative decision-making. Given the importance of recognizing a genome information system as a component of the clinical information system to realize precision medicine, the model could help enhance integration of genomic data in clinical settings.

상급종합병원 입원환자의 욕창예방을 위한 임상의사결정지원시스템(CDSS)의 적용 및 예비평가 : 혼합연구

박숙현 중앙대학교 대학원 2024 국내박사

본 연구의 목적은 일개 상급종합병원에서 적용하고 있는 머신러닝을 활용한 전자의무기록 기반의 욕창 위험도 평가 및 간호 중재 추천 알고리즘(욕창예방 CDSS)의 적용효과를 파악하기 위한 혼합연구이다. 전자의무기록 자료를 통해 욕창관련 지표를 평가하고 간호사 대상 욕창예방 CDSS의 사용성 평가를 위해 양적조사와 질적 연구방법을 적용하였다. 대상자는 일개 상급종합병원에 입원한 성인 병동, 중환자실 환자를 대상으로 하였으며, 자료수집 기간은 2021년 5월 1일부터 2023년 8월 31일까지였다. 욕창예방 CDSS 적용 전 평가를 위한 자료수집은 2021년 5월 1일부터 2022년 4월 30일까지였으며, 적용 후 평가는 2022년 9월 1일부터 2023년 8월 31일까지였다. 욕창예방 CDSS 적용 전 욕창이 발생한 대상자는 551명이었으며 적용 후의 욕창발생 대상자는 608명으로 나타났다. 욕창예방 CDSS 사용성 평가는 HSUS(Healthcare Systems Usability Scale) 도구를 이용하였다. 양적 설문에 응답한 간호사는 총 137명이었고, 질적 연구를 위한 포커스 그룹 인터뷰에 참여한 간호사, 간호관리자는 총 10명이었다. 환자와 간호사 대상의 양적 연구를 위한 자료 분석은 실수와 백분율, 평균, 표준편차, χ2 test, t-test를 이용하였으며, 질적 연구를 위한 자료 분석은 내용분석방법을 통해 이루어졌다. 본 연구의 결과는 다음과 같다. 전자의무기록 결과에 의하면, 욕창 발생률은 욕창예방 CDSS 적용 전보다 적용 후에 1‰ point 증가하였으나 중증 욕창은 감소하였다. 욕창 단계별 발생률(p=.069)에는 통계적으로 유의한 차이가 없으나 욕창발생 부위(p=.001), PUSH scores(p<.001)에는 통계적 유의한 차이가 있는 것으로 나타났다. 욕창 고위험 점유율(p=.075)과 비위험군 욕창 발생률은 욕창예방 CDSS 적용 전과 후에 차이가 없는 것으로 나타났다. 간호사 대상의 조사결과에 의하면, 욕창 사정 시 Braden scale을 이용한 만족도 점수는 5.53점이었으며, 욕창예방 CDSS를 이용한 사정 시 만족도는 6.95점으로 나타났다. 욕창 위험도 평가 시 소요되는 시간은 Braden scale은 평균 84초이며, 욕창예방 CDSS로 사정 시에는 평균 39초로 나타났다. 욕창예방 CDSS 적용 후 간호사가 인지하는 욕창 간호의 변화로는 ‘욕창 고위험과 비위험군에게 제공하는 간호 내용에 차이를 두게 되었다’가 가장 많은 80.3% 로 나타났으며, 그다음 순으로 ‘욕창 간호에 더 주의를 기울이게 되었다’ 가 68.6%, ‘간호 사정과 중재 누락이 감소했다’라고 응답한 경우가 54.7%로 나타났다. HSUS를 이용한 욕창예방 사용성 총 점수는 3.76점으로 나타났으며, 점수는 시스템의 사용 편의성, 유용성, 업무 효율성, 사용자 권한 순으로 높게 나타났다. 욕창예방 CDSS는 환자 간호 시 간호사의 임상의사결정을 지원하며 간호업무를 효율화시키지만 새로운 시스템의 저항 및 사용자 친화적인 개선 요구도 도출되었다. 이상의 결과를 종합해 볼 때, 욕창예방 CDSS는 욕창 간호 시 간호사의 임상결정을 지원하며 효율적 업무와 표준간호를 제공한다는 점을 확인하였다. 향후 욕창예방 CDSS를 고도화하기 위하여 시스템의 업그레이드와 장기간 추적 관찰이 필요할 것이다. The purpose of this mixed-methods study is to determine the effectiveness of using an electronic medical record based pressure injury risk assessment and nursing intervention recommendation algorithm (CDSS for pressure injury prevention) through machine learning in a tertiary hospital. Quantitative and qualitative methods were used to evaluate changes in pressure injury related indicators in patients and nurse assessed usability of the CDSS for pressure injury prevention. We analyzed electronic medical record data of individuals (aged >18 yrs) who were admitted to wards or intensive care units in a tertiary care hospital between May 1, 2021 and August 31, 2023. The pressure injury CDSS pre-implementation evaluation was performed from May 1, 2021 to April 30, 2022, and the post-implementation assessment was conducted from September 1, 2022 to August 31, 2023. There were 551 individuals who developed a pressure injury prior to the implementation of the CDSS and 608 individuals who developed a pressure injury after the CDSS were implemented. The Health System Usability Scale (HSUS) tool was used to evaluate nurses about the usability of the pressure injury CDSS. The survey was completed by 137 nurses, and 10 nurses and nurse managers participated in focus interviews for qualitative analysis. Data analysis for the quantitative study of patients and nurses was done by using real numbers, percentages, and the χ2 test, t-test while data analysis for the qualitative study was done by using the content analysis method. The findings of this study are as follows According to the EMR results, the incidence of pressure injuries increased by 1% after the pressure injury prevention CDSS was implemented, although the incidence of severe pressure injuries decreased slightly. There were no significant differences in the incidence of pressure injury stage (p =.069), but there were a statistically significant differences in the site of pressure injury (p =.001) and PUSH score (p <.001). The prevalence of high-risk pressure injuries (p =.075) and the incidence of pressure injuries in the non-high risk group did not differ before and after the pressure injury prevention CDSS was implemented. Satisfaction with pressure injury assessment using the Braden scale was 5.53, and satisfaction with assessment using the CDSS for pressure injury prevention was 6.95. For pressure injury prevention, the time to assess a pressure injury averaged 84 seconds on the Braden scale and 39 seconds on the CDSS. After implementing the pressure injury prevention CDSS, nurses reported “I provided different care for high risk and non-risk patients.” at 80.3%, “I became more focused on managing pressure injuries.” at 68.6%, and “Missing nursing assessments and interventions in the nursing record have decreased.” at 54.7%. The total score for the usability of pressure injury prevention using HSUS was 3.76, and the score was distributed in the following order: ease of use, usability (Patient safety and decision effectiveness), work effectiveness, and user control. Based on the findings, we found that the pressure injury CDSS supports nurse’s clinical decisions in pressure injury management while also providing efficient work and standard of care. Further improvements to the CDSS for preventing pressure injuries will require ongoing monitoring and system updates.

응급실 약물처방 의사결정지원시스템의 유효성에 관한 연구

차원철 서울대학교 대학원 2021 국내박사

전자의무기록 (Electronic Medical Record: EMR)의 적용은 전세계적인 추세이며, 현재는 의료적인 기반이 확립된 국가들은 기본 이상 수준의 시스템을 운영 중에 있다. EMR적용이 의료의 품질을 올리는데 기여하는 역할은 다양하다. 기록의 디지털화를 통한 자료 활용은 물론, 의료진이 서로 의사소통하며 처치를 결정하는데 직접적으로 작용함으로써 진료 과정에 개입하기도 한다. 이와 같이 EMR 시스템이 의료진의 임상 의사 결정 과정에 작용하는 시스템을 임상의사결정지원시스템 (Clinical Decision Support System: CDSS) 라고 한다. CDSS는 각종 의사결정과정에 활용되며, 특히 처방 과정, 그 중에 약물 처방을 감시하고 제어하는 역할이 대표적이다. CDSS 를 통한 처방 관리 기능의 유무는 해당 시스템의 고도화정도를 판가름하는 지표가 되기도 한다. 약물 처방 감시를 통한 효과는, 처방의 안전성, 효율성을 제고하는데 있으며, 투여 받는 약물이 늘어나고, 질환이 복잡, 장기화할 수록 그 필요성이 증대된다. 복잡한 환자에게, 여러 의사가 동시에 처방을 내는 응급실 영역에서는 그 필요성이 더 크다 할 수 있다. CDSS의 효과를 제한하는 가장 큰 요소는 경고 무시 (Alert override)로, 이는 CDSS에 의한 제어를 처방의가 무시한다는 의미이다. 경고 무시는 시스템을 무력화함으로써 해당 처방의 안전성에 위협이 되기도 하지만, 의료진의 피로도를 높임으로써 전반적인 의료 품질 감소에도 영향을 미친다고 알려졌다. 다만, 이러한 피로도가 병원 전체에서 어떻게 이 연구의 최종목표는 응급실 약물 처방 CDSS의 유효성을 확인하는 것으로, 그 유효성의 대리 지표 (surrogate marker)를 경고 무시로 정의하고, 대리 지표로서 경고 무시의 효용성을 세 가지 연구 설정을 통해서 밝히는데 있다. 연구 설정으로는, 한 종합병원의 외래,응급실,병동을 총괄하는 기반 연구 (Baseline study), 새로운 CDSS 도입 효과를 보는 설정 (CDSS introduction effect study), 지식기반 전이 (KB transition) 효과를 보는 설정을 채택하였다 (KB transition effect study). 기반 연구 (Baseline study) 에서는 전 병원 차원에서의 CDSS 효과 의 변화를 제안된 대리 지표인 경고 무시를 통해 밝힐 수 있는지를 확인하고, 관련 인자를 밝히도록 하였다. CDSS 도입 효과 연구에서는 새로운 CDSS type의 도입 이후 나타나는 CDSS 효과의 변화를 경고 무시를 통해 밝힐 수 있음을 확인하였고 관련된 인자를 파악하였다. 지식기반 전이 효과 연구에서는 지지식기반의 전이 이후 나타난 응급실에서의 CDSS 유효성 변화를 대리 지표인 경고 무시를 이용하여 분석하였고, 유효성 변화와 이와 관련된 인자를 파악하고자 하였다. 기반 연구는 2016년 7월부터 2017말까지 약 18개월간의 기간 동안 병원 전체에서 이루어진 290만건의 CDSS 경고 데이터를 기반으로 이루어졌으며, 이들의 중 특히 경고 무시와 관련된 특징을 시계열적으로 분석하되, 사용자 특성인 소속 진료과 및 처방 장소, 그리고 직급에 따라 분석하였으며, 모든 지표에서 동일하게 상승되는 소견을 확인하였다. 이는 Piecewise regression에서도 유의미하게 나타났으며, 이러한 변화에 대한 다변량 분석 결과 변화에 관련된 인자 중에 전임의와 전공의는 양의 상관관계를, 수술 관련 진료과는 음의 상관관계를 유의하게 나타냄을 확인할 수 있었다. CDSS 도입 효과 연구는, 새롭게 도입된 CDSS 의 시간에 따른 유효성 변화를 대리 지표인 경고 무시를 통해 판단하고, 이와 관련된 인자들을 밝히는데 그 목적이 있었다. 새롭게 도입된 CDSS 종류인 신장 경고 (Renal alert)의 시계열 변화를 판단하기 위해서 분석을 수행하였다. 2019.8월부터 2020.6월까지 11개월을 동안 응급실에 내원한 68,028명을 대상으로 이루어진 424,469건의 처방을 기반으로 분석하였고, 발생한 26,136건의 경고 중 18.7%인 신장 경고를 분석대상으로 삼았다. 처방의의 진료과 및 직급을 기준으로 평가하였을 때, 신장 경고의 발생률은 점차 증가하는 것으로 판단되었으며, 이에 대한 경고 무시는 점차 감소하는 것으로 판단되었다. 이는 프아종 회귀분석을 이용한 다변량 분석에서도 지속적으로 관찰되었다. 지식기반 전이 효과 분석은 2016년 7월부터 2020.6.30까지 약 48개월간의 응급실 데이터를 기준으로 처방과, 경고 및 경고 무시에 대한 자료를 모두 확보하여 분석을 진행하였으며, 총 277,762명의 환자에게 이루어진 1,801,755건의 처방과 102,899 건의 경고를 기반으로 분석을 진행하였다. 분석 결과 지식기반 전이 이후 경고 발생은 유의하게 늘었으며 (5.44% -> 6.53%), 그 차이는 처방 약제 별로 다양한 양상을 보였다. 경보 무시율 53.8% 에서 52.1%로 통계적으로 유의하게 줄었으나, 그 차이는 크지 않았다. 임상적으로는 지식기반 전이 이후로 환자의 응급실 이후 배치 (disposition) 에는 유의한 차이를 보이지 않았으나, 전체적인 응급실 체류시간에는 입원 환자를 제외한 모든 환자군에서 증가하는 결과를 보였다. 본 연구를 통하여 응급실 약물 처방 CDSS의 유효성을 측정하기 위한 대리 지표로서 경고 무시의 효용성을 확인하였고, 세 가지의 연구 설정에서 이 대리 지표가 효과적으로 쓰일 수 있음을 확인하였다. CDSS에 대한 전망을 감안하였을 때, 본 연구의 결과물은 광범위하게 활용될 수 있으며, 추후 AI-CDSS 도입이 본격화할 경우 그 유효성을 측정할 수 있는 대리 지표로서의 효용성이 증대될 것으로 사료된다. It is an international trend to implement electronic medical record (EMR). Most of developed worlds have established EMR into the healthcare system with various degrees. EMR could improve the quality of care by digitalizing medica records and by helping communications among healthcare providers. The system that intervenes and interacts with the process of clinical decision making is called the clinical decision support system (CDSS). CDSS is being used in various fields of decision making in healthcare. The medication CDSS is one of the most used ones. Implementing a CDSS sometimes marks the level of advancement of a certain EMR system. A medication system can improve the safety and efficiency of prescription process, and the effect is emphasized when the disease complexity and medication number increase. In circumstances like emergency departments, where multiple doctors treat patients with very complicated process, the effect of a CDSS could be enhanced. The alert override is the most well-known step-back phenomenon of CDSS, which means the suggestion by the system is ignored. The phenomenon itself poses danger to patients and if reflects the burden given to physicians, which in turn, can cause physician burn-out and decrease in quality of care. However, alerts and overrides in emergency departments have seldom been reported before. The aim of this study is to evaluate the feasibility of utilizing alert override as a surrogate marker to measure effectiveness of CDSS, and describe factors associated with the marker change. The research is composed of three parts. The first part is the baseline study. It covers the period from Jul. 2016 to Dec. 2017. During the 18 months a total of 2.9 million alerts had been fired in the system. A temporal analysis was done regarding the users’ characteristics such as department, and level of training. There was increase in the alert override trend during the phase, which was confirmed by a piecewise regression analysis. The second part is about the effect of introducing a CDSS. The CDSS effect was evaluated for 11months after its introduction to ED physicians. During the period, overall 26,136 alerts had been fired and the renal alert was chosen for analysis since it was a new type of CDSS for healthcare workers. The analysis showed an increase of CDSS alerts, but decrease in their override rates, which showed persistent trend during the study phase. The last part is about the effect of a knowledgebase transition. It analysis covered 48 months and emergency department. Overall, 1.8 million medications had been prescribed to 277,762 patients. Overall, 102,899 alerts had been fired. The alert increased after Knowledgebase transition from 5.44% to 6.53%. The rate change differed widely among drugs and alert types. Alert override decreased to 52.1% to 53.8%, with statistical significance (p<0.001) but with small effect size. As conclusion, throughout this study, the effect of CDSS was evaluated in various aspects such as KB transition, new introduction, and users’ characteristics.

임상결정지원시스템의 국내 활용 방안

백진이 숙명여자대학교 임상약학대학원 2007 국내석사

Background : Medication error can be caused at all levels during the medical procedure such as doctor's diagnosis, prescription, compounding of medicine and medication, but especially at the level of prescription. With the development of medical techniques, the types and ranges of choice for drugs have widened to the extent that it became more difficult for doctors to acquire sufficient knowledge on all sorts of drugs and to make appropriate use of them. Therefore, the introduction of clinical decision support system (CDSS), which is designed to support doctors for prescription by providing information on the use of drugs and patient's profile, would facilitate to reduce the number of medication errors. Purpose : This study intends to identify the ongoing states of the CDSS preparation in our country and considers how to enrich both health medical information and contents of the knowledgebase for drugs, which are necessary for the construction and utilization of CDSS in Korea. Method : The Ministry of Health & Welfare, Korea Food & Drug Administration (KFDA), Health Insurance Review & Assessment Service(HIRA), Firstdis, FirstDataBank Homepage, The Korean Society of Health-System Pharmacists(KSHP), Korea Pharmaceutical Information Center (KPIC), Druginfo, Kimsonline and others are researched to find out the substances of the basic medical knowledge provided in our country. It also examined the present situation and plan for constructing the CDSS in Korea, based on the project schedule propounded by Health & Medical Informational Project Promotion Group. In addition, it looked into various documents and reports to investigate the instrumental elements for the construction of the CDSS as well as the situations in America and the United Kingdom. Result : Considering the building process of the basis for the pharmaceutic knowledge, it notices that KFDA, HIRA, KPIC, KSHP and other informational companies for drugs are providing the information on various medicines and drugs on the internet; and most of hospitals in Korea are creating and managing its own codes according to the lists of drugs used in each hospital. However, this kind of medical knowledge is not suitable as a medical Knowledgebase generally available, due to the fact that the terms used are not standardized and do not include all drugs used domestically. Firstdis, which is co-founded by the Drug Information Research Institute of Sookmyung University and the cooperation between academics and industries, is currently providing together with FirstDataBank of the US, the American and Korean medical information databases, but at the expensive costs, so it is deemed that further Knowledgebase should be built in the way that it caters better for the reality of our nation. While most of the domestic hospitals are adopting the CDSS programs, primarily centering around the 3rd level hospitals, code numbers and terms of drugs used are not standardized as they are largely depending on self-developed programs. At the governmental dimension, it is undertaking the project with a view to formulating a comprehensive plan for enriched health medical information of 2005 and providing the optimal health and medical service for the people. As a component task, it is also conducting the development of the CDSS at the moment Conclusion : The CDSS must include basic pharmaceutic information(such as dosage, pharmacokinetics, pharmacodynamics, side effect and drug interaction), and send an alert signal for improper prescriptions in accordance with the profile of a patient and come up with alternatives. Moreover, the CDSS should ultimately result in the reduction of medication error so as to decrease the death rates and costs for treatment. It is also suggested that the CDSS be developed in the manner that it is linked to electronic prescribing and electronic health records (EHR), that can be shared between hospitals interactively, so that the patient can receive the optimal medication treatment. 배경 : 의료과오(medication error)는 의사의 진료, 처방 단계, 의약품의 조제, 투여 등 의료 과정의 모든 단계에서 발생할 수 있으며 특히 처방 단계에서 많이 발생한다. 의학 기술의 발달로 약물의 종류와 약물 선택의 범위가 넓어지면서 의사들이 모든 의약품에 대한 충분한 지식을 습득하고, 환자 진료에 활용하는 것이 어려워졌다. 따라서 의약품 사용과 환자의 정보를 제공함으로써 의사의 처방을 지원해 주는 임상의사결정지원시스템(clinical decision support system, 이하 CDSS)을 사용하면 의료 과오를 줄일 수 있을 것이다. 목적 : 본 논문에서는 우리나라의 CDSS의 준비현황을 알아보고 우리나라에서 CDSS의 구축과 활성화를 위해 필요한 보건 의료 정보화와 의약품 지식 기반 내용 등을 살펴보고자 한다. 방법 : 보건복지부, 식약청, 심평원, 퍼스트디스, FirstDataBank, 병원약사회, 약학정보원, 드러그인포, 킴스온라인 등을 조사하여 우리나라에서 제공되고 있는 의약품 지식 기반의 내용을 조사하였고, 보건의료정보화사업추진단의 사업 계획서 등을 참고하여 우리나라의 임상결정지원시스템 구축 현황과 계획에 대해 알아보았다. 또한 미국, 영국의 현황과 임상결정지원시스템의 구축을 위해 필요한 요소 등을 알아보기 위해 여러 가지 문헌과 보고서를 참고하였다. 결과 : 의약품 지식기반 구축 상태를 살펴보면 식약청, 심평원, 약학 정보원, 한국병원 약사회, 의약품 정보 업체 등에서 인터넷을 통해 의약품 정보를 제공하고 있으며, 우리나라의 병원들은 대부분 각 병원에서 사용되는 의약품의 목록을 상품명에 따라 자체 코드를 생성하여 관리하고 있다. 하지만 이러한 의약품 지식 기반은 용어가 표준화되어 있지 않고, 국내에서 사용하는 모든 약물을 포함하지 않기 때문에 공통으로 이용 가능한 의약품 지식 기반으로써 적합하지 않다. 숙명여대 의약정보연구소와 산학협력으로 설립한 회사 퍼스트디스는 미국의 FirstDataBank와 함께 우리나라에 미국의 의약정보데이터베이스와 한국의 의약정보데이터베이스를 제공하고 있는데 사용료를 지불하여야 하고, 좀 더 우리나라 현실에 맞는 지식 기반 구축이 필요하다. 우리나라 병원에서는 3차 병원을 중심으로 CDSS 프로그램을 사용하고 있는데 대부분 병원 자체에서 개발한 프로그램을 사용하고 있기 때문에 약물 코드 번호와 용어의 표준화가 되어 있지 않다. 정부 차원에서는 2005년 보건의료정보화 종합계획을 수립하고, 국민에게 최적의 보건 의료 제공을 목표로 사업을 진행 중이며 세부 과제로서 임상지원시스템 개발을 진행 중이다. CDSS가 효과적으로 이용되기 위해서는 전자처방과 연계되어 사용되어야 한다. 신기능에 따른 용량 조절을 위해서는 환자의 serum creatinine(혈중 크레아티닌), 나이, 체중, 성별 등에 기반을 둔 creatinine clearance(크레아티닌 청소율) 값으로 신기능을 평가하여 신기능에 따라 금기가 되는 약물이나 잘못된 용량이 처방되었을 때 ‘경고’ 시그널을 발생시키도록 하고, 신독성이 있는 약물이 처방될 때, 환자의 신기능과 체중을 고려하여 약물 용량을 조절하는 규칙을 개발해야 한다. 약물 상호작용, 중복 처방을 예방하기 위해서는 상호작용을 등급별로 나누어 의사가 처방을 했을 때 상호작용 등급과 기전이 자동 검색되어 경고창이 뜨도록 하고, 환자 정보와 처방 기록 등을 병원들 간에 공유할 수 있도록 하여 다른 병원에서 처방 받은 약물에 대해서도 중복 약물, 상호 작용이 검색되어야 한다. 또한 연령과 체중에 따른 표준 약물 용량과 연령 금기 약물의 정보를 구축하여 CDSS에 포함시켜야 하고, 환자의 알레르기 상호작용을 CDSS에 적용시키기 위해 알레르기 반응에 대한 자료들을 모두 코드화 시키고, 자료를 모아 알레르기와 과민 반응 간에 차이점을 식별할 수 있도록 해서 경고는 과민 반응이 아닌 진짜 알레르기 반응에 대해서만 제시한다. 의사가 경고를 무시했을 경우를 대비해 그 이유에 대한 메뉴를 만들어 해당하는 이유를 선택하게 하고, 환자의 알레르기 목록을 업데이트할 수 있게 한다. 전자건강기록(electronic health record, EHR)은 각각의 환자에 대한 보편적인 알레르기 목록을 공유할 수 있게 하여 여러 지역에서 알레르기 목록을 따로 만들어야 하는 불편을 줄여준다. 결론 : CDSS는 기본적인 약물 정보(용량, 약동학적 정보, 부작용, 상호작용 등)를 포함하고 있어야 하며, 환자 정보에 따라 부적절한 처방에 대해 경고 시그널을 발생시키고, 대안 등을 제시해야 한다. 또한 CDSS가 궁극적으로 의료 과오를 줄여 사망률과 치료비를 감소시키고, 환자에게 최적의 약물 요법을 제공하기 위해서는 병원 간에 상호공유가 가능한 EHR 및 전자처방(electronic prescribing)과 연계된 CDSS 개발이 필요하다.