국립대병원의 감사성과 측정 및 감사접근방법 개발 연구 = A Study on the Development of Audit Performance Measurement and Audit Approach of National University Hospital

국문 초록 (Abstract)

본 연구는 그간 감사원과 교육부 등에서 국립대병원을 대상으로 수행한 감사에 대한 성과를 측정하고, 해외 감사기관의 감사 중점사항과 국제기구의 보건의료 분야 주요 이슈들을 적용하여 우리나라 국립대병원에 적합한 감사 접근방법을 제시하기 위한 것이다. 이를 위해 지난 20년간 우리나라 감사원과 교육부, 국립대병원 자체감사기구에서 국립대병원을 대상으로 실시한 감사에 대한 결과를 활용하여 처분요구사항(지적사항)과 감사성과(재무조치, 신분조치, 행정조치)의 규모를 파악하였다. 그리고 최근 해외에서 강조되고 있는 의료 질과 환자안전의 평가·측정방법을 반영하여 우리나라 국립대병원 감사기준을 개발하고, 이를 토대로 국립대병원의 감사기준에 대한 우선순위를 정하고, 국립대병원 특성을 반영한 감사 접근방법을 개발하고자 하였다. 본 연구의 주요 연구결과는 다음과 같다.
첫째, 국립대병원 감사는 감사원에서 20건(’99년∼’19년), 교육부 8건(’13년∼’18년), 국립대병원 자체감사 509건(’16년∼’18년) 실시되었다. 감사성과는 재무조치 성과, 신분조치 성과, 행정조치 성과로 분류하였는데, 재무조치 성과의 경우, 감사원은 총 21건 처분요구를 통하여 15.1억 원 상당의 금액을, 교육부는 116건의 처분요구를 통해 총 595.2억 원 상당의 금액을, 국립대병원 자체감사에서는 131건의 처분요구를 통해 총 42.3억 원 상당의 금액을 지적·적발하여 회수하였다. 따라서 재무조치 실적은 교육부에서 가장 많은 것으로 나타났다. 신분조치 성과의 경우, 감사원은 총 30건 처분요구를 통하여 147명을. 교육부는 234건의 처분요구를 통해 총 1,292명을 국립대병원 자체감사에서는 759명에 대해 신분조치 하였다.
그러므로 신분조치 실적은 국립대병원 자체감사가 가장 많았다. 마지막으로, 행정 조치 성과의 경우, 감사원은 총 51건, 교육부는 50건, 국립대병원 자체감사는 1,146건 행정조치(개선요구)하여, 국립대병원 자체감사의 행정조치 실적이 가장 많았다.
둘째, ‘의료 질·환자안전’ 분야의 세부 감사 기준으로 ‘환자안전관리’, ‘의료효과성’, ‘의료접근성’, ‘환자중심성’, ‘의료효율성’ 등 5가지 감사기준이 도출되었다. 먼저, ‘의료의 질 관리’는 WHO, OECD, World Bank, 미국, 캐나다 등에서도 중요성을 강조하고 있는 분야이다. 이 기관 및 국가들은 의료의 질 평가 및 관리의 주요 지표로 의료효과성, 의료접근성, 안전성(환자안전), 의료효율성, 의료연계성, 의료형평성 등을 두고 있다. 우리나라에서도 건강보험심사평가원의 ‘요양급여 적정성 평가’에서 이를 상당수 반영하여 평가 업무를 수행하고 있다. 다음으로 ‘환자안전 관리’ 분야 역시 WHO, OECD, World Bank, 미국, 호주 등에서 중요성을 강조 하고 있다. 이 기관들은 환자안전 관리의 주요 지표로 의약품안전, 의료감염관리, 수술 안전관리, 수혈관리, 낙상사고관리 등을 두고 있다. 우리나라에서도 한국보건사회연구원의 ‘한국 의료 질 보고서’에서 이에 대한 중요성을 강조하고 있다. 그 외 병원 경영(운영)과 관련된 문헌검토를 거쳐 감사기준을 도출한 결과, ‘재정관리’, ‘자원관리’, ‘의약품,환자안전 관리’, ‘정보관리’, ‘시설관리’, ‘의료비관리’ 등 6개 감사기준(AHP 1계층)과 20개 하위 감사기준(AHP 2계층)이 도출되었다. 하위 감사 기준을 살펴보면, 1계층 ‘재정관리’의 2계층은 ‘병원예산관리, 병원회계관리, 병원 재무관리’ 등으로, 1계층 ‘자원관리’의 2계층은 ‘인적자원관리, 물적자원관리’ 등으로, 1계층 ‘의약품, 의료기기 관리’의 2계층은 ‘의약품관리, 의료기기 관리(멸균처리)’ 등으로, 1계층 ‘정보관리’의 2계층은 ‘병원정보관리, 의무기록관리, 진료정보시스템’ 등으로, 1계층 ‘시설관리’의 2계층은 ‘병원건축관리, 병원설비관리’ 등으로, 1계층 ‘의료비관리’의 2계층은 ‘진료비 청구관리, 비급여항목 관리, 의료수가 관리’ 등으로 도출되었다.
셋째, 감사의 우선순위는 1계층에서 ‘의료 질, 환자안전 관리’의 AHP 중요도가 0.451로 산출되어 다른 요소들에 비해 상대적으로 중요성 측면에서 높은 평가를 받은 것으로 나타났다. 그 다음으로 의약품,의료기기 관리 측면 0.194(2순위), 자원관리 측면 0.104(3순위), 정보관리·의료비관리 측면 0.080(4순위), 재정관리 측면 0.061(6순위), 시설관리 측면 0.030(7순위) 순으로 나타났다. 이상의 1계층의 중요도의 가중치를 2계층 중요도에 적용한 결과, AHP 중요도 상위 5순위는 환자안전관리(0.261), 의약품 관리(0.127), 의료효과성(0.090), 인적자원관리(0.085), 의료기기관리(멸균처리)(0.067) 순으로 나타났다. 최종적으로 도출된 우선순위를 살펴보면, 1계층 ‘의료 질·환자안전관리 측면’의 2계층인 환자안전관리가 전체 20개 중 1순위, 의료효과성은 3순위, 의료접근성은 7순위로 도출되었고, 1계층 ‘의약품·의료기기 관리 측면’의 2계층 의약품 관리는 2순위, 의료기기 관리(멸균처리)가 5순위로 도출되었다. 따라서 ‘의료 질·환자안전관리’과 ‘의약품·의료기기 관리’의 감사영역은 감사기준을 선정할 때 중요하게 고려할 수 있는 감사영역이라고 볼 수 있다. 이상의 연구 결과와 국립대병원의 특성을 반영한 감사 접근방법은 다음과 같다.
먼저 국립대병원의 전반적인 업무 적정성과 조직 인력 예산을 검토 목적으로 기관운영감사를 실시하고, 감사 과정에서 심층적으로 접근할 필요성이 있는 감사 사항을 고려하여 차후에 성과감사, 특정감사를 계획·실시하는 것이다. FGI 조사 결과, 성과감사, 특정감사는 의료 질·환자안전 관리, 의약품·의료기기 관리, 의료비 관리, 정보관리 분야에 접근하는 것이 효율적이라는 결과가 도출되었다. 다만 이 분야의 감사 난이도가 높고, 심도 있는 검토가 필요하기 때문에 건강보험심사평가원, 국민건강보험공단 등의 전문 인력의 협조를 받아서 감사를 실시하는 것이 효율적이다.
한편, 국립대병원 감사를 통해 의료 질·환자안전 평가 결과가 미흡한 국립대병원의 취약 원인을 규명하고 대응방안을 제시할 필요가 있는데 이에 대한 제언은 다음과 같다.
첫째, 감사기관은 의료 질·환자안전 감사 시 관련 지표의 측정·평가 결과를 활용하여 감사를 수행할 필요가 있다. 의료 질 평가제도는 요양급여적정성평가(건강보험심사평가원), 의료기관인증평가(의료기관평가인증원), 상급종합병원지정및평가(건강보험심사평가원), 건강검진기관평가(국민건강보험공단), 응급의료기관평가(국립중앙의료원), 연구중심병원지정평가(한국보건산업진흥원) 등이다. 이상의 평가결과를 활용하여 자료 수집 단계부터 감사 프로세스의 효율성을 제고해야 한다.
둘째, 감사기관은 국립대병원의 ‘임상진료지침(clinical practice guideline:CPG)’이나 ‘표준진료지침(critical pathway:CP)’, ‘환자의 알 권리 제도 보장’의 준수 여부를 확인할 필요가 있다. 임상진료지침(CPG)은 의학적 근거에 기초한 특정 임상적 질환과 관련되는 증상, 원인, 시술 등 의료인의 효율적인 임상적 의사결정이 목적이고, 표준진료지침(CP)은 특정 진단 또는 치료가 필요한 환자를 대상으로 질환· 수술별 진료의 순서와 치료의 시점 등을 미리 정해 둠으로써 과잉진료나 과소진료를 방지하는 등 효율적인 의료자원 운용이 목적이다. 또한 국립대병원에서 의료서비스의 안전정보와 효과정보를 환자에게 고지함으로써 ‘환자중심성’ 향상을 유도하는 ‘환자의 알 권리 보장제도’가 원활하게 작동하는지 살펴봐야 한다.
셋째, 감사기관은 국립대병원의 마취로 인한 의료사고의 안전성 확보 여부를 확인할 필요가 있다. 국립대병원은 마취로 인해 의료사고가 발생하지 않도록 마취시술 실태와 마취사고의 원인을 분석하여 이를 예방하기 위한 인력, 시설, 장비 등에 대한 안전 기준을 강화하고 마취 안전성 강화를 위한 진료지침, 사고 예방 가이드 등을 마련해야 한다. 또한 의료인의 교육·훈련 프로그램을 개발·보급하는 등 마취시술의 안전성을 확보할 수 있는 방안이 필요하다.

다국어 초록 (Multilingual Abstract)

The study aims to suggest audit approaches appropriate for Korean national university hospitals. It measured audit performances on national university hospitals conducted by both The Board of Audit and Inspection of Korea and the Ministry of Education of Korea. The main audit focus of foreign audit inspection institutions and international organizations’ major concerns related to medical and health care were also analyzed. By using the audit reports on Korean national university hospitals conducted by The Board of Audit and Inspection of Korea, Ministry of Education, and self-audit institutions of national university hospitals for the past 20 years, the size of requests for correction(feedback) and evaluation on financial
·personnel·administrative audit performances were analyzed. Based on foreign hospitals’ evaluation and measurement methods on ‘quality of health care & patient safety’, the factor that is being emphasized in overseas countries recently, the study searched for audit approaches appropriate for the characteristics of Korean national university hospitals. The main research result of the study is as below.
First, the audit of national university hospitals was conducted 20 times by The Board of Audit and Inspection of Korea(1999∼1919), 8 times by the Ministry of Education(1913~1918), and 509 times by self-audit institutions of national university hospitals(1916∼1918). The audit performance was classified into three categories: financial performance, personnel performance, and administrative performance. In terms of financial performance, through detection and analysis by auditing, The Board of Audit and Inspection of Korea collected ￦1.51bil by making 21 requests for correction, The Ministry of Education collected ￦59.52bil by 116 requests for correction, and The Ministry of Education collected ￦4.23bil by 131 requests for correction. As a result, the Ministry of Education collected the highest amount by auditing financial performance. On the other hand, through the audit of personnel performance, 147 people by The Board of Audit and Inspection of Korea, 234 people by the Ministry of Education, and 1,292 people by self-audit institution of national university hospitals have been required to correct their action. Among the three institutions, the internal institution of the national university hospital provided the most comments.
Second, for the in-depth analysis of ‘quality of health care & patient safety’, 5 audit factors as ‘patient safety’, ‘effectiveness’, ‘access’, ‘patient-centeredness’, and ‘efficiency’ were subclassified as critical standards. The ‘quality of health care’, was considered essential in institutions such as WHO, OECD, and World Bank, and countries as the U.S., and Canada for the audit of hospitals. In Korea, 5 audit factors as ‘patient safety’, ‘effectiveness’, ‘access’, ‘patient-centeredness’, ‘efficiency’ are regarded as key factors when HIRA(Health Insurance Review & Assessment Service) generated ‘Comprehensive Quality Report of National Health Insurance’. Similarly, ‘patient safety’ was also understood as necessary in the audit of institutions as WHO, OECD, and World Bank, and countries as the U.S., and Canada. These entities set standards such as ‘medication safety’, ‘infection control’, ‘surgical safety’, ‘safety of transfusion’, ‘patient falls’ to supervise ‘patient safety’ for audit. In Korea, these points were also highly considered when KIHASA(Korea Institute for Health and Social Affairs) announced the ‘Korea Healthcare Quality Report’.
On top of these considerations, after referring to reports on hospital management(operation), this study derived 6 audit standards(AHP Tier 1) including ‘hospital fund’, ‘resource management’, ‘medication & patient safety’, ‘health record system’, ‘facility management’, and ‘medical expenses management’ and 20 audit standards(AHP Tier 2) as subcategories of tier 1. In detail, the tier 1 group ‘hospital fund’ included tier 2 items as ‘hospital budget management’ ‘hospital accounting management’, and ‘hospital financial management’. Similarly, the tier 1 group ‘resource management’ included tier 2 items as ‘human resources management’ and ‘materials management’. Also, the tier 1 ‘medication & patient safety’ had tier 2 items as ‘drug &medical devices safety(sterile medical aids)’. Finally, tier 1 ‘medical expenses management’ contained tier 2 points as ‘care billing management’, ‘non-payment item management’, and ‘medical fee management’.
Lastly, in terms of audit priority, in tier 1, ‘quality of health care & patient safety’ recorded 0.451 in AHP analysis, ranking the highest compared to the other standards. The results of other standards were as follow(arranged in order of importance): ‘drug & medical device management(0.194)’, ‘recourse management(0.104)’, information management & medical expenses management(0.080)’, financial management(0.061), and facility management(0.030). When weights of tier 1 items were applied to tier 2 items, the top 5 items with the highest AHP result in the tier 2 group were ‘patient safety(0.261)’, ‘drug management(0.127)’, ‘effectiveness(0.090)’, ‘human resource management(0.085)’, and ‘medical device management(sterile medical aids)(0.067)’.
The overall audit priority was ranked as follows. In tier 1 group, ‘quality of health care & patient safety’, ‘patient safety’ was ranked as the 1st, ‘effectiveness’ was the 3rd, and ‘access’ was the 7th. In the other tier 1 group, ‘drug & medical device management’, ‘drug management’ was ranked as the 2nd, and ‘medical device management(sterile medical aids)’ was the 5th. It was shown that the factors such as ‘quality of health care & patient safety’ and ‘drug & medical device management’ were valued when creating audit standards.
As a result, the audit approach reflecting the research result and characteristics of national university hospitals in Korea was derived: It is advisable to conduct an institutional audit to conceive matters that need more in-depth research as a first step, and plan or carry out performance audit or special audit as a next step to check factors such as general operation, human resource management, and budget control of a hospital. According to the FGI research, performance audit and special audit were efficient to approach ‘quality of health care & patient safety’, ‘drug & medical device management’, ‘medical fee management’, and ‘information management’. However, since these items require in-depth review due to their complicated structure, it is wise to collaborate with professional institutions as HIRA or NHIS(National Health Insurance Service) in the audit process. On top of that, it is necessary to provide countermeasures and identify causes of vulnerability of national university hospitals found by audits. Conclusively, here are the suggestions drawn from the results of the study.
First, audit inspection institutions need to fully consider audit standards and audit statistics or evaluations. The evaluation process of quality of health care is being provided by ‘Comprehensive Quality Report of National Health Insurance(HIRA)’, ‘Healthcare Accreditation(KOIHA: Korea Institute for Healthcare Accreditation)’, ‘Designation and Evaluation of Tertiary General Hospitals(HIRA)’, ‘Institution Evaluation of Medical Check-Ups(NHIS)’, ‘Evaluation of Emergency Medical Institutions(NMC: National Medical Center)’, ‘Evaluation of Research-driven Hospitals(KHIDI: Korea Health Industry Development Institute)’, etc. By using these reports, the efficiency of the audit process should be improved from the basic step such as data collection.
Secondly, the auditing institution is required to check whether ‘clinical practice guideline(CPG)’, ‘critical pathway(CP)’ or ‘patients’ right to know’ are being kept properly. The CPG is aimed at medical personnel’s effective clinical decision-making based on analysis of symptoms, causes, procedures for medical treatment. The CP is for efficient resource management to prevent over-or under-treatment by predetermining the order of treatment of each disease or surgery for patients that requires special diagnosis or treatment. The patients’ ‘right to know’ needs to be cared for by delivering patients the information on the safety and effectiveness of the medical procedure to promote patient-centeredness.
Finally, the auditing organizations need to confirm if national university hospitals are ensuring the safety of treatment of anesthesia to prevent any medical malpractices. The national university hospitals have a responsibility to analyze medical treatments and causes of accidents related to anesthesia by enhancing safety standards on employees, facilities, and devices and creating guidelines on anesthesia and medical accidents. It is necessary to find ways to secure the safety of medical treatment of anesthesia by developing and providing training or education programs for medical professionals in national university hospitals.

목차 (Table of Contents)

• 국문요약 ⅸ
• Ⅰ. 서론
• 1. 연구의 배경 및 필요성 1
• 2. 연구 목적 5
• Ⅱ. 이론적 고찰 및 선행연구
• 1. 감사의 개념 6
• 2. 감사 유형별 기능 8
• 3. 외부감사와 자체감사 11
• 4. 감사성과 14
• 4.1. 감사성과 개념 및 영역 14
• 4.2. 감사성과의 분류 15
• 5. 성과감사 접근방법 19
• 5.1. 우리나라 성과감사 접근방법 19
• 5.2. 해외 성과감사 접근방법 22
• 5.3. 해외 감사기구 병원 성과감사 결과 30
• 5.3.1. 미국 감사원(GAO) 성과감사 결과 30
• 5.3.2. 영국 감사원(NAO) 성과감사 결과 37
• 5.3.3. 호주 감사원(ANAO) 성과감사 결과 40
• 6. 국립대학교병원의 기능과 역할 43
• 7. 국립대학교병원의 감사 거버넌스 46
• 8. 의료기관 고유특성 감사지표: 의료 질과 환자안전 48
• 8.1. 의료의 질 관리 감사 49
• 8.2. 환자안전 감사 60
• 9. 선행연구 검토 75
• Ⅲ. 연구방법
• 1. 연구모형 83
• 2. AHP 분석 87
• 2.1. AHP 분석 방법 88
• 2.2. AHP 측정 항목 90
• 2.3. 전문가 선정 102
• 3. FGI 분석 104
• 3.1. FGI 분석 방법 104
• 3.2. FGI 측정 항목 105
• 3.3. 전문가 선정 105
• 4. 연구윤리 107
• Ⅳ. 연구결과
• 1. 감사원의 감사성과 측정 108
• 1.1. 감사원 처분요구 현황 108
• 1.2. 감사원 감사성과 116
• 1.2.1. 감사원 재무조치 실적 116
• 1.2.2. 감사원 신분조치 실적 118
• 1.2.3. 감사원 행정조치 실적 119
• 2. 교육부의 감사성과 측정 121
• 2.1. 교육부 처분요구 현황 121
• 2.2. 교육부 감사성과 133
• 2.2.1. 교육부 재무조치 실적 133
• 2.2.2. 교육부 신분조치 실적 134
• 2.2.3. 교육부 행정조치 실적 135
• 3. 자체감사 성과 측정 136
• 3.1. 자체감사 실시현황 136
• 3.2. 자체감사 성과 139
• 3.2.1. 자체감사 재무조치 실적 140
• 3.2.2. 자체감사 신분조치 실적 142
• 3.2.3. 자체감사 행정조치 실적 144
• 4. 국립대병원 감사결과 이행도 146
• 5. 국내·외 감사결과 비교 149
• 6. AHP 분석을 활용한 중요도 평가 155
• 6.1. 제1계층 요인 중요도 평가 155
• 6.2. 제2계층 요인 중요도 평가 157
• 6.2.1. 재정관리 측면 중요도 평가 157
• 6.2.2. 자원관리 측면 중요도 평가 159
• 6.2.3. 의약품·의료기기 관리 측면 중요도 평가 159
• 6.2.4. 정보관리 측면 중요도 평가 160
• 6.2.5. 시설관리 측면 중요도 평가 162
• 6.2.6. 의료비관리 측면 중요도 평가 163
• 6.2.7. 의료 질·환자안전 관리 측면 중요도 평가 164
• 6.3. 전체 중요도 평가 166
• 7. FGI 조사를 활용한 감사 개선방안 170
• 7.1. 의료 질·환자안전 분야 FGI 결과 170
• 7.2. 의약품·의료기기 관리 분야 FGI 결과 174
• 7.3. 자원관리 분야 FGI 결과 178
• 7.4. 정보관리 분야 FGI 결과 181
• 7.5. 의료비관리 분야 FGI 결과 185
• 7.6. 재정관리 분야 FGI 결과 178
• 7.7. 시설관리 분야 FGI 결과 190
• 8. 국립대병원 감사 접근방법 모형 192
• 8.1. AHP 및 FGI 분석결과 적용 192
• 8.2. 국립대병원 감사접근 방법 194
• Ⅴ. 고찰
• 1. 연구 결과에 대한 고찰 203
• 2. 연구 방법에 대한 고찰 207
• 3. 연구의 제한점 209
• VI. 결론 및 정책 제언
• 1. 결론 211
• 2. 정책 제언 213
• 참고문헌 214
• 부록 1. AHP 설문지 226
• 부록 2. FGI 질문지 242
• 부록 3. 감사성과 세부내용 252
• 부록 4. 연세대학교 생명윤리심의위원회(IRB) 심의면제승인서 287
• ABSTRACT 288

참고문헌 (Reference)

1 강현경, 허성윤, 최정미, 장영호, 이정화, 이명선, 양진영, 신정제, 김영복, 김숙향, 김선, 김동열, 김경선, 궁화수, "감염학", 서울: 군자출판사, 2011

2 의료경영학회, "병원경영개론", 파주: 서원미디어, 2010

3 박지애, 정유선, 이동희, 송기현, "의료정보개론", 서울: 기한재, 2019

4 감사원, "재무감사 매뉴얼", 감사원 내부자료, 2005

5 감사원, "기관운영감사 매뉴얼", 감사원 내부자료, 2005

6 감사원, "자체감사 통합매뉴얼", 감사원 내부자료, 2018

7 감사원, "특정과제감사 매뉴얼", 감사원 내부자료, 2005

8 건강보험심사평가원, "2018년 진료비 주요통계", 2019

9 보건복지부, "2020년 의료 질 평가 계획", 2020

10 감사원, "통합감사실무매뉴얼 2편", 감사원 내부자료, 2011

11 국립중앙의료원, "2018년 공공보건의료 통계집", 2019

12 KAIST 문술미래전략대학원, "대한민국 국가미래전략 2017", 파주: 이콘, 2016

13 감사원, "공공감사에 관한 법률의 이해", 2014

14 보건복지부, "제1차 환자안전종합계획(2018∼2022)", 2018

15 감사원, "2018년 자체감사활동 실지심사 결과", 감사원 2018년 자체감사활동 실지심사 결과, 2020

16 교육부, "2020년도 예산 주요사업비 설명자료", 2019

17 건강보험심사평가원, "2021년도 요양급여 적정성 평가 계획", 2021

18 보건복지부, "2020년～2021년 의료 질 평가 지표 안내", 2021

19 감사원, "의료서비스 관리실태 감사결과보고서", 2015

20 개인정보보호위원회, "인공지능(AI) 개인정보보호 자율점검표", 2021

21 감사원, "2021년도 업무계획-감사실시 및 운영지침", 감사원 내부자료, 2021

22 감사원, "정책 사업의 평가를 위한 성과감사 매뉴얼", 감사원 내부자료, 2005

23 보건복지부, "국립대학교 병원의 기능개편 방안에 관한 연구", 연구용역보고서, 2004

24 교육부, "2020년도 교육부 소관 예산 및 기금운용계획 개요", 2019

25 감사원, "공공의료체계 구축 관리실태 감사결과 처분요구서", 감사원 내부자료, 2015

26 건강보험심사평가원, "2019 의료 질 평가 보고서: 요양급여 적정성 평가 중심", 2020

27 강혜미, 조민우, 이진용, 이재호, 이상일, 이나래, 손우승, 박동아, 김윤, 김선하, "환자안전 확보를 위한 한국형 프로토콜 개발 및 평가", 한국의학 논문데이터베이스 연구결과보고서 1(1), 1-144, 2012

28 한국인터넷진흥원, "우리기업을 위한 EU 일반 개인정보보호법(GDPR) 가이드북", 2018

29 김대은, 황도경, 최지희, 이슬기, 이상영, 여나금, 김지희, "의료급여수급자의 장기입원 실태조사 및 관리방안 연구", 한국보건사회연구원, 2015

30 김은미, 정하소, 오상화, 송요셉, 박소라, 나은영, "다매체 환경에서 청소년의 미디어 활용 방식에 대한 FGI 연구", 언론정보연구. 46(2), 33-65, 2009

31 강희정, 하솔잎, 정희자, 인병로, 이슬기, 이광수, 김소운, 김남순, "한국의료의 질 평가와 정책과제2-한국 의료의 질 보고서 개발", 한국보건사회연구원, 2014

32 한국개발연구원, "예비타당성조사 수행을 위한 일반지침 수정․보완 연구(제5판)", 2008

33 강희정, 홍재석, 하솔잎, 이은주, 박종헌, 김소운, 고제이, "한국 의료 질 보고서- 한국 의료시스템의 성과 평가와 정책과제", 한국보건사회연구원, 2018

34 평가연구원, "감사기대효과금액 산출방법 개선을 위한 평가연구원 Task Force 연구결과 보고", 감사원 감사연구원 내부자료, 2007

35 감사원, "(OECD 감사원 증보판) 바람직한 감사원상과 OECD 국가의 감사원:OECD 국가 감사원 비교 분석", 감사원 내부자료, 2013

36 이상선, "먹는 샘물의 평가지표개발에 관한 연구 : 델파이기법(Delphi)과 계층적 의사결정 방법(AHP)적용", 박사학위논문, 성균관대학교, 2014