연구비관리 인증평가에 대한 메타평가 모형의 설계 및 적용 = The Design and Application of Meta-evaluation Model for R&D Funds Management Certification

국문 초록 (Abstract)

그 동안 일부 대학 및 출연연구기관 인증 평가 담당자들은 2007년도에 본격 도입되어 실시되고 있는 연구비관리 우수기관 인증평가가 평가절차, 평가기준, 평가지표, 평가위원 등에 문제가 있다는 지적을 하였고, 평가수행기관(KISTEP) 및 정부에서는 이를 개선하기 위해 노력하였다. 그러나 인증평가의 평가툴 자체에 대해서는 심도 있는 연구가 이루어지지 않았다.
이에 본 연구는 연구비관리 우수기관 인증평가에 대한 종합적인 분석·평가를 통해 현재 인증평가가 어떻게 이루어지고 있으며, 이러한 평가과정에서 나타난 문제점은 무엇이고, 그 문제점을 개선하는 방안이 없는지 살펴보고자 하였다. 이를 위한 분석방법으로 인증평가에 대한 메타평가 모형을 설계하고 설계된 메타평가 모형을 인증평가에 적용하여 분석하여, 인증평가시스템에 대한 종합적인 진단을 통해 바람직한 인증평가시스템을 만들고자 하였다.
본 연구의 내용과 연구결과를 요약하면 다음과 같다.
첫째, 연구비관리 우수기관 인증평가시스템 개선을 위한 인증평가에 대한 메타평가 모형을 설계하였다.
본 연구에서는 우선 메타평가와 정책평가에 대한 기존연구들을 검토하여 인증평가에 적합한 개념을 설정하고 인증평가에 대한 메타평가를 위하여 선행연구에서 사용한 평가요소, 평가항목, 평가지표를 고려하여 메타모형을 설계하였다. 체제론적 입장에서 볼 때 공공정책의 메타평가는 일정한 환경 하에 투입, 전환, 산출을 통해 활용에 이르는 순환과정을 거치게 된다. 이러한 인식하에 인증평가를 평가환경(evaluation environment) 하에서 평가투입(evaluation input), 평가수행(evaluation process), 평가결과(evaluation output), 평가활용(evaluation utilization) 5단계의 순환과정으로 파악하고, 주요 구성요소의 머리글자를 따 인증평가에 대한 메타평가 모형을 “EIPOU 모델”이라고 명칭을 붙었다.
둘째, 인증평가의 메타평가를 하기 위해 평가지표 개발을 하였다.
평가지표 개발은 국내·외 선행연구를 분석하여 각각의 연구에서 사용되어진 평가항목 및 평가지표들을 메타평가의 5개 구성요소에 따라 분류하였으며, 전문가 자문을 통해 인증평가의 특성에 공통적으로 적용 할 수 있는 측면을 고려하여 평가의 전 과정에 필요한 5개의 구성요소와 12개의 평가항목 및 48개의 평가지표(안)을 개발하였다.
이론적 논의 및 전문가 자문을 통해 설정한 메타평가 모형 및 평가지표에 대한 타당성 검증을 위해 전문가 설문을 실시하였다. 설문은 12명의 인증평가전문가와 1명의 메타평가 전문가를 대상으로 실시하였으며, 모두 중앙값(3.0)보다 높게 평가되어 타당성이 입증되었다.
다음으로 타당성이 입증된 평가지표에 대하여 2011년과 2012년 인증 평가위원으로 참여한 37명에 대하여 신뢰도 검증을 실시하였다. 총 31명의 설문 답변 결과 Cronbach’s α값이 평가항목 및 평가요소에서 .60이상 이었으며, 전체적으로 .933으로 신뢰도가 높은 것으로 나타났다.
또한 본 연구에서는 평가항목의 객관성과 중요도를 분석하여 반영하기 위해 평가요소와 평가항목에 대한 가중치를 산정하였다. 가중치 산정은 AHP기법을 사용하여 분석한 결과를 적용하였고, 분석결과 일관성 지수는 0.1이하로 나타나 조사자의 일관성은 있는 것으로 분석되었다.
셋째, 최종 확정된 메타평가 모형을 적용하여 인증평가에 대한 메타평가 및 실증분석을 하였다.
그 동안 인증 평가위원으로 참여한 전문가 85명과 피 평가기관 인증담당부서장 및 부서원 30명을 대상으로 설문을 실시하였고, 총 65개의 설문지를 분석하였다.
메타평가 결과, 종합적으로 100점 만점 중 82.55로 나타나 ‘우수’한 것으로 입증되었다. 평가요소별로는 평가결과요소(84.48)가 ‘매우우수’로 가장 높은 평가를 받았으며, 그 외 평가환경요소(83.42), 평가투입요소(80.11), 평가수행요소(82.76), 평가활용요소(82.00)도 80점 이상으로 ‘우수’로 평가되었다.
또한, 평가집단과 피 평가집단 간 차이분석 결과(t-test), 평가요소에서는 차이가 없는 것으로 나타났고, 평가항목 중에서는 ‘평가자료의 충실성’에서 유의수준 p<.05에서 차이가 있는 것으로 나타났다.
평가집단내에서 전문기관, 출연연구기관, 대학 간 차이를 분석할 결과(one-way ANOVA), 평가요소 중에서는 평가결과요소에서 유의수준 p<.05에서 차이가 나타났고, 평가항목 중에서는 평가과정의 적절성, 평가보고서의 충실성, 평가결과의 공개성에서 유의수준 p<.05에서 차이를 나타냈다.
한편, 본 연구는 최초로 인증평가에 대한 메타평가 모형을 설계하고 적용하였다는 점, 인증평가 특성을 반영하여 메타평가 지표를 개발하였다는 점과 본 연구는 사업평가나 기관평가에 대한 메타평가가 아닌 다른 영역에 속하는 내용에 대하여 메타평가를 수행 했다는 점에서 타 메타평가와 차별성에서 큰 의의를 찾을 수 있다.
향후 본 연구가 인증평가와 유사한 평가시스템을 구축하고 운영하는데 하나의 모델이 되었으면 한다.

주요어 : 연구비관리 인증시스템, 연구비관리 인증평가, 메타평가, 인증평가

다국어 초록 (Multilingual Abstract)

Since 2007, R&D Fund Management Certification System for Excellent Institution has been implemented and evaluators from universities and government-funded research institutes have pointed out that this system has some problems in terms of evaluation such as evaluation procedures, criteria, indicators, and evaluators. Accordingly, KISTEP, assessment executive institution, and Korean government have tried to improve evaluation system. There is no discussion on evaluation tool for certification, however.

In this regard, the aim of this study was to analyze and evaluate R&D Fund Management Certification System for Excellent Institution comprehensively. Overall procedures of evaluation were discussed to find out problems and to suggest solutions. To establish desirable evaluation system for certification, this study designed a metaevaluation model and applied it to assess current system .

The contents and results of this research were as follows:

First, this research designed a metaevaluation model. Based on the literature review about policy evaluation and metaevaluation, a metaevaluation model was designed. In the process of designing, evaluation components, items, and indicators were taken into account. In a systematic point of view, metaevaluation on the public policy shows a circulation of inputs, processes, outputs under the constant circumstances. Based on this perspective, this study considered certification evaluation as a circulation process of input, process, output, and utilization under the environment. Initials of these 5 phases formed the word EIPOU, which was the name of a metaevaluation model on this study.

Second, this research developed evaluation indicators. According to 5 components of an EIPOU model, this study sorted out evaluation items and indicators extracted from the literature review. The first draft was reviewed by evaluation experts and some items and indicators suitable for applying certification evaluation were chosen. Finally, the final draft which was made up of 5 evaluation components, 12 evaluation items and 48 evaluation indicators was developed.

In order to verify the validity of the model, experts survey was conducted by 12 certification evaluation experts and one metaevaluation expert. As a result, mean values of all evaluation indicators appeared higher than median(3.0) and therefore the validity of this model was proved.

With indicators that the validity was proved, the reliability of the EIPOU model was examined by experts who attended certification evaluation in 2011 and 2012. 31 of 37 the experts who were requested a response to the survey answered and the reliability was high. Cronbach's alpha was over .60 in evaluation components and items, and the overall reliability was .933.

Also, to reflect importance of the evaluation components items, this study calculated the weight values by means of AHP analysis. The survey of 13 evaluators showed that the consistency ratio was less than or equal to 0.1.

Third, given the guaranteed adequacy of this research's metaevaluation model, this research applied the model to test the current certification evaluation system. The survey was requested to 85 evaluation experts who participated in the certification evaluation and 30 managers and members of evaluated institutions. There were 65 responses that were used to analyze. As a result of metaevaluation, certification evaluation system was evaluated 'good' in overall with 82.55 out of 100 points. Regarding the scores of each evaluation component, evaluation output(84.48) got the highest score and was evaluated 'very good'. Evaluation environment(83.42), evaluation input(80.11), evaluation process(82.76), and evaluation utilization(82.00) got higher than 80 points and were evaluated 'good' respectively.

T-test analysis showed that there was no difference between evaluator groups and evaluated groups with regard to evaluation components. Among evaluation items, 'fidelity of evaluation materials' showed significant differences between the two groups at 5% significance level(p< .05).

One-way ANOVA analysis was conducted to test differences among professional institutions, government-funded research institutes, and universities. It turned out that 'evaluation output' in evaluation components, 'relevance of evaluation process', 'fidelity of evaluation report', 'publicity of evaluation output' in evaluation items showed significant differences among groups at 5% significance level(p< .05).

The implications of this study were as follows.

First, this study designed a metaevalution model and applied it to certification evaluation for the first time. Second, the characteristics of certification evaluation was considered when metaevaluation indicators were developed. Third, this study broadened the application range of metaevaluation beyond the fields of program or institution evaluation by applying the metaevaluation to certification evaluation.

The researcher hopes that findings and implications of this study pave the way for future researches and practices as a role model to establish and operate the evaluation system similar to certification evaluation.

Key words :
R&D Fund Management Certification System, R&D Fund Management Certification Evaluation, Metaevaluation, Certification Evaluation

목차 (Table of Contents)

• 목 차
• 제1장 서론 1
• 제1절 연구의 배경과 목적 1
• 제2절 연구의 범위 및 방법 4
• 1. 연구의 범위 4
• 2. 연구의 방법 4
• 제2장 연구비관리 우수기관 평가 체계에 대한 검토 7
• 제1절 연구비관리 우수기관 평가제도 7
• 1. 인증평가도입배경 및 법적근거 7
• 2. 평가절차 및 방법 10
• 3. 인센티브 및 연구비관리체계 점검 12
• 제2절 연구비관리 우수기관 평가제도 변천 14
• 1. 연구비관리 우수기관 평가제도 변천 14
• 2. 연구비관리 우수기관 평가제도의 문제점 17
• 제3절 연구비관리 우수기관 평가제도에 대한 선행연구 19
• 제3장 메타평가 모형에 관한 이론적 검토 20
• 제1절 메타평가의 의의 20
• 1. 메타평가의 개념 20
• 2. 인증평가에 대한 메타평가의 의의 31
• 제2절 메타평가 구성요소에 대한 선행 연구 38
• 1. 국외학자들의 메타평가 구성요소 38
• 2. 국내학자들의 메타평가 구성요소 47
• 3. 메타평가 선행 연구결과 종합 56
• 제4장 연구분석 틀 및 연구방법 64
• 제1절 연구의 분석틀 64
• 제2절 메타평가 방법 65
• 1. 메타평가 모형 설계 65
• 2. 메타평가 분석방법 비교 66
• 3. 인증평가의 메타평가 방법 68
• 제5장 인증평가에 대한 메타평가 모형 설계 72
• 제1절 문헌연구 72
• 1. 메타평가 논리모형 설계 72
• 2. 메타평가 논리모형의 구성요소와 평가항목 74
• 3. 인증평가의 메타평가 지표 개발 79
• 4. 본 연구의 메타평가 모형의 특징 91
• 제2절 전문가 면접 및 설문조사 94
• 1. 메타평가 지표의 타당성 검증 94
• 2. 메타평가 지표의 신뢰성 검증 99
• 3. 메타평가 항목별 가중치 산정 103
• 제6장 인증평가에 대한 메타평가 모형의 적용 109
• 제1절 설문조사 결과 109
• 1. 설문조사 개요 109
• 2. 설문조사 결과 요약 110
• 제2절 평가요소별 메타평가 모형의 적용 결과 111
• 1. 평가환경요소 111
• 2. 평가투입요소 115
• 3. 평가수행요소 121
• 4. 평가결과요소 126
• 5. 평가활용요소 129
• 제3절 차이분석 결과 132
• 1. 평가집단과 피 평가집단 간 차이분석 132
• 2. 평가집단내 차이분석 134
• 제7장 결론 및 향후 연구방향 137
• 제1절 연구결과의 요약 137
• 제2절 연구결과의 의의 및 시사점 139
• 제3절 연구의 한계 및 향후 과제 141
• 참고문헌 142
• 부록 148
• 【부록 1】 EIPOU 메타평가 모형과 선행연구 평가항목 비교 148
• 【부록 2】 메타평가 지표 선정을 위한 설문지 155
• 【부록 3】 인증평가 지표의 신뢰도 검증을 위한 설문지 163
• 【부록 4】 메타평가지표의 가중치 산정을 위한 설문지 168
• 【부록 5】 인증평가에 대한 메타평가를 위한 설문지 173
• Abstract 178