지방자치단체 메타평가 제도 정착의 영향요인: 중앙과 지방공무원의 인식을 중심으로

류영아 한국행정학회 2009 韓國行政學報 Vol.43 No.2

본 연구는 우리나라 지방자치단체에 대한 메타평가 제도의 성공적인 도입과 정착에 앞서 메타평가 제도 도입시 고려해야 할 요인들을 점검하는 목적으로 수행되었다. 이를 위해 국내외 메타평가 이론과 제도를 고찰하고 지방자치단체 메타평가에 대한 중앙-지방 평가담당 공무원 간의 인식조사를 실시하여 그 차이를 분석하였고 지방자치단체 메타평가의 바람직한 정립 방안을 모색하였다. 연구 결과, 첫째, 행정안전부와 지방자치단체 평가담당 공무원 간의 상당한 인식 차이가 발견된다는 점에서 상호 인식의 차이를 인정하고 합의와 협력을 바탕으로 메타평가 제도를 도입하는 전략이 필요하다는 점을 알 수 있다. 둘째, 여러 요인 중에서 메타평가 주체 요인이 메타평가 제도 도입에 가장 큰 영향을 미친다는 점에서 ``누가 메타평가할 것인가``를 미리 정한 후 메타평가 제도를 도입하는 전략을 제안할 수 있다. 셋째, 메타평가 목적 요인이 메타평가 제도 도입에 긍정적인 영향을 미친다는 점에서 명확한 목표없이 제도를 미리 도입하지 않도록 주의하는 것이 필요하고, 특히 지방자치단체 공무원의 메타평가수용성과 신뢰성을 높이기 위해서는 ``왜 메타평가할 것인가``에 세심하게 신경을 쓰는 지혜가 필요하다.

지방자치단체 메타평가 시스템 구축 방안

류영아 한국지방행정연구원 2007 한국지방행정연구원 기본연구과제 Vol.2007 No.-

지방자치단체 평가의 질을 향상시키기 위해서는 평가를 평가하는 메타평가가 실시되어야 한다. 이 연구에서는 지방자치단체 평가에 대한 메타평가를 활성화시킬 수 있는 방안을 마련하기 위해 이론적·경험적인 방법으로 분석하였다. 이 연구의 목적은 지방자치단체 평가에 대한 메타평가를 실천적으로 도입하여 우리나라 지방자치단체의 책임행정, 고객중심행정 구현에 기여하고자 하는 것이다. 이 연구의 이론적 측면은 국내외 메타평가 관련 문헌 분석으로 이루어졌다. 즉, 메타평가의 의의, 필요성, 메타평가 모형 등을 고찰하였다. 이론적 검토를 통해 지방자치단체 평가에 대한 메타평가 모형을 구성하였다. 경험적 측면은 국내외 메타평가 관련 제도 분석과 설문조사로 이루어졌다. 즉, 우리나라와 외국의 메타평가 추진 실태 분석, 메타평가에 대한 공무원들의 인식 조사 등을 실시하였다. 앞에서 구성한 메타평가 모형을 실제 적용하면서 향후 바람직한 메타평가 시스템 구축 방안을 모색하였다. 이 연구의 연구 결과를 제시하면 다음과 같다. 첫째, 지방자치단체 평가에 대한 메타평가 활용의 전제 조건을 충족해야 한다. 우선, 지방자치단체 평가에 대한 메타평가 규정이 명문화되어야 한다. 우리나라 메타평가 제도는 2006년에 제정된 정부업무평가기본법에 재평가라고 정의되어 있으나, 지방자치단체 평가에 대한 메타평가 규정은 따로 존재하지 않고 있으므로 이에 대한 점검이 필요하다. 또한, 메타평가를 실시하는 기관의 기관장이 메타평가에 관심을 가져야 한다. 메타평가를 실시하는 데에는 많은 인력과 시간 등이 동원되는데 이러한 자원을 효과적으로 확보하기 위해서는 기관장의 지원과 관심이 필요하다. 메타평가를 성공적으로 실시하기 위해서는 평가기관과 피평가기관 간의 의사소통과 협력이 필요하다. 이를 위해서 양 기관 간의 협력이 이루어질 수 있는 시스템(가칭 ‘메타평가 협력 시스템’)을 구축하는 것이 필요하다. ‘메타평가 협력 시스템’은 메타평가의 목적, 용도, 실시 시기, 내용, 방법 등에 대한 의견 교류의 장 역할을 한다. 둘째, 지방자치단체 평가에 대한 메타평가 인프라를 확보해야 한다. 즉, 평가기관의 전문성을 확보하고 전문가 집단으로 구성된 평가 인력풀(가칭 ‘지방자치단체 메타평가단’)을 구성해야 한다. 평가기관이 직접 메타평가를 수행하지는 않더라도 메타평가에 대한 기본적인 인식과 특징, 한계 등을 인지하여야 평가전문가들이 수행한 메타평가 결과를 보다 심도있게 이해하고 평가 결과를 정책에 반영할 수 있을 것이다. 즉, 메타평가와 관련된 활동을 해석할 수 있는 전문적인 능력을 평가기관이 갖추어야 한다. 또한, 메타평가를 실시하는 평가자들이 평가기관·피평가기관으로부터 독립된 지위를 보장받아서 공정한 평가를 수행할수 있도록 평가 전문가들로 구성된 ‘지방자치단체 메타평가단’을 구성하여 메타평가를 실시하는 방안도 검토할 수 있다. 셋째, 지방자치단체 평가에 대한 ‘메타평가 시스템’을 구축하여야 한다. 이는 지방자치단체 평가에 대한 메타평가가 갖추어야 할 핵심요소로 구성된 것이다. 향후 지방자치단체 평가에 대한 메타평가를 실시할 경우에는 메타평가 목적, 메타평가 주체, 메타평가 대상, 메타평가 내용, 메타평가 방법, 메타평가 결과활용 등을 점검해야 한다. 이 연구는 이론적 측면과 정책적 측면에 의의를 가지고 있다. 이론적 측면에서는 우리나라 지방자치단체 평가에 대한 메타평가와 관련된 국내외 자료를 종합한다는 점에서 중요한 의미를 갖는다. 정책적 측면에서는 향후 지방자치단체평가에 대한 메타평가를 실시할 경우에 실제로 활용할 수 있는 평가 시스템을 구축한다는 시사점이 있다. Metaevaluation evaluates an existing Evaluation. Metaevaluation practices to improve the quality of the Evaluation. This study analyzes data theoretically and empirically for practical use of Metaevaluation of the Evaluation of the Local Governments(ELG). This study is prepared to application for an appropriate Metaevaluation of the ELG in Korea. We do a literature review on metaevaluation-related reports including domestic and foreign studies to build up theoretical framework. We investigate a meaning, necessity, and model of metaevaluation. This metaevaluation model is made up of literature reviews. In addition, we do an empirical review on domestic and foreign metaevaluation system. And questionnaires are administered to central and local government officials in evaluation department. We apply practically metaevaluation model and explore desirable metaevaluation system construction. As a result of this study, we can present some findings. First, preconditions of the practical use of the metaevaluation should be satisfied. Provisions about the metaevaluation of the ELG are necessary. A large number of public official who answered questionnaires want provisions about the metaevaluation. Besides, leader who belongs to evaluating organization should be concerned about metaevaluation. The supports and interests of the leader guarantee evaluation manpower, time, and resources. Especially, interactions and cooperations between evaluating organization and evaluated organization are necessary. Interactions and cooperations between organizations assure that metaevaluation of the ELG goes well. We propose Metaevaluation Cooperation System in which evaluation-related organizations interact. Metaevaluation Cooperation System has many informations about objects, uses, application period, contents, and methods of the metaevaluation of the ELG. Metaevaluation Cooperation System plays a role of interaction place. Second, infrastructures of the metaevaluation of the ELG are necessary. That is, evaluating organization secures a specialty and Metaevaluation Group of the ELG composed of evaluation specialists is needed. Evaluating organization which has capacity to interpret metaevaluation action can execute metaevaluation results to the following policy and evaluation. Besides, metaevaluation evaluators apart from evaluating organization and evaluated organization can accomplish impartial metaevaluation. Metaevaluation evaluators construct Metaevaluation Group of the ELG. Third, we propose Metaevaluation System of the ELG. Metaevaluation System of the ELG is composed of key points which metaevaluation has to possess. The key points of metaevaluation are purpose, subject, target, contents, methods, and practical use of metaevaluation of the ELG. This study has meanings in theoretical and practical sides. In theoretical significance of this study we synthesize domestic and foreign studies about metaevaluation of the ELG. In practical significance of this study we construct Metaevaluation System which we can apply to evaluate the Evaluation of the Local Governments.

학교평가 단계 중심의 메타평가 논리와 준거 탐색

김순남 ( Soon Nam Kim ) 경북대학교 중등교육연구소 2003 중등교육연구 Vol.51 No.1

``학교평가 단계 중심의 학교평가 준거체제 탐색``이라는 본 연구를 통해 30개의 준거체제를 설정하였다. 이 준거체제는 문헌 고찰을 통해 학교평가의 학교평가를 메타평가하기 위해 당위적 측면에서 설정한 것이다. 먼저, 학교평가의 단계를 기획 단계, 자체평가 단계, 방문평가 단계, 결과보고 단계 등으로 설정하였다. 각 단계별로 학교평가의 메타평가 준거를 설정하였다. 첫 단계인 기획 단계의 준거로 열 개의 준거를 설정하였다. 그 준거로는 평가자 양적 충족성, 평가자 전문성, 학교현황 진단의 충분성, 목적 설정의 타당성, 방법 설정의 적절성, 준거의 타당성, 기준 판단 근거의 명확성, 절차의 타당성, 연수 프로그램의 충실성 등이다. 이러한 기획단계의 메타평가 준거는 학교평가를 수행하는 데 필요한 평가 자원 요소와 평가 설계 요소를 포함함으로써 평가 기획 단계를 평가할 수 있는 준거체제로 설정되었다. 일반적으로 학교평가 실제에서 평가 기획이 잘 되어야 다음 단계인 평가 수행이 체계적으로 이루어지므로 평가 기획 단계가 매우 중요하다. 평가 주관 기관에서 평가 기획단계가 끝나면 형성적 기획 단계의 메타평가를 통해 부족한 점을 보완하는데 이 준거가 활용될 수 있을 것이다. 둘째 단계인 자체평가 단계의 준거로 다섯 개를 설정하였다. 그 준거로는 자체평가 지원조성의 적절성, 자체평가 기획의 적절성, 자체평가 참여의 적절성, 자체평가의 정확성, 자체평가 활용의 적절성 등이다. 이러한 자체평가 단계의 메타 평가는 평가 주관 기관의 자체평가 유도 요소와 단위 학교의 자체평가 수행 요소를 포함하고 있어 두 기관의 기능이 적절한지 점검이 이루어질 수 있다. 특히 단위학교의 자체평가에 대한 기획, 운영, 활용에 대한 준거들이 설정되어 단위학교의 자체평가를 활성화시킬 수 있는 준거체제라고 할 수 있다. 셋째 단계인 방문평가 단계의 준거로 일곱 개를 설정하였다. 그 준거로는 서면평가의 적절성, 학교 특성 분석의 충실성, 자료 요구와 출처의 명확성, 자료 수집 방법의 적절성, 평가 수행의 윤리성, 자료 수집의 적절성, 평가의 객관성, 평가의 공정성 등이다. 이러한 준거들은 방문평가의 삼 요소를 과정별로 학교 특성분석, 정보 수집 및 정보 판단으로 나누어 방문 단계의 평가가 얼마나 잘 이루어졌는가를 평가할 수 있도록 설정되었다. 넷째 단계인 결과보고 단계의 준거로 세 개를 설정하였다. 그 준거로는 평가 결과의 신뢰성, 학교간 결과 평정의 공정성, 보고서의 충실성 등이다. 이 준거는 평가 결과 요소와 보고서 요소로 구성되었다. 평가 결과가 신뢰로운 지, 학교간에 공정한 지를 평가하고 대해 보고서를 충실하게 작성하였는지를 평가할 수 있다. 다섯째 단계인 활용 단계의 준거로 네 개를 설정하였다. 그 준거로는 평가 결과의 공개성, 평가결과의 활용성, 학생?교직원에의 영향성, 메타평가 활용의 적절성 등이다. 이는 평가 결과의 활용 요소와 메타평가 요소로 구분하여 평가하도록 하였다. 이렇게 설정된 학교평가 단계 중심의 메타평가 준거체제의 유용성은 첫째, 평가 주체자들이 평가수행의 과정에서 지켜야 할 방향을 제시할 수 있다. 둘째, 각 단계별 평가과정에서 실제로 학교평가를 메타평가 할 수 있는 준거로 이용될 수 있다. 셋째, 평가자체를 평가하는 ``메타평가 수행의 적절성``을 포함하므로 학교평가의 질을 높일 수 있다. 넷째, 학교평가 활용 측면을 메타평가의 한 영역으로 설정함으로써 학교교육의 개선을 도모할 수 있을 것이다. 이런 점에서 본론에서 제시한 PSVRU 메타평가 모형과 준거체제는 유용하게 활용될 수 있을 것이다. 본 연구를 통해 설정된 학교평가의 메타평가 준거체제를 다른 프로그램 평가의 메타평가 준거와 비교해 볼 때, ERS 준거와는 단계별 준거체제라는 점에서 유사점을 찾을 수 있다. 4가지 이념별로 접근한 JC 준거와는 접근 방법상의 차이는 있지만 몇 가지 준거가 공통으로 설정되어 있다. 바로 ``메타평가의 적절성``이바로 그 예라고 할 수 있다. 앞에서 논의된 나머지 프로그램 평가의 메타평가 준거인 AEA 준거, JDRP 준거, OSE 준거, GAO 준거 등은 일부 영역만을 평가의 준거로 삼고 있어 본 연구의 준거와 달리 접근한 준거들이라 할 수 있다. 평가 활동 자체에 대한 평가인 메타평가는 이제 필연적이다. 그럼에도 불구하고 한국에서 아직 메타평가에 대한 논의는 실천적으로 시행되지 않고 있다. 이런 점에서 본 연구는 메타평가에 대한 활성화 작업이란 측면과 메타평가 준거의 탐색적 연구라는 측면에 그 의의가 있다고 하겠다. The purpose of this study is to establish the meta-evaluation criteria system for school evaluation. A literary study were preformed for the study. The model PSVRU as a school-evaluating model was chosen for establishing the criteria by steps. The meta-evaluation model PSVRU is consists of such evaluation-steps as planning step, self-evaluation step, visiting-evaluation step, reporting-result step and utility-evaluation step. In the school evaluating planning step, there are 10 criteria such as the sufficiency of evaluator group, the professionalism of evaluator, the sufficiency of finance, the sufficiency of school examination, the validity of purpose, the validity of evaluation standards, the clearness of judging the evaluation standards, the validity of establishing evaluation method, the validity of establishing procedure and the utility of evaluation program. The self-evaluating step which consists of 5 criteria includes the appropriateness of supporting the self-evaluation, the appropriateness of self-evaluating planning, the participation of teachers, the accuracy of self-evaluation and the utility of the result of self- evaluation. The visiting-evaluating step have 8 criteria: the relevance of paper-evaluation, the truthfulness of analysing school situation, the clearness of information collect and resource, the relevance of evaluation-practicing method, the ethics of evaluation practice, the sufficiency of collecting information, the objectivity of evaluation practice and the impartialism of information judgement. The step of reporting result are the relevance of evaluation results, the impartialism of evaluation results rating, and the sufficiency of evaluation report. In the utilization step, there are the openness of evaluation result, the utilization of evaluation result, the effect of evaluation result and the property of meta-evaluation.(Kyungpook National Univ.)

공공기관평가에 대한 메타평가 모형 개발

김병철(Kim Byung Cheol) 한국정책개발학회 2011 정책개발연구 Vol.11 No.2

2006년 이래 '정부업무평가 기본법'에 의거, '공공기관 평가제도'가 법제화돼 매년 실시됨에 따라 이 평가제도가 당초의 취지와 같이 효과적으로 운영되고 있는지에 관한 의문이 제기되고 있다. 따라서 평가시스템 자체의 가치와장단점을 평가하는 평가, 즉 메타평가(metaevaluation)에 관한 관심 역시증가하고 있고, 특히 메타평가 모형 개발에 대한 요구가 점증하고 있다. 이런 점에 착안하여 본 연구는 공공기관 중 기타공공기관에 속하는 경제ㆍ인문사회연구회 소관 연구기관 평가를 중심으로 공공기관평가에 대한 메타평가모형을 개발하기 위해 실시되었다. 국내외 선행연구를 종합 분석하여, 메타평가 논리모형과 구성요소를 설계한 후 그 적합성 검증을 거쳐 메타평가 모형을확정하였다. 확정된 메타평가 모형은 평가환경ㆍ평가투입ㆍ평가수행ㆍ평가활용의 4개 평가영역 아래 13개 평가항목과 29개 평가지표 등의 하위구성요소로이루어져 있다. 본 연구의 결과는 연구기관뿐 아니라 공기업이나 준정부기관 등의 공공기관, 지방자치단체나 중앙행정기관을 대상으로 실시되고 있는 다양한 평가제도들에 대한 메타평가 모형을 개발하는데 유용한 시사점을 제공할 수 있으리라 본다. Public institutions' evaluation system has been legalized according to the law of 'Framework act on the evaluation of government's task' in 2006 and the effectiveness of the system is being questioned today. So, there is a growing demand in metaevaluation which evaluates the worth and the merits of evaluation system itself, especially, in designing of metaevaluation model. This study is projected to develop the model of metaevaluation for public institutions' evaluation system. Particularly, focuses on the design of metaevaluation model over the National Research Council for Economics, Humanities and Social Sciences(NRCS)'s evaluation system on the affiliated research institutes. The research was carried out with the analysis of precedent studies, designing of metaevaluaton logic model and components, verifying the suitability of the model. Confirmed metaevaluation model consists of 13 evaluation items and 29 evaluation indicators under 4 evaluation domains which are environment, input, process, and utilization. The results of this study will provide implications for researchers to develop metaevaluation model over several evaluation systems for research institutes, non-classified public institutions, public institutions, local governments, central administrative agencies, and etc.

공공기관 경영평가 지표체계에 대한 형성적 메타평가

곽채기(Kwack, Chae Gi),박현식(Park, Hyun Sik) 동국대학교 사회과학연구원 2021 사회과학연구 Vol.28 No.4

공공기관 경영평가제도는 공기업과 준정부기관의 공공성 확보 및 경영효율성을 제고하고, 대국민서비스를 개선하는 것을 목적으로 실시되고 있다. 그러나 경영평가제도의 타당성과 공정성 및 효과성에 대한 비판이 지속적으로 제기되고 있다. 공공기관 경영평가제도에 대한 이러한 비판은 경영평가지표체계에 기인한 바가 크다. 따라서 본 연구는 공공기관 경영평가지표체계의 적합성을 메타평가의 분석 틀에 기초하여 평가해 보고자 한다. 이를 위해 평가모델, 평가지표 구성체계, 가중치 배분체계의 3개 영역 13개 지표를 통하여 2021년도 공공기관 경영평가지표에 대한 메타평가를 실시하였다. 공공기관 경영평가의 지표체계는 평가의 유형, 평가범주, 가중치나 평가방법 등에 있어서 꾸준히 변화·발전되어 왔으나, 아직도 세부 요소에서는 문제가 발견되고 있다. 기관유형·평가유형 분류에 있어서 기관의 경영환경 등 개별적 특성이 충분히 반영되지 못하고 있으며, 기업성과 공공성의 반영 비중이 적절하지 못하다. 평가모델에 근거하여 지표가 설정된 것이 아니어서 평가지표 구성의 타당성이나 대표성이 부족하다는 문제도 지적된다. 지표체계의 문제는 평가지표별 가중치의 적절성을 저해하는 요소로 작용하기도 한다. 평가의 객관성과 성과의 다양한 측면을 반영하려다보니 지표의 명확성이나 측정의 용이성이 저해되는 문제도 발견된다. 공공기관 경영평가의 목적인 공공성 및 경영효율성을 높이기 위해서는 기관의 특성을 적절히 반영하면서도 표준화된 지표개발이 이루어질 필요가 있다. The management evaluation system of public institutions aims at improving publicity as well as management efficiency and public service by solving the problem of accountability and management inefficiency in public enterprises and in quasi-governmental organizations. The management evaluation system of public institutions has contributed to establishing a responsible management system, improving management rationalization and transparency, and inducing continuous management innovation for public institutions. However, there are also problems with the efficiency, effectiveness, validity, and fairness of the system. This study is to evaluate the feasibility and appropriateness of the management evaluation system of public institutions. In order to attain this goal, I have conducted a meta-evaluation of the evaluation indicator system, which is a framework for measuring the results of management activities. The meta-evaluation of the 2019 public institution management evaluation indicator was conducted through 13 indicators in three areas: the evaluation model, the evaluation index composition system, and the weight composition system. The indicator system of management evaluation of public institutions has been steadily changed and developed in the type of evaluation, evaluation category, weight and evaluation method. However, there are problems still found in many details. For example, it has not sufficiently reflected in the classification of institution type and evaluation type, individual characteristics such as the management environment of the institution. Neither the proportion of reflection of corporate performance and publicity seems to be appropriate, nor are the validity and representativeness of the evaluation indicator composition sufficient. Moreover the weights for each evaluation indicator are not appropriate, the clarity of the index is low, and measurement is not easy. In order to increase the publicity and management efficiency, which is the purpose of management evaluation of public institutions, it is necessary to develop standardized indicators while appropriately reflecting the characteristics of the institution.

자원봉사센터평가에 대한 메타평가 모형 개발 및 적용

이란희 ( Ranny Lee ) 한양대학교 제3섹터연구소 2011 시민사회와 NGO Vol.9 No.2

이 글은 자원봉사센터평가에 대한 메타평가 모형을 개발하고 이를 서울시 소재 25개 자치구 자원봉사센터평가에 적용하여 자원봉사센터평가에 대한 종합적 분석 및 평가에 목적이 있다. 연구결과, 이론적·정책적 측면에서 5가지의 함의를 제시할 수 있다. 첫째, 자원봉사센터 평가의 본질이 무엇인지를 고민하면서, 메타평가 모형을 구축했다는 점이다. 둘째, 자원봉사센터평가에 대한 메타평가 모형이 향후 자원봉사센터 평가시스템에 활용되어 자원봉사센터의 발전을 위해 일정부분 기여할 수 있을 것이라는 점이다. 셋째, 메타평가 연구의 확장을 들 수 있다. 그간의 메타평가 연구는 교육분야, 환경평가분야 등에서 발견되고 있으나, 자원봉사분야에 대한 메타평가 연구는 존재하지 않았다. 이는 자원봉사센터 평가에 대한 메타평가 또한 현재로서는 존재하지 않음을 의미하며, 국내는 물론 해외에서도 자원봉사센터 평가에 대한 메타평가가 이루어지지 않았음을 의미한다. 넷째, 메타평가 연구의 방법론에 있어서 평가의 방향성에 대한 새로운 시도와 함께 평가의 단계를 확장하였다는 점에서 의미가 있을 것이다. 마지막으로, 평가등급 배점의 새로운 시도가 후속 연구에 활용될 수 있을 것이다. This study is to develop a meta-evaluation model and then apply it to the assessment of Volunteer Centers where 25 Autonomous Districts (what we call "Gu") in Seoul currently operate. As a result of the survey I found out that the average value in all autonomous districts is 3.14 (among 5 full marks) with 0.20 of its gravity (weight). When this data is converted to 100-point system, the score is 62.8, which is a ``Good`` level. With regard to the analysis of value difference (t-Test) between the groups, I found out there is a significant difference with p<.05 between some in evaluation dimensions and categories. But I realized that there is no significant difference between the groups participated. As for yearly analysis (ANOVA), even though there is a small difference between the years, it is very tiny enough for us to disregard it. In conclusion, this study provides 5 meaningful suggestions to us. First, as I worked on the nature of assessment on Volunteer Centers, we have taken a propound interest in internal characteristics of organization for meta-evaluation. Second, as I hope this meta evaluation model on the assessment of Volunteer Centers is in practical use of evaluation system for Volunteer Centers in the near future. I believe this study will play a part in the development of Volunteer Centers. Third, suggestion is to expand the study of meta-evaluation. That is to say previous research was done on education realm, assessment of technical impact field or environmental assessment only until now, but this meta evaluation in volunteer fields, not to mention volunteer Center sections is the first study that has been done at home and abroad. Fourth, we made an attempt to show a direction to meta evaluation and tried to enlarge the phases. Finally, it is a score distribution system that is upgraded, compared which previous system. As I mentioned early, we strictly exclude generosity of assessment.

메타 평가 모형 개발에 대한 시론적 논의

정홍상(Hong Sang ]eong),하혜수(Hyue Su Ha),김부철(Bu Cheol Kim) 한국정부학회 2013 한국행정논집 Vol.25 No.2

평가가 제대로 된 평가인지를 살펴보는 것이 메타 평가이다. 그간 행정학 분야에서 평가를 평가하는 메타평가에 대한 연구는 활발히 진행되어 왔다. 그러나 지금까지의 메타 평가 연구는 특정의 정책,사업,제도내지는 기관의 평가를 평가하기 위한 특화된 메타 평가 모형 설계에 초점을 맞추고 있어 결과적으로 이들 구가 제시하는 메타 평가 모형은 또 다른 정책 사업 제도 내지는 기관의 평가를 평가하는 분석틀로 기능하는데 다소의 한계점을 노정시키고 있다. 본 연구는 그간 행정학 분야에서 발표된 국내 메타 평가 연구 중 체제론적 관점에서 메타 평가 모형을 구성한 총 22편의 연구가 설정하고 있는 메타 평가 지표에 대한 의미 분석을 통해 적용에 보편성을 담보할 수 있는 메타 평가 모형을 정립하여 이를 제시한다. Evaluating evaluations is named meta evaluation. Many meta evaluation models have been suggested by the related studies in the field of public administration. Yet these studies have focused on developing models for evaluating particular program, policy, institution, or pubic institute evaluations, so that there are some limitations in utilizing their models for evaluating evaluations of other programs, polices, institutions, or public institutes. This study is a critical analysis of meta evaluation literature. Analyzing the existing twenty two meta evaluation models from the standpoint of system theory , this study proposes a tentative meta evaluation model through which it is possible to evaluate all kinds of evaluations.

공적개발원조(ODA) 사업 자체평가에 대한 메타평가 연구

윤수재 ( Yoon Sujae ),조태준 ( Cho Taejun ) 한국거버넌스학회 2017 한국거버넌스학회보 Vol.24 No.2

본 연구는 ODA 사업의 자체평가에 대한 메타평가지표를 개발하고, 실제 메타평가를 통해 ODA 사업의 개선을 위한 효율적인 방안을 제시하는데 목적을 두고 있다. 메타평가에 대한 문헌연구를 바탕으로, 본 연구는 우리나라 ODA 사업의 메타평가지표를 개발한 후에 ODA 자체평가보고서들을 대상으로 평가투입·평가과정·평가결과·평가활용에 대한 메타평가를 실시하였다. 즉 2013년에 실시된 개별 ODA 사업에 대한 자체평가보고서 27개를 분석대상으로 선정하여 메타평가를 진행하였다. 평가결과, 본 연구는 ODA 사업에 대한 효율성 측정방안 개발, 성과모니터링 시스템의 구축, 평가전문가의 활용, 그리고 메타평가지표의 개발 등을 개선방안으로 제시하였다. This study has two objectives, including developing the items to measuring ODA`s self-evaluation in using meta-evaluation and suggesting some alternatives improving ODA activities. Based on the literature in the fields of ODA, meta-evaluation, and self-evaluation, this study develops some measurement items for the purpose of conducting meta-evaluation. In addition, this study conducts meta-evaluation to examines 27 ODA reports in using the self-evaluation. Conducting the evaluation, this study suggests some alternatives, including the development of performance monitoring system, evaluation experts, meta-evaluation items, and measure instruments for efficiency in the field of ODA.

Developing an Urban Safety Assessment Framework Using Sustainable Urban Metabolism

Yong Un Ban,Jong In Baek,Yu Mi Kim 위기관리 이론과 실천 2018 Crisisonomy Vol.14 No.5

본 연구의 목적은 도시안전문제를 순환적이고 통합적으로 분석할 수 있는 지속가능 도시메타볼리즘 패러다임을 개발하고, 개발된 지속가능한 도시메타볼리즘 패러다임을 이용한 도시안전성 평가 프레 임워크를 개발하는 것이다. 이를 위해 본 연구는 도시안전성, 도시안전성 평가, 지속가능한 발전, 도시메타볼리즘 관련 연구를 고찰하였다. 선행연구를 고찰한 결과 본 연구는 지속가능한 도시메타 볼리즘 패러다임을 도출하였고, 도시안전성 평가 프레임워크 개발을 위한 5가지의 원칙을 제시하였 고, 제시된 원칙에 근거하여 지속가능한 도시메타볼리즘을 활용한 도시안전성 평가 프레임워크를 개발하였다. 개발된 도시안전성 평가 프레임워크는 크게 지속가능한 도시메타볼리즘과 도시안전성 의 두 기둥으로 구성되어 있다. 첫 번째 기둥인 지속가능한 도시메타볼리즘은 사회경제시스템과 환경시스템의 두 가지 범주로 구성된 반면, 두 번째 기둥인 환경시스템은 자연재해, 건강, 범죄, 환경 오염, 안전사고 등의 다섯 가지 범주로 구성되었다. 각각의 범주는 구체적인 구성요소들로 구성되었 다. 이들 구성요소들은 향후 도시의 닫힌 계 내에서 도시안전성을 평가하는 과정에서 각각의 요소 간에 인과관계를 파악하는데 사용될 것이다. 본 연구는 도시 안전성 평가 분야에서 지속가능한 도시 메타볼리즘을 활용한 첫 사례가 될 것이다. This study intends to develop a sustainable urban metabolism paradigm which can be used to analyze urban safety problems in the circular and integrated manner and use the paradigm to design an urban safety assessment framework. To reach this goal, this study reviewed previous research related to urban safety, urban safety assessment, sustainable development, and urban metabolism. Based on the literature review, this study derived the paradigm of sustainable urban metabolism, suggested five principles to design the urban safety assessment framework, and used the paradigm to assess urban safety. The framework was composed of two pillars such as sustainable urban metabolism and urban safety. This study would be the first to assess the urban safety using the paradigm of sustainable urban metabolism.

중앙부처 자체평가에 대한 메타평가 연구

안채명(安採明),강근복(康根福) 한국정부학회 2018 한국행정논집 Vol.30 No.1

왜 중앙부처의 자체평가는 부실하게 이루어지고 있는가? 「정부업무평가기본법」에서는 국무조정실이 각 중앙부처의 자체평가결과가 부실할 경우 재평가 규정을 두고 있지만 e-IPSES(통합정부평가시스템)상의 확인 · 점검 위주여서 실효성이 없다. 왜 부실한지 실제적인 자체평가 제도나 운용상 분석을 통해 그 원인을 밝히고 발전방안을 도출하기 위하여 자체평가에 대한 메타평가 평가항목과 평가요소들을 설계하고 2016년도 (구)행정자치부와 국민안전처의 주요 정책부문에 대한 자체평가를 대상으로 적용 · 분석하였다. 분석결과, 자체평가에 대한 ‘평가환경’, ‘평가투입’, ‘평가수행’, ‘평가결과’, ‘평가활용 및 환류’를 포함하는 전체적인 평가시스템에 대한 평가를 통해 자체평가를 저해하는 요인들을 발견할 수 있었다. 이에 중앙부처의 자체평가를 저해하는 요인에 대한 평가의 질을 제고하고 제도개선 및 발전방안을 마련하는 등 정책적 함의를 도출할 수 있었다. 주요 개선 및 발전방안으로는 첫째, ‘평가환경’에서 3~5년 동안 예산이 투입되는 중요정책에 대한 심층분석을 위한 평가가 필요하고, 평가부담을 경감시키기 위한 통합평가가 내부에서 요청된다. 둘째, ‘평가투입’에서 기획재정부는 심층분석이 가능하도록 평가예산를 확보하고, 인사혁신처는 평가 전문교육과정 확대할 필요가 있다. 셋째, ‘평가수행’에서 국무조정실은 평가지침 및 계획수립 및 통보를 3월말이 아닌 1~2월로 앞당겨서 평가계획을 내실있게 마련할 수 있도록 해야 한다. 넷째, ‘평가결과’에서 국무조정실은 각 중앙부처의 보고서가 골고루 질적으로 향상되고 유용성을 증대시킬 수 있도록 전체 평가시스템에 대한 메타평가를 실시해야 한다. 마지막으로 ‘평가활용 및 환류’에서 인사 · 성과뿐만 아니라 예산과 조직분야에 대하여도 평가결과 활용이 활성화되어야 하며, 결과공개도 요약서가 아닌 환류가 가능한 결과보고서를 공개할 필요가 있다.