공공기관평가에 대한 메타평가 모형 개발

김병철(Kim Byung Cheol) 한국정책개발학회 2011 정책개발연구 Vol.11 No.2

2006년 이래 '정부업무평가 기본법'에 의거, '공공기관 평가제도'가 법제화돼 매년 실시됨에 따라 이 평가제도가 당초의 취지와 같이 효과적으로 운영되고 있는지에 관한 의문이 제기되고 있다. 따라서 평가시스템 자체의 가치와장단점을 평가하는 평가, 즉 메타평가(metaevaluation)에 관한 관심 역시증가하고 있고, 특히 메타평가 모형 개발에 대한 요구가 점증하고 있다. 이런 점에 착안하여 본 연구는 공공기관 중 기타공공기관에 속하는 경제ㆍ인문사회연구회 소관 연구기관 평가를 중심으로 공공기관평가에 대한 메타평가모형을 개발하기 위해 실시되었다. 국내외 선행연구를 종합 분석하여, 메타평가 논리모형과 구성요소를 설계한 후 그 적합성 검증을 거쳐 메타평가 모형을확정하였다. 확정된 메타평가 모형은 평가환경ㆍ평가투입ㆍ평가수행ㆍ평가활용의 4개 평가영역 아래 13개 평가항목과 29개 평가지표 등의 하위구성요소로이루어져 있다. 본 연구의 결과는 연구기관뿐 아니라 공기업이나 준정부기관 등의 공공기관, 지방자치단체나 중앙행정기관을 대상으로 실시되고 있는 다양한 평가제도들에 대한 메타평가 모형을 개발하는데 유용한 시사점을 제공할 수 있으리라 본다. Public institutions' evaluation system has been legalized according to the law of 'Framework act on the evaluation of government's task' in 2006 and the effectiveness of the system is being questioned today. So, there is a growing demand in metaevaluation which evaluates the worth and the merits of evaluation system itself, especially, in designing of metaevaluation model. This study is projected to develop the model of metaevaluation for public institutions' evaluation system. Particularly, focuses on the design of metaevaluation model over the National Research Council for Economics, Humanities and Social Sciences(NRCS)'s evaluation system on the affiliated research institutes. The research was carried out with the analysis of precedent studies, designing of metaevaluaton logic model and components, verifying the suitability of the model. Confirmed metaevaluation model consists of 13 evaluation items and 29 evaluation indicators under 4 evaluation domains which are environment, input, process, and utilization. The results of this study will provide implications for researchers to develop metaevaluation model over several evaluation systems for research institutes, non-classified public institutions, public institutions, local governments, central administrative agencies, and etc.

치안활동의 메타평가 도입에 관한 연구

서진석,신원부 경찰대학 치안정책연구소 2009 치안정책연구 Vol.- No.23

We take into consideration change of environments, it is time to think over policing means and using. Nevertheless there is no evaluation institution for policing and no argument for policing activities. The purpose of this study is to suggest metaevaluation for improve policing quality. This study analysis policing activities through metaevaluation that consist of five elements including Evaluation environments, evaluation preparation, evaluation process, evaluation output, evaluation utilization. Above all this article is to indicate a direction that new evaluation frame is suitable and praticable for policing.

메타평가 모형 적용을 통한 해상교통안전진단제도 개선방안에 관한 연구

조익순(Ik-Soon Cho),조경민(Kyung-Min Cho) 한국항해항만학회 2013 한국항해항만학회지 Vol.37 No.4

해상교통안전진단제도가 해사안전법(구. 해상교통안전법)에 명시 (2009. 5. 27)되어 제도적 기반을 구축한 이후 개선을 위한 지속적인 노력은 계속되어 왔으나 아직까지 제도의 고도화를 위한 종합적이고 체계적인 검토가 이루어지지 못하고 있는 실정이다. 이에, 본 연구는 메타평가에 관한 이론을 토대로 설계된 해상교통안전진단제도의 메타평가 분석틀, 즉 ‘PIP'OU 메타평가 모형’을 적용, 진단활동 전반에 대한 메타평가를 실시하여 현황 및 문제정율 분석하고 개선방안을 제시하였다. 그 절과 진단 관련자들은 진단활동 자체가 제도의 목적에 부합하고 있으나 운영 측면은 미흡하여 ‘진단계획’ 영역을 중심으로 개선이 필요하고 특히, 관련 이해당사자간 시각차를 최소화 할 수 있는 방안을 함께 고려하여야 하는 것으로 분석되었다. 본 연구는 제도 개선사항의 시급성을 정량화하여 우선순위를 제안함으로써 향후 관련 정책의 체계적인 개선에 활용될 수 있을 것으로 기대한다. After fanning a institutional framework with specified in Maritime Safety Law( ex. Maritime Traffic Safety Law) on May 27th, 2009, The efforts for improving 'Maritime Traffic Safety Assessment Scheme(MTSA scheme)' have continued to the present. But there's no review with the comprehensive and systematic approach for proceeding acceleration step of MTSA scheme. At this point, this study analyzed current status and derived improvement measures using by 'PIP'OU model' which was designed for the comprehensive analysis in accordance with metaevaluation theory, like as question investigation and etc Consequently, it mainly needs to improve ‘Assessment Plan' domain and minimized the difference in views between concerned parties. This study is expected to be used to develop systematic maritime policy by proposing the order of priority in improvement matters;

체크리스트 기법을 활용한 지방자치단체 자체평가에 대한 메타평가: 경상북도 시·군을 중심으로

김부철,정홍상,하혜수 한국정부학회 2015 한국행정논집 Vol.27 No.4

지방자치단체의 평가방식이 자체평가제도 중심으로 전환되어 운영 된지가 10여년이 되지만, 자체평가제도의 운영 전반에 걸쳐서 현 상태를 진단하고 개선방안을 제시하는 경험적 연구 결과물은 별로 없다. 따라서 본 연구에서는 각 지방자치단체 자체평가에 대한 메타평가 실시결과를 종합하여 일관성 있고 의미 있는정책적 시사점을 획득하여 제시하고자 한다. 이를 위해 본 연구에서는 지방자치단체 자체평가의 의의, 최근메타평가의 실증적 연구 경향을 검토하였다. 또한 지방자치단체 자체평가를 실증 분석하기에 적절한 체크리스트 모형을 설계하였다. 실증 분석은 일차적으로 경상북도 자치 시·군의 자체평가 관리자들에게 체크리스트에 따라 해당 자치단체의 자체평가에 대한 현 상태를 점검·진단하도록 하였으며, 이차적으로 이 결과를토대로 종합·해석하는 방법으로 진행하였다. Although a decade has passed since provincial governments opted to use self-evaluation systems, only a few empirical research studies examine the entire self-evaluation system, diagnose the current status, and suggest measures for improvement. This research aims to establish meaningful and consistent policy implications by exploring the combined meta-evaluations of local autonomous governments. To this end, the research examines the significance of the self-evaluations of the local governments and recent trends in empirical research. In addition, a checklist model was designed to aptly analyze the self-evaluation procedure of the local governments. In the initial empirical research, provincial and municipal officials in charge of self-evaluation process in cities and counties of Gyeongsangbuk-do were asked to evaluate current status using the aforementioned checklist; this is followed by a comprehensive analysis based on the subsequent results.

공공기관 경영평가 지표체계에 대한 형성적 메타평가

곽채기(Kwack, Chae Gi),박현식(Park, Hyun Sik) 동국대학교 사회과학연구원 2021 사회과학연구 Vol.28 No.4

공공기관 경영평가제도는 공기업과 준정부기관의 공공성 확보 및 경영효율성을 제고하고, 대국민서비스를 개선하는 것을 목적으로 실시되고 있다. 그러나 경영평가제도의 타당성과 공정성 및 효과성에 대한 비판이 지속적으로 제기되고 있다. 공공기관 경영평가제도에 대한 이러한 비판은 경영평가지표체계에 기인한 바가 크다. 따라서 본 연구는 공공기관 경영평가지표체계의 적합성을 메타평가의 분석 틀에 기초하여 평가해 보고자 한다. 이를 위해 평가모델, 평가지표 구성체계, 가중치 배분체계의 3개 영역 13개 지표를 통하여 2021년도 공공기관 경영평가지표에 대한 메타평가를 실시하였다. 공공기관 경영평가의 지표체계는 평가의 유형, 평가범주, 가중치나 평가방법 등에 있어서 꾸준히 변화·발전되어 왔으나, 아직도 세부 요소에서는 문제가 발견되고 있다. 기관유형·평가유형 분류에 있어서 기관의 경영환경 등 개별적 특성이 충분히 반영되지 못하고 있으며, 기업성과 공공성의 반영 비중이 적절하지 못하다. 평가모델에 근거하여 지표가 설정된 것이 아니어서 평가지표 구성의 타당성이나 대표성이 부족하다는 문제도 지적된다. 지표체계의 문제는 평가지표별 가중치의 적절성을 저해하는 요소로 작용하기도 한다. 평가의 객관성과 성과의 다양한 측면을 반영하려다보니 지표의 명확성이나 측정의 용이성이 저해되는 문제도 발견된다. 공공기관 경영평가의 목적인 공공성 및 경영효율성을 높이기 위해서는 기관의 특성을 적절히 반영하면서도 표준화된 지표개발이 이루어질 필요가 있다. The management evaluation system of public institutions aims at improving publicity as well as management efficiency and public service by solving the problem of accountability and management inefficiency in public enterprises and in quasi-governmental organizations. The management evaluation system of public institutions has contributed to establishing a responsible management system, improving management rationalization and transparency, and inducing continuous management innovation for public institutions. However, there are also problems with the efficiency, effectiveness, validity, and fairness of the system. This study is to evaluate the feasibility and appropriateness of the management evaluation system of public institutions. In order to attain this goal, I have conducted a meta-evaluation of the evaluation indicator system, which is a framework for measuring the results of management activities. The meta-evaluation of the 2019 public institution management evaluation indicator was conducted through 13 indicators in three areas: the evaluation model, the evaluation index composition system, and the weight composition system. The indicator system of management evaluation of public institutions has been steadily changed and developed in the type of evaluation, evaluation category, weight and evaluation method. However, there are problems still found in many details. For example, it has not sufficiently reflected in the classification of institution type and evaluation type, individual characteristics such as the management environment of the institution. Neither the proportion of reflection of corporate performance and publicity seems to be appropriate, nor are the validity and representativeness of the evaluation indicator composition sufficient. Moreover the weights for each evaluation indicator are not appropriate, the clarity of the index is low, and measurement is not easy. In order to increase the publicity and management efficiency, which is the purpose of management evaluation of public institutions, it is necessary to develop standardized indicators while appropriately reflecting the characteristics of the institution.

국가연구개발사업 자체평가의 메타평가

류영수(Youngsoo Ryu) 한국정책분석평가학회 2020 政策分析評價學會報 Vol.30 No.3

대학평가인증제 평가기준의 타당성 검토

곽진숙(Jin-Sook Kwak) 한국교육평가학회 2010 교육평가연구 Vol.23 No.4

본 연구는 공학교육인증제와 경영교육인증제를 중심으로 그 평가기준의 타당성을 검토한 연구다. 타당성은 다양한 측면에서 평가되지만, 특별히 교육프로그램 평가의 메타평가 기준 중 교육본위성 준거에 따른 타당성을 검토하였다. 교육주체의 교육지향성, 교육방법의 적절성, 교육환경의 충실성, 교육성과의 본질성이 그 하위준거다. 인증실무경험자인 각 5개 공과대학, 경영대학 소속교수 10인, 5인과의 인터뷰 자료를 연구대상으로 하였다. 연구결과 두 인증제는 교육주체가 현재의 교육에 만족하지 않고 개선하도록 권장하지만 시스템 구축에 더 초점이 있어 만족도를 확인하거나 향상시키게 하는 면은 자극을 제공하는 정도다. 교육방법의 적절성은 교수-학생의 역동적 상호작용, 학습과정에 관한 충실한 모니터링의 면에서 긍정적이지만, 학생수준에 맞는 교육방법과 매체 활용, 개인별 속도, 스타일에 따른 학습경험 제공에 관해서는 부정적이다. 단계적, 순차적 학습경험의 배열은 공학 분야에서는 이수체계의 강조로 높은 관심을 보이나, 경영학에서는 주된 관심사가 아니다. 교육환경의 충실성은 확인하기는 하나 향후 현황보다 개선방향에 관한 관심으로 전환시켜야 한다. 교육성과의 본질성은 학생 자신의 교육성과를 평가하거나 교수의 교육전문성 신장을 확인하게 하지만, 교육활동에 관한 긍정적 태도 확인은 취약해 교육평가 분야에서 이 기준에 관련한 구체적인 평가방법 등을 제시해야 할 필요가 있다. In this paper, we studied the validity of the accreditation standards of two programs: the engineering education accreditation and the business education accreditation. Among the various meta-evaluation criteria to evaluate the validity of the accreditation standards for the education programs, we chose here the education-centered criteria. This includes the education-directivity, properness of the education method, perfection of the educational environment, and substantial product of the education, as its sub-criteria. The basic research materials consist of the interview data for 10 professors from the 5 colleges of engineering and 5 professors from the 5 colleges of business who have experience in the working group for the accreditation. It was observed that both of the programs promote the improvement of the educational activities. But more emphasis are laid on the construction of the educational system; comparatively, the enhancement of the satisfaction of the subjects of the education were taken care of on the level of providing certain stimulation. On the properness of the education method: they have positive aspects on the interaction of the professors and student, monitoring on the education procedure, while also they have negative aspects on the education method proper to the students' level, usage of medium, progress for each individual, providing the educational experience with appropriate style. On the arrangement of the phased educational experience: the engineering education accreditation program has much interest in the completion of the courses, while the business education accreditation program doesn't due to the characteristic of the scholarly area. On the perfection of the educational environment: they are checking the present situation, but it is required to advance into the improvement. On the substantial product of the education: They are running the self-evaluating programs for students and they are checking the education-expertise of the professors. But we found certain weak points on the checking the professors and students' positive attitude on the educational activities. For the later studies on the education accreditation, it is required to provide concrete accreditation methods for the standards on this aspect.