국토환경성평가지도를 이용한 자연환경 우수지역 세분화 방안

김근한,이은정,윤정호,정휘철,전철민 한국지도학회 2017 한국지도학회지 Vol.17 No.3

Environmental Conservation Value Assessment Map (ECVAM) is one of the representative environmental assessment map aiming to prevent exploitation of land and to preserve natural environment outstanding areas. The result of ECVAM (2016) shows that the first class of the map occupies 47.1% of the whole territory. Thus, a more practical management of each class is needed for practical use in policy making. In this study, management plans for natural environment outstanding areas were evaluated by overlaying evaluation categories of ECVAM (habitat evaluation, connectivity, rarity) to classify into three classes: Strict nature reserve, core nature reserve, and buffer area. As a result, strict, core, and buffer region each occupied 1.16%, 5.64%, 17.39% of the territory. Strict and core nature reserve located mostly in protection area such as national parks, recreational forest, and Baekdudaegan protection area. Regions near the cities or valley with high potential of development also located in the intersecting region of the three ECVAM categories. Therefore application of the evaluation result classified as strict, core, and buffer nature reserve areas is expected to contribute in preventing over exploitation of land and in improving land use management. 국토의 난개발을 방지하고, 자연환경 우수지역들을 보전하기 위해 국토를 모니터링 할 수 있는 공간정보 기반의 환경성평가지도가 필요하다. 이러한 환경성평가지도 중 우리나라의 대표적인 환경성평가지도에는 환경부의 국토환경성평가지도가 있다. 하지만국토환경성평가지도는 2016년 기준 전 국토의 47.1%가 보전 중심의 1등급 지역으로 구분하고 있어, 현실적인 정책적 활용과국토의 이용 및 관리를 위해서는 보다 현실적인 국토의 환경성 등급 세분화 방안이 필요하다. 이에 본 연구에서는 국토환경성평가지도의 평가항목 중 서식처 평가, 연결성 평가, 희귀성 평가와 연관된 평가항목들의 중첩 분석을 이용하여 자연환경 우수지역의세부적인 등급의 도출 방안을 제시하고자 하였다. 이를 위해 국토환경성평가지도의 환경생태적 평가항목을 이용한 자연환경 우수지역 평가를 통해 엄정, 핵심, 완충지역으로 구분 도출하였다. 평가결과 우리나라 국토대비 엄정지역 1.16%, 핵심지역 5.64%, 완충지역은 17.39%로 나타났다. 평가 결과 도출된 엄정지역과 핵심지역의 대표사례를 살펴본 결과 대부분의 지역들은 개발 발생 확률이적은 국립공원, 휴양림, 백두대간보호지역 등의 보호지역을 포함한 산림지역들로 나타났고 도시지역 주변에 인접하거나 계곡을중심으로 개발이 진행될 가능성이 있는 자연환경이 우수 지역들 또한 도출되었다. 이러한 국토의 환경성 평가를 통해 도출된자연환경 우수지역의 제시와 이를 이용한 국토의 관리는 난개발을 방지하고 지속가능한 토지이용에 큰 기여를 할 수 있을 것이라판단된다.

영어·수학 수준별 수업에 따른 학생 평가 방안

진경애,송미영,반재천 한국교육과정평가원 2010 교육과정평가연구 Vol.13 No.2

Ability grouping in Math and English classes has been emphasized and implemented in Korean secondary schools in order to enhance the individualized and customized educational contents to the students. Students are moved to the classes in which they are assigned with regard to their achievement for Math and English classes. However, the problem has been raised with regard to ability grouping in Korean school contexts. That is, the classes are offered with different contents based on the students' academic performance level, however, the students in different ability grouping are assessed with the same criteria and assessment tool. Therefore, the intent of ability grouping is not realized in the ideal way due to the inconsistency between the contents of the subjects and the achievement tests. In order to solve the problems of the students assessment in the ability grouping, the current research has reviewed the practices of Korean schools and the schools in the U.S. and U.K. with regard to the assessment methods in ability grouping and suggested some approaches. The suggestions are as following. First of all, we have suggested to match the contents of the classes and assessment tool either partly or totally different way. When the school adopt the totally different assessment tool for the different classes, there need to be the score adjustments based on the students' ability. Second, it was suggested that the national-level student achievement test be provided in two or three tiers with regard to different content levels and the schools and the students will choose the appropriate test. Third, we suggest that different courses for English and Math with regard to different contents and achievement levels should be offered rather than ability grouping classes within the same school year. 이 연구의 목적은 영어 및 수학 교과의 수준별 수업에 따른 학생 평가의 실태를 조사하고 다양한 평가 방안을 제시하는 데에 있다. 수준별 수업과 평가 실태를 조사하기 위하여 수준별 수업을실시하고 있는 총 500개 학교의 교사와 학생을 대상으로 설문 조사를 실시하였다. 설문 조사 결과및 선행 연구를 종합하여 평가 방안을 제시하였다. 본 연구에서 제시하는 수준별 평가 방안은 첫째, 부분적 수준별 평가지, 둘째, 전면적 수준별 평가지, 셋째, 혼합 평가지, 넷째, 국가 수준의수준별 평가지, 다섯째는 수준별 과목 제공 및 그에 따른 성적을 산출하는 방식이다. 부분적 수준별 평가지는 공통 평가지에 일부 수준별 세트 문항을 포함하여 학생들이 선택하도록 하는 방식이다. 전면적 수준별 평가지는 수준별 학급(군)에서 다루는 내용을 중심으로 수준별로 독립적으로 평가 문항을 출제하는 방안으로 본 연구에서 구안한 점수 조정 방식을 제시하였다. 혼합 평가지는 각학급에서 다룬 내용을 일정 비율로 출제하여 한 검사지에 모두 포함하는 방식이다. 국가 수준의 수준별 평가지는 국가 수준의 검사를 두 수준 정도로 출제하여 학생들이 선택적으로 응시하는 방안이다. 수준별 과목 제공 및 그에 따른 성적 산출 방안은 동일한 교과목 내용을 난이도와 수준에 맞게여러 과목으로 개설하여 학생들이 선택하게 하고 과목 내에서 평가를 받는 방식으로 현행 미국식방식이다. 본 연구의 결론은 수준별 수업의 효과와 학생 능력의 다양한 측면을 평가하기 위하여 수준별 수업에 따른 평가 방안을 도입하여야 하고, 이를 위하여 현행 내신 체제가 개선되어야 한다고제안한다.

공기업과 준정부기관 경영성과의 영향요인분석: 평가지표체계와 평가방법의 변경 전후를 대상으로

라영재 한국정책분석평가학회 2019 政策分析評價學會報 Vol.29 No.4

Since the evaluation index system of SOEs and quasi-governmental organizations was based on the Malcolm Boldridge model in the United States, it was estimated that leadership factors had an effect on management and performance, as in the study of Wilson and Collier(2000), Collier (2001). As with the empirical study by Flynn and Saladin(2001) and Mellat-Parast (2015), the changes in the evaluation index system could change the relationship between management factors and management performance. In addition, since the leadership index has been replaced by strategic planning, it can be estimated that the strategic planning index also influenced the management factors and performance. In addition, the leadership and strategic planning indicators also analyzed the mediating effects of direct and indirect effects on management performance through other management factors. The results of the empirical analysis based on the results of the three-year evaluation indicators showed that in the 2013 evaluation model, leadership, financial management, remuneration management, and business management were influencing work efficiency and major business performance. In the 2014, 2015 model, strategic planning did not affect management performance. Only organizational human resources, financial budget, and business management factors had a limited effect on work efficiency and major business performance. Therefore, the preceding studies were statistically supported that leadership factors affect management and performance, and the relationship between management and management performance is changing according to the change of evaluation index. Therefore, when developing detailed sub-management indicators, the components and weights of the evaluation indicators should be determined based on theoretical prior studies, and the evaluation model should be revised through periodic verification of the suitability of the evaluation model. In addition, improving the fairness and professionalism of evaluation teams may have an effect on improving the validity and reliability of management evaluation results. 공기업과 준정부기관의 평가지표체계는 미국의 말콤볼드리지 모델을 기반으로 해서 만들어졌고 변화하고 있으므로 Wilson and Collier(2000)와 Collier(2001)의 실증연구 결과와 같이 리더십과 전략기획 요인은 경영관리와 경영성과에 영향을 주었을 것으로 추정해 볼 수 있다. 또한 Flynn and Saladin(2001)과 Mellat-Parast(2015)의 실증연구와 같이 평가지표체계가 변화하게 되면 경영관리와 경영성과와의 영향관계도 변화할 수 있다는 연구가설을 설정했다. 3개년도 평가지표의 결과값을 통해서 실증분석한 결과를 보면 2013년도 평가모델에 한해서 리더십, 재무관리, 보수관리, 주요사업관리가 업무효율과 주요사업성과에 통계적으로 유의한 영향을 주고 있었고, 2014년도, 2015년도 평가모델에서 전략기획은 경영성과에 영향을 주지 않았으며 조직인적자원, 재무예산, 주요사업관리 요인만이 업무효율과 주요사업성과에 제한적인 영향을 주고 있었다. 그리고 연도별 평가지표의 변화에 따라서 경영관리와 경영성과간의 영향관계가 변화하고 있다는 선행연구는 통계적으로 지지되고 있었다. 그러므로 세부적인 하위 평가지표를 개발할 때에는 이론적 선행연구를 바탕으로 해서 평가지표의 구성요소와 가중치를 결정해야만 하고, 주기적인 평가모델의 적합성 검증을 통해서 평가모델을 수정해야만 한다. 또한 평가단의 공정성과 전문성을 제고하는 것도 평가결과의 타당성과 신뢰도를 제고하는데 영향을 줄 수 있다.

로지스틱 회귀분석을 이용한 북한지역 자연환경 우수지역 평가지도 작성

김근한,이은정,정휘철,전철민 한국지도학회 2016 한국지도학회지 Vol.16 No.3

향후 통일이후 북한지역의 급격한 국토개발로 인한 자연 환경 훼손을 미연에 방지하고 한반도의 균형 있는 국토의 보전과 관리를 위해서는 환경계획 기반의 국토계획이 필수적이다. 이러한 환경계획을 위해서는 다양한 환경공간정보를 이용한 국토의 자연환경 우수지역 평가지도 작성은 반드시 필요하다. 이에 본 연구에서는 로지스틱 회귀분석을 통해 북한지역의 자연환경 우수지역 평가지도 구축방안을 제시하였다. 자연환경 우수성 평가 선행연구를 기반으로 평가에 필요한 평가항목들을 선정하고, 해당 평가항목들을 수집 및 구축하였으며 로지스틱 회귀분석을 이용하여 남북한 접경지역을 중심으로 자연환경성 우수지역 평가를 수행하였다. 평가결과 로지스틱회귀분석 적합성 모형은 89.4%의 분류정확도가 나타났으며, ROC 분석결과 정확도가 96.1%로 높게 나타났다. 본 연구의 결과를 국토환경성평가지도 환경생태적평가와 비교한 결과 본 연구에서 제시한 자연환경 우수지역 평가지도 결과가 북한지역의 환경계획에 활용이 가능할 수 있는 정확도를 나타내고 있다고 판단되었다. 따라서, 본 연구에서 도출한 자연환경 우수지역 평가지도의 40% 이상의 우수지역을 자연환경 핵심 우수지역으로 지정하고, 60%까지의 완충 자연환경성 우수지역으로 지정하여, 추후 단계적으로 핵심 자연환경 우수지역으로 확장할 수 있도록 정책적으로 설정하는 것이 바람직할 것으로 판단된다. Environmental planning based national land planning is essential as a means of conservation of national land and the prevention of destructing the natural environment from rapid national land development, especially after the unification. For such national land planning, objective natural environment assessment of North Korea’s territory should be prepared. Therefore in this study, a methodology to assess natural environmental outstanding areas of North Korea was suggested. 30 indicators were selected and were used to assess the natural environment outstanding areas using logistic regression analysis. As a result, the probability map of natural environment outstanding areas and the ROC analysis showed accuracy of 89.4% and 96.1%, respectively. For the verification of accuracy, the result of the study showed high conformity with the Environmental Conservation Value Assessment Map (ECVAM), and was able to conclude that the top 40% values from the assessment can be classified as natural environment core areas and top 60% values be classified as natural environment buffer areas.

특정 개발사업의 입지 가능지 선정을 위한 국토환경성 평가지도의 적합성 분석

엄대용 한국측량학회 2010 한국측량학회지 Vol.28 No.6

In this study, I estimated the development possibility region reflecting of characteristics on region and development projects according to various development projects in order to evaluate the usability of National Environmental Zoning Map(NEDMap). I produced the development possibility maps by rating, and evaluated whether coincidence or not by comparison with NEDMap. As a result, I was able to identity that occurs difference between the development possibility map and NEDMap. I was able to verify that NDZMap which is produced by a uniform standard the entire country did not reflect the the regional & project characteristics. In the future, In order to improve the practical usabilty of NEZMap, the system is thought to be complementary that can further analyze characteristics of region & specific development projects in the NEZMap service system. 본 연구는 국토환경성평가지도의 활용성을 제고하기 위하여 각종 개발사업에 따른 지역 및 개발사업의 환경적 특성을 반영한 개발 가능지를 분석하여 등급별 지도로 제작하고, 이를 국토환경성 평가지도와 비교하여그 부합 여부를 평가한 것이다. 연구 결과 개발사업이 가지는 고유 특성과 환경성을 반영한 개발 가능지와국토환경성 평가지도간의 차이가 발생함을 확인할 수 있었으며, 이로부터 전국토를 일률적인 기준에 의하여제작된 국토환경성평가지도가 지역적 특성과 사업별 특성을 반영하지 못하고 있음을 검증할 수 있었다. 향후국토환경성 평가지도의 실질적인 활용도를 높이기 위해서는 국토환경성 평가지도 서비스 시스템내에 지역및 특정 개발사업의 특성을 추가적으로 분석할 수 있는 체계가 보완되어야 할 것으로 사료된다.

지방공기업 경영평가 지표군 간의 상호 연계성 분석: 2010년 지방공기업 경영평가 결과를 통한 분석

장덕희 ( Duck Hee Jang ),라휘문 ( Hui Mun Ra ) 한국지방행정연구원 2011 地方行政硏究 Vol.25 No.2

이 연구에서는 지방공기업 경영평가제도의 개선요소 및 발전방향 도출을 목적으로 현행 경영평가제도에서 적용되고 있는 평가지표체계 하의 대분류 지표들을 중심으로 상호 연관 된 정도를 확인하였다. 이 연구에서 평가지표체계 하의 평가지표들 간의 연관성 정도를 확 인하는 것에 초점을 맞춘 것은 현행 평가제도가 지방공기업의 성과를 파악하기 위한 목적으로 계획과 집행 그리고 성과도출의 세 단계를 갖는 대분류 평가지표체계를 따르고 있기 때문이다. 따라서 현행 지방공기업 경영평가제도가 소기의 목적을 달성할 수 있으려면, 이 와 같은 체계에 따라서 각 평가지표들이 종속변수인 경영성과 제고에 긍정적으로 기여할 수 있는 구조를 갖추어야 할 것이다. 이 연구에서는 기술통계, 상관관계 분석, 회귀분석 등의 방법을 이용하여 실증분석을 수 행하였다. 분석결과에서 계획(리더십/전략) 영역의 평가점수와 집행(경영시스템) 측면은 일부 연계되어 있는 것으로 판단되나, 가장 많은 평가점수가 배정된 성과도출(경영성과)과는 상호 연계되지 못하고 있는 것으로 확인되었다. 따라서 향후 지방공기업 경영평가제도 의 근본적 개선을 위해서는 경영평가지표체계가 갖는 오류를 확인하고, 이를 적절한 방법으로 수정하여야 할 것이다. In this research, the objective is to deduct improvement factors and development direction of local enterprises` management evaluation system. In this research, the reason of focusing on checking the degree of correlation among evaluation index is to calculate the outcome of local public enterprises, because it follows broad classification evaluation index system that has three levels of planning, executing and deducting outcome. According to the current local enterprises` management evaluation index theory, each index must have a structure to positively contribute to improvement of management outcome, which is dependent variable. From the result of empirical analysis, evaluation score of planning area (leadership/ strategy) and execution (management system) side are found to have some correlation. However, it is confirmed that there is no correlation with outcome deduction (management outcome), which as the largest share. Therefore, for fundamental improvement of local public enterprises` management evaluation system, fallacy of management evaluation index system must be checked, and modified properly.

노인장기요양기관(시설급여) 평가의 품질관리를 위한 평가지표 개발 및 다층평가시스템 방안

이상진,김윤정 사단법인 인문사회과학기술융합학회 2019 예술인문사회융합멀티미디어논문지 Vol.9 No.11

The purpose of this study is to develop evaluation indexes for improving the quality of long-term care institutions (facility salary) evaluation in the sense that the applicability and effectiveness of previous studies related to the development of evaluation indexes for long-term care facilities for elderly are insufficient. There was this. To this end, an analytical review of the 2018 long-term care institution (accommodation benefit) evaluation index, an analysis of Japan's elderly long-term care home evaluation index, and the elderly long-term care facility workers in Korea and the special care home for the elderly in Japan FGI on evaluation indicators and evaluation system was conducted. Based on the results of the research, evaluation indicators were developed in terms of supporting users to receive high quality services. The characteristics of the elderly, that is, the characteristics of elderly diseases that are difficult to maintain and improve, the direction and transparency of institutional operation, and the need for terminal care were reflected. Forty-three evaluation indicators were presented, covering institutional operations, environment and safety, beneficiary rights protection, payroll process, and payroll results. In addition, we proposed a four-step multi-level evaluation system that can improve the efficiency of the evaluation process by improving the redundant and unnecessary evaluation process. 본 연구에서는 노인장기요양시설 평가지표개발과 관련된 선행연구의 평가현장 적용성 및 실효성이 미흡하다는 문제의식하에, 노인장기요양기관(시설급여) 평가의 품질향상을 위한 평가지표를 개발하는데 연구의 목적이 있었다. 이를 위해 2018년도 노인장기요양기관(시설급여) 평가지표에 대한 분석적 고찰, 일본의 노인특별요양홈 평가지표에 대한 분석, 한국의 노인장기요양시설 종사자와 일본의 노인특별요양홈 종사자를 대상으로 한 평가지표 및 평가체계에 관한 FGI를 실시하였다. 연구결과를 토대로 하여 이용자가 양질의 서비스를 제공 받을 수 있도록 지원하는 측면에서 평가지표를 개발하였다. 노인의 특성, 즉 유지 및 호전되기 어려운 노인성 질환의 특성과 기관운영의 방향 및 투명성, 그리고 종말기 케어의 필요성 등을 반영하였다. 기관운영, 환경 및 안전, 수급자 권리보장, 급여제공과정, 급여제공결과를 포괄하는 43개의 평가지표를 제시하였다. 또한, 중복되고, 불필요한 평가과정을 개선하여 평가의 과정 효율성을 증가시킬 수 있는 4단계 다층평가시스템을 제안하였다.

유아 교육기관의 교사 관련 평가지표의 내용 비교 분석: 한국, 미국, 호주, 뉴질랜드의 지표를 중심으로

박재진 학습자중심교과교육학회 2022 학습자중심교과교육연구 Vol.22 No.13

Objectives This study examined teacher-related accreditation system in Korea's kindergarten and daycare center to see if the contents related to teachers are properly evaluated, and compared them to those of accreditation system conducted in other countries. Methods To this end, from five accreditation systems, Korea's 5th Period Kindergarten accreditation system, Daycare Center accreditation system, the NAEYC accreditation system in the United States, the ACECQA accreditation system in Australia, and the ERO accreditation system in New Zealand, teacher-related information was extracted, coded according to standard of analysis, and thereby the analysis of frequency was executed per item. Results The analysis results are as follows. First, the accreditation of kindergartens in Korea, NAEYC in the United States, and ERO in New Zealand included a larger number of items compared to the accreditation system of daycare centers in Korea and ACECQA in Australia. Second, regarding the assessment of “Teacher management”, the role of the teacher is the sub-scale with the largest number among items in the five accreditation systems, while the qualification of the teacher is the sub-scale with the smallest nunmber among items in the five accreditation systems. Third, regarding the assessment of “Teacher relationship”, the relationship with colleagues is the sub-scale with the largest number among items in the five accreditation systems, while the relationship with parents is the sub-scale with the smallest nunmber among items in the five accreditation systems. Conclusions Through these analysis results, it was suggested that both of the accreditation systems in Korea should be supplemented to the contents on the relationship with learners and education and training of teachers. Also, it was proposed that the contents of the accreditation systems for kindergartens and daycare centers should be complemented each other, and that the accreditation systems need to be modified and supplemented for parts requiring commonality. 목적 본 연구는 유아 교사와 관련한 내용들이 적절하게 평가되고 있는지 살펴보기 위해 한국의 유치원 5주기 평가와 어린이집 평가제에 나타난 교사 관련 평가 내용을 살펴보고, 다른 나라에서 실시하고 있는 평가지표의 내용과 비교해 보았다. 방법 이를 위해 한국의 제 5주기 유치원 평가지표와 어린이집 평가제의 지표, 미국의 NAEYC 평가지표, 호주의 ACECQA 평가지표, 뉴질랜드의 ERO 평가지표 중 교사 관련한 내용을 추출하고, 분석 기준에 따라 평가 내용을 코드화하여 항목별 빈도 분석을 실시하였다. 결과 분석 결과는 첫째, 한국의 유치원 평가, 미국 NAEYC, 뉴질랜드의 ERO 평가는 한국의 어린이집 평가제, 호주의 ACECQA 평가에 비해서 더 많은 수의 항목을 포함하고 있었다. 둘째, 교사의 인사관리와 관련하여 다섯 개의 평가지표에서 항목 수가 가장많은 하위영역은 교사의 역할이며, 항목 수가 가장 적은 하위영역은 자격이다. 셋째, 교사의 인간관계와 관련하여 다섯 개의 평가지표에서 항목 수가 가장 많은 하위영역은 동료와의 관계이며, 항목 수가 가장 적은 하위영역은 부모와의 관계이다. 결론 분석을 통해 한국의 평가지표에 대한 시사점은 첫째, 한국의 두 가지 지표에서 공통적으로 학습자와 관계, 현직 교사 대상의교육 및 연수와 관련한 내용이 보완되어야 함을 시사하였다. 둘째, 한국의 유치원과 어린이집 평가지표의 내용은 상호 보완되어야하며, 교육과정의 특성을 반영하여 통일성이 필요한 부분에 대한 평가지표 내용의 수정과 보완이 필요함을 제안하였다.

공공기관 경영평가 지표체계에 대한 형성적 메타평가

곽채기(Kwack, Chae Gi),박현식(Park, Hyun Sik) 동국대학교 사회과학연구원 2021 사회과학연구 Vol.28 No.4

공공기관 경영평가제도는 공기업과 준정부기관의 공공성 확보 및 경영효율성을 제고하고, 대국민서비스를 개선하는 것을 목적으로 실시되고 있다. 그러나 경영평가제도의 타당성과 공정성 및 효과성에 대한 비판이 지속적으로 제기되고 있다. 공공기관 경영평가제도에 대한 이러한 비판은 경영평가지표체계에 기인한 바가 크다. 따라서 본 연구는 공공기관 경영평가지표체계의 적합성을 메타평가의 분석 틀에 기초하여 평가해 보고자 한다. 이를 위해 평가모델, 평가지표 구성체계, 가중치 배분체계의 3개 영역 13개 지표를 통하여 2021년도 공공기관 경영평가지표에 대한 메타평가를 실시하였다. 공공기관 경영평가의 지표체계는 평가의 유형, 평가범주, 가중치나 평가방법 등에 있어서 꾸준히 변화·발전되어 왔으나, 아직도 세부 요소에서는 문제가 발견되고 있다. 기관유형·평가유형 분류에 있어서 기관의 경영환경 등 개별적 특성이 충분히 반영되지 못하고 있으며, 기업성과 공공성의 반영 비중이 적절하지 못하다. 평가모델에 근거하여 지표가 설정된 것이 아니어서 평가지표 구성의 타당성이나 대표성이 부족하다는 문제도 지적된다. 지표체계의 문제는 평가지표별 가중치의 적절성을 저해하는 요소로 작용하기도 한다. 평가의 객관성과 성과의 다양한 측면을 반영하려다보니 지표의 명확성이나 측정의 용이성이 저해되는 문제도 발견된다. 공공기관 경영평가의 목적인 공공성 및 경영효율성을 높이기 위해서는 기관의 특성을 적절히 반영하면서도 표준화된 지표개발이 이루어질 필요가 있다. The management evaluation system of public institutions aims at improving publicity as well as management efficiency and public service by solving the problem of accountability and management inefficiency in public enterprises and in quasi-governmental organizations. The management evaluation system of public institutions has contributed to establishing a responsible management system, improving management rationalization and transparency, and inducing continuous management innovation for public institutions. However, there are also problems with the efficiency, effectiveness, validity, and fairness of the system. This study is to evaluate the feasibility and appropriateness of the management evaluation system of public institutions. In order to attain this goal, I have conducted a meta-evaluation of the evaluation indicator system, which is a framework for measuring the results of management activities. The meta-evaluation of the 2019 public institution management evaluation indicator was conducted through 13 indicators in three areas: the evaluation model, the evaluation index composition system, and the weight composition system. The indicator system of management evaluation of public institutions has been steadily changed and developed in the type of evaluation, evaluation category, weight and evaluation method. However, there are problems still found in many details. For example, it has not sufficiently reflected in the classification of institution type and evaluation type, individual characteristics such as the management environment of the institution. Neither the proportion of reflection of corporate performance and publicity seems to be appropriate, nor are the validity and representativeness of the evaluation indicator composition sufficient. Moreover the weights for each evaluation indicator are not appropriate, the clarity of the index is low, and measurement is not easy. In order to increase the publicity and management efficiency, which is the purpose of management evaluation of public institutions, it is necessary to develop standardized indicators while appropriately reflecting the characteristics of the institution.

의학학술지 평가지표의 변별력 측정연구

이춘실 한국비블리아학회 2003 한국비블리아학회지 Vol.14 No.1

The discriminating power of journal evaluation criteria of Korean medical journals were measured. The study used the data of 76 medical journals, collected in the "Korean Medical Journal Evaluation" process conducted by the Korean Association of Medical Journal Editors (KAMJE) between 1997 and 1999. For each evaluation criterion, the distribution of the individual score vs the total score of a journal received was plotted and their correlations were analyzed. It is found that the evaluation criteria with a high discriminating power are the ones associated with the peer review system and the journal editing. The evaluation criteria with a low discriminating power are the journal frequency and how often a chief editor is changed. Some evaluation criteria such as "Journal holding rates of medical libraries" and "year-end index" need modifications in the evaluation methods. Other evaluation criteria such as "Journal self-citation rate","SCI citation rate" and "SCI impact factor" need to modify the score ranges. It is recommended that the new evaluation criteria such as "citation rate by Korean medical journals" and "Access availability of the journal information through major Korean medical abstract databases" should be added.formation through major Korean medical abstract databases" should be added.dded. 본 연구에서는 대한의학학술지편집인협의회가 1997년부터 1999년 사이에 평가한 76종의 국내 의학학술지가 받은 총 33개 평가항목의 각 항목별 평가점수와 총평점의 분포, 그리고 이들의 상관관계를 분석하여 각 평가지표의 변별력을 측정하였다. 한국 의학학술지의 대표적인(변별력이 높은) 평가지표는 투고논문의 상호심사와 관련된 평가항목과, 학술지가 일정한 형식으로 일관성 있게 잘 만들어지고 있는지를 평가하는 항목으로 판명되었다. 논문상호심사제도(peer review system)가 학술지의 질관리에 있어서 매우 중요하다는 것은 주지의 사실이다. 학술지의 철저한 편집(quality of editorial work)과 출판품질 관리(production quality)가 학술지 평가의 좋은 척도가 될 수 있다는 것은 학술지 평가사업의 경제성과 효율성의 측면에서 매우 고무적인 일이다. 편집인 교체빈도나 연간 발행회수 등은 변별력이 거의 없는 평가지표로 나타났다. 평가대상 학술지가 우리나라 의학도서관에 비치되어 있는 정도나 권말색인 작성여부 등 변별력이 낮은 평가항목의 변별력을 높이기 위해서는 평가방법의 개선이 필요하며, 자체학술지 인용비율, SCI 인용빈도나 영향력지표 등의 평가항목은 평가배점 구간의 조정이 필요한 것으로 나타났다. SCI에서의 인용과 국제 데이터베이스 등재여부만이 아니라, 국내 학술지가 인용하는 빈도나 영향력지표, 국내에서 구축되고 있는 의학관련 데이터베이스 등재 여부, 레코드 입력율 등의 새로운 평가지표 개발이 필요하다.