교사의 과정 중심 평가 역량(T-PEC) 진단도구 개발 및 타당화

김유정,이경건,장원형,홍훈기 한국교원교육학회 2019 한국교원교육연구 Vol.36 No.3

This study is to develop a measurement tool named T-PEC(Teacher’s Process-centered Evaluation Competency) which helps teachers understand and practice process-centered evaluation. Researchers analyzed literatures related to process-centered evaluation, and developed a draft version of a measurement tool that secured content validity after discussing with three researchers, one principle teacher of process-centered evaluation, three teachers and three professors, and then executed Exploratory Factor Analysis(EFA)/confirmative Factor Analysis(CFA) based on the survey result of 130 teachers, and finally developed a measurement tool which consists of 20 questions with securing model fit, convergent validity, discriminant validity, and reliability. The measurement tool may help process-centered evaluation become a reality by making the abstractness of process-centered evaluation more concrete and by increasing teacher’s understanding and application of process-centered evaluation. In addition, it is expecting that teachers can diagnose and analyze the competency of process-centered evaluation by themselves, thus contributing to feedback of teacher’s evaluation ability. This study suggests that developed measurement tool can be used to check differences in the competency of process-centered evaluation by region, school-level, specific subject, teacher’s career, gender, and can be used to develop training programs to help teachers improve their ability to conduct process-centered evaluation. 본 연구는 교사가 과정 중심 평가에 대한 스스로의 이해와 실천을 도모할 수 있도록 돕는 과정 중심 평가 역량 진단도구를 개발하고자 하였다. 연구자는 과정 중심 평가 관련 문헌을 체계적으로 분석하고, 연구자 3인, 과정 중심 평가 수석 교사 1인, 교사 3인, 교수자 3인의 검토 과정을 거쳐 내용 타당도를 확보한 진단도구 초안을 개발한 후, 교사 130명의 설문조사 결과를 토대로 탐색적 요인분석, 확인적 요인분석을 거쳐 모델 적합도, 판별타당도와 집중타당도, 신뢰도를 확보한 과정 중심 평가 역량 진단도구 20문항을 최종적으로 개발하였다. 개발된 과정 중심 평가 진단도구는 과정 중심 평가의 추상성을 구체화하고, 과정 중심 평가에 대한 교사의 이해도와 적용력을 높여 과정 중심 평가가 현실화 되는 데 도움을 줄 수 있을 것이다. 또한 교사 스스로 과정 중심 평가 역량을 진단하고 분석할 수 있게 하여 학생 평가 역량을 환류하는 데 기여할 수 있을 것으로 판단된다. 개발된 진단도구는 지역·학교 급·교과목·경력·성 별 과정 중심 평가 역량의 차이를 확인하는 연구, 교사의 과정 중심 평가 역량을 향상시킬 수 있도록 돕는 연수 프로그램 개발 등에 활용될 수 있음을 제언한다.

성과관리를 위한 우리나라 평가지표체계의 개선방안에 관한 연구

제갈돈,김주환,이윤식,김흥률 한국거버넌스학회 2006 한국거버넌스학회보 Vol.13 No.2

우리나라 정부의 평가는 다양한 평가제도들이 서로 분절적․중첩적으로 운영되고 있어 업무부담을 증대시키는 반면 평가제도의 상호 연계를 통한 시너지효과는 거두지 못하고 있다. 더구나 타당한 평가지표체계가 구축되지 않은 상태에서 부문별하게 평가가 진행됨으로써 평가를 통해 창출된 정보와 지식을 활용하지 못해 평가 본래의 목적을 달성하지 못하고 있다. 따라서 선진국의 평가제도와 평가지표체계를 분석하여 우리나라의 평가지표체계의 개선방안을 모색함으로써, 정부업무의 통합적 성과관리와 책임행정을 구현하고, 국민만족을 위한 행정서비스 질 향상을 시도할 필요가 있다. 이러한 맥락에서 본 연구는 정부의 성과관리에서 성과평가와 성과측정의 의미를 살펴보고, 성과평가 시 적용될 수 있는 평가지표체계를 주요 선진국들의 예를 중심으로 비교․분석․검토하는데 그 목적이 있다. 구체적으로 본 연구는 정부의 성과관리 및 평가의 중요성을 고찰하고, 주요 선진국의 평가제도와 평가지표체계를 검토하여 중요한 시사점을 제시하며, 실제적 측면에서 정부기관 성과평가를 위하여 우리나라의 평가지표체계의 실태를 분석하여 평가지표체계의 개선을 위한 대안을 제시한다 In Korea government, because various evaluation systems are being operated disjointedly and repeatedly, which imposes a heavy burden on public employees, it is impossible to increase synergy effects by linking to the other evaluation systems. It was reality that evaluation was executed indiscreetly without the establishment of the valid evaluation measures system, and then it was difficult to meet a key purpose of evaluation to utilize information and knowledge created by the execution of evaluation. Based on the analysis of the evaluation system and evaluation measures system in the advanced countries and the review of the meanings and importance of performance evaluation and measurement in performance management, this study tries to search the improvements of evaluation measures system in korea for implementing the integrated performance management and responsible administration in public service and for increasing the quality of public service to satisfy the general public. The study also suggests alternatives for improving evaluation measures system in government agencies.

중앙행정기관 성과관리시스템의 실태분석 및 개선방안 연구

윤수재,임동진,이근주,윤순희 한국행정연구원 2009 기본연구과제 Vol.2009 No.-

1. 연구의 개요1) 연구의 필요성우리나라 정부부문에서의 성과관리제도에 대한 연구는 정부개혁 차원에서 공공조직을 개혁하기 위한 수단으로써 도입하면서 시작되었다. 이러한 이유에서 기존의 많은 연구들이 조직성과와 그 개선에 초점을 두고 진행되어 왔다. 하지만 기존의 이러한 연구는 전체적인 관점에서 성과관리제도를 살펴보기보다는 평가, 환류, 수용성 등과 같은 성과관리의 일부에 초점을 두었고, 재정성과관리와 같이 부분적인 관점에서 연구의 초점을 두었다. 물론 이러한 연구들이 단기적 성과, 효율적 측면에서의 성과관리, 성과에 대한 통제의 측면에서 우리나라 정부부문의 성과관리제도를 신속하게 정착시키는데 기여를 하였지만, 성과관리의 장기적이고 궁극적인 목표를 달성하는 체계적인 시스템 구축에 대해서는 대안을 제시하지 못하였다. 이러한 측면에서 진정한 의미에서 성과가 관리되고 제도화로 체득되기 위해서는 성과관리시스템을 전략적 시스템으로써 객관화 할 필요가 있다.2000년대 이후 우리나라 중앙행정기관들은 직무성과계약제, BSC, 자체 성과관리제도 등 다양한 성과관리시스템을 도입하여 시행하고 있으나, 각 성과관리제도 간의 유기적 연계 및 운영 등 여러 측면에서 문제점이 나타나고 있다. 또한 조직 성과관리 및 개인 성과관리 연구가 분절적으로 진행되어 상호 연계성에 초점을 두어 체계적인 시도를 하고 있는 연구는 미흡한 실정이다. 따라서 조직(기관)의 미션ㆍ비전, 전략목표, 성과목표 등의 전략관리시스템(BSC성과관리시스템, 정부업무 평가상 성과관리전략 계획 및 시행계획 등)을 활용한 조직성과 관리시스템과 이를 기반으로 개인의 직무성과 등(직무성과계약제 등)을 평가하고 그 결과를 인사 및 성과급(연봉)에 반영하는 개인 성과관리시스템 간의 상호 유기적 연계성 및 체계성을 확보하는 연구가 필요하다. 그 이유는 자체평가에 초점을 두고 평가 관련 주요 기반ㆍ역량(평가에 필요한 평가관련 조직ㆍ인력ㆍ예산) 등을 실태분석한 연구는 일부 있지만, 이처럼 평가의 전제조건이 아닌 성과관리의 내용(contents)과 업무에 초점을 맞춰 실태분석 및 개선안을 제시하고자 하는 연구는 미흡하기 때문이다. 이러한 이유에서 본 연구에서는 우리나라 중앙행정기관의 성과관리시스템의 운영실태 및 문제점을 분석하고, 선진국의 성과관리 사례를 우리나라와 비교분석하여 정책적 시사점을 도출하는 연구가 필요하다.2) 연구목적본 연구의 목적은 우리나라 중앙행정기관의 성과관리시스템 운영실태 분석을 통해 현행 성과관리시스템의 여러 문제점들을 진단하고 이를 토대로 개선방안을 모색하는 것이다. 우리나라 중앙행정기관의 성과관리시스템 운영실태 및 문제점 등을 파악하기 위해 ① 성과관리계획의 운영실태에 대한 내용분석, ② 외국의 성과관리제도 운영에 대한 사례분석, ③ 설문분석을 통해 성과관리시스템의 운영실태 및 문제점들을 분석하고자 한다. 이러한 성과관리시스템의 분석을 통해 성과관리시스템의 정착화 방안 및 정책적 함의를 도출하고자 한다.3) 연구범위 및 방법우리나라 중앙행정기관의 성과관리시스템 운영실태 및 개선방안을 마련하기 위해 본 연구가 수행하고자 하는 연구범위는 현재 성과관리시스템을 운영하고 있는 전체 중앙행정기관(부ㆍ처ㆍ청ㆍ위원회) 중 정책분야별로 대표성을 확보하여 9개 기관을 연구대상으로 선정하고자 한다. 또한 각 중앙행정기관의 성과관리시스템 운영실태를 파악하기 위해 2008년부터 현재까지 각 부처에서 시행한 성과관리제도의 운영전반을 연구범위로 하고자 한다. 그리고 정부업무평가분야 중 가장 큰 분야인 주요정책과제의 성과관리에 초점을 두어 성과관리시스템을 분석하고자 한다.중앙행정기관의 성과관리시스템 운영실태, 문제점 및 개선방안을 도출하기 위해 본 연구에서는 문헌연구, 실태분석, 실증분석, 사례 및 비교분석 등 다양한 연구방법을 활용하고자 한다. 구체적인 연구방법은 다음과 같다. 첫째, 성과관리와 관련된 이론, 연구가설, 제도 및 운영실태 등을 연구한 국내ㆍ외의 연구논문, 연구보고서, 전문서적 등의 기존문헌을 심층적으로 검토하고자 한다. 둘째, 현 우리나라 각 중앙행정기관에서 시행 중인 성과관리시스템에 대한 운영실태를 분석하고자 한다. 또한 성과관리를 체계적으로 시행하고 있는 선진국 해외사례에 대한 비교연구도 병행하여 분석하고자 한다. 마지막으로, 전체 중앙행정기관의 성과관리총괄업무 및 인사ㆍ조직ㆍ재정(예산)분야 성과관리업무를 담당하는 공무원들을 대상으로 우리나라 중앙행정기관의 성과관리시스템 전반에 대하여 실증분석(설문조사와 심층인터뷰조사병행)을 실시하고자 한다. 이러한 실증분석을 통해 성과관리시스템 핵심영역별 문제점 및 개선방안을 포함한 다양한 쟁점에 관한 인식을 조사ㆍ분석ㆍ도출하고자 한다.4) 연구체계2. 성과관리의 개념 및 연구 분석틀 성과관리시스템에 대한 개념은 학자에 따라 다음의 <표 1>과 같이 다양하게 정의하고 있다. 그러나 본 연구에서는 성과관리시스템의 개념을 조직의 목표 달성을 위해 개인이나 조직이 성과계획, 성과측정, 성과보상, 성과보고 및 활용 등의 일련의 성과관리 과정으로 정의하고자 한다. 또한 성과관리시스템의 구체적인 개념범위는 우리나라 중앙행정기관에서 사용하고 있는 성과관리계획서인 「성과관리전략계획」과 「성과관리시행계획」으로 제한하고자 한다. 그 이유는 첫째, 본 연구는 우리나라중앙행정기관의 성과관리시스템에 연구에 초점을 두고 있다. 둘째, 대부분의 중앙행정기관들이 정부업무평가제도상 성과관리시스템으로 성과관리전략 및 시행계획 외에 자체적으로 BSC와 같은 성과관리시스템을 운영하고 있는데, 부처 자체적인 성과관리시스템은 각 부처별로 다양한 방식으로 자율적으로 운영되고 있는데다가 비교분석에 필요한 통일된 기준이나 양식이 없기에 전 부처 공통적인 성과관리시스템으로 분석하기에는 적합하지 않기 때문이다.본 연구의 목적은 우리나라 중앙행정기관의 성과관리시스템 운영실태 분석을 통해 현행 성과관리시스템의 여러 문제점들을 진단하고 이를 토대로 개선방안을 모색하는 것이다. 이러한 연구목적을 달성하기 위해 본 연구에서는 다음의 <그림 2>와 같이 연구의 분석 틀을 구성하였다.3. 중앙행정기관 성과관리시스템의 현황 및 실태분석중앙행정기관의 성과관리계획서의 내용분석 기준인 ① 성과계획, ② 성과측정, ③ 성과보상, ④ 성과보고 및 활용을 토대로 성과관리 실태분석을 실시하였는데 분석결과를 요약하면 다음과 같다. 우선, 성과계획의 경우, 중장기 계획에 해당하는 3-5년간의 성과관리 전략계획과 단기 계획에 해당하는 1년 단위의 성과관리 시행계획으로 구분할 수 있다. 이 두 가지 성과계획에 대한 실태분석의 기준은 타당성이다. 성과관리전략계획의 경우, 그 판단 기준은 `1) 연도별 성과목표 및 성과목표치 설정의 근거ㆍ논거에 대한 반영ㆍ기술 여부, 2) 성과목표 달성 관련 정책수행에 대한 설명의 반영ㆍ기술 여부, 3) 중장기적 목표수립에 관한 활동에 대한 체계적인 설명 여부` 이다. 이 세 가지 기준을 평가기준으로 하여 성과관리전략계획을 분석한 결과는 다음과 같다.첫 번째 판단 기준인 `연도별 성과목표 및 성과목표치의 설정근거ㆍ논거가 반영되고 있는가`에 대한 실태분석 결과, 대부분의 전략계획서들이 단지 전략목표의 설정근거만을 제시하고 있는 것으로 확인된다. 즉, 전략목표의 설정근거가 되는 거시적인 수준의 경제적ㆍ사회적 배경만을 제시하고 있을 뿐, 연도별 성과목표와 목표치 설정 근거에 대한 기술은 이루어지지 않고 있다.두 번째로 `성과목표 달성 관련 정책수행에 대한 설명이 반영ㆍ기술되고 있는가` 여부의 판단기준에 대한 분석 결과, 현재의 중앙행정기관 성과관리전략계획은 정책의 종류를 병렬적으로 열거하고 있을 뿐, 상위의 성과목표 달성을 위한 중장기적인 정책수행 계획을 구체적으로 설명하지 않고 있다. 즉, 각 성과목표 별 정책수행이 연도별 목표치와 어떻게 연계되어 운영되야 하는지에 대한 단계별 계획을 구체적으로 제시하지 않고 있다는 점이다.세 번째로 `중장기적 목표수립에 관한 활동에 대한 체계적인 설명이 이루어지고 있는가`의 판단기준에 대한 분석결과, 우리나라의 성과관리전략계획은 전략목표와 성과목표의 연계성이 부족한 것으로 나타났다. 즉, 중장기적 계획안에서 전략목표의 핵심적인 영역을 달성하기 위한 방법이기 때문에 각 성과목표가 어떠한 방법과 과정을 거쳐 설정되었다는 등의 논거를 성과관리전략계획서 안에 제시하지 못하고 있는 실정이다.한편 성과관리시행계획의 경우, 그 판단기준은 `1) 성과관리목표체계의 타당성, 2)전략목표(중장기 목표)와 성과목표(단년도 목표) 간의 연계성 확보 여부, 3) 전략목표 수단으로서 장기적 전략목표 달성을 위한 성과목표수립 여부, 4) 결과에 부합하는(정책의 최종효과를 파악할 수 있는) 수준의 성과목표 설정 여부, 5) 성과목표와 관리과제 간의 직접적인 논리적 연계성 측면` 이다.첫 번째로 `성과관리목표체계가 타당성을 가지고 있는가`에 대한 판단기준의 경우, 임무-비전-전략목표-성과목표-관리과제-성과지표(6단계)체계에서 정책에 대한 상위단계의 핵심을 그 하위단계 차원에서 제대로 반영하거나 제시하지 못하고 있다는 것이다. 즉, 상위단계의 핵심내용을 하위단계에서 반영하지 못하고 부수적이거나 지엽적인 내용을 포함한다면 전체적인 성과관리목표체계가 핵심영역에 집중하지 못하는 결과를 가져오기 때문에 목표체계의 타당성이 낮아진다는 것이다.두 번째 판단 기준인 `전략목표(중장기 목표)와 성과목표(단년도 목표) 간의 연계성이 확보되었는가`는 6단계의 성과관리목표체계 중 전락목표와 성과목표 간의 연계성에 초점을 두고 있다. 중장기 목표인 전략목표와 단기목표인 성과목표는 성과목표의 연이은 달성이 전략목표의 달성 결과와 직결되는 매우 긴밀한 관계를 가지고 있다. 따라서 단년도 계획인 성과관리시행계획서상이라도 중장기적 목표 안에서 당해 연도의 성과목표가 어떤 단계인지에 대한 유기적인 연계성을 반드시 설명할 필요가 있다. 그러나 우리나라의 성과관리시행계획서에서는 전략목표와 성과목표가 상ㆍ하위목표로서 차별화된 정책수단으로서의 상호 유기적인 연계성을 명확하게 가지고 있다고는 볼 수 없다. 즉, 기술적인 수준에서 전략목표-성과목표의 연계성을 설명ㆍ반영하지 않았다는 것이 문제의 핵심이다. 따라서 그 연계성을 나타내 주는 로드맵과 같은 그림을 성과관리시행계획서 안에 추가시키는 것 등의 일부 시도는 기술적인 측면에서는 전혀 이를 반영하지 못하고 있기 때문에 여전히 미흡하다 할 수 있다.세 번째로 `전략목표 수단으로서 장기적 전략목표 달성을 위한 성과목표수립을 하였는가` 기준의 판단결과, 전략계획서와 마찬가지로 성과관리시행계획서도 전략목표 달성을 위한 핵심영역만으로 설정되어 있지 않아, 성과목표를 수립함으로써 성과목표 달성이 곧 전략목표 달성의 수단이 되지 못하는 실정이다. 즉, 기관의 정책 우선순위를 반영하지 않고, 단순히 기관이 구성하고 있는 다양한 부처의 모든 업무를 성과관리시행계획서에 반영하기 위해 핵심이 아닌 영역까지 성과목표에 포함시키고 있다는 것이다.네 번째로 `결과에 부합하는(정책의 최종효과를 파악할 수 있는) 수준의 성과목표를 설정하였는가` 여부에 대한 판단기준의 경우, 우리나라의 성과관리시행계획서는 결과위주의 목표설정을 시도하고는 있지만 여전히 미흡한 것으로 나타났다. 즉, 단순히 정책산출물을 얻었는지만을 평가할 수 있을 뿐, 상위단계와의 체계적인 연계를 근거로 최종적인 효과를 달성했는지를 확인하기에는 미흡하다. 즉 산출이 아닌 결과위주의 목표설정이 부족한 것으로 나타났다.마지막으로 `성과목표와 관리과제 간의 직접적인 논리적 연계성이 있는가?`에 대한 분석 결과, 우리나라의 성과관리시행계획은 여전히 성과목표와 관리과제 간의직접적인 논리적 연계성이 없음에도 불구하고 과제로 설정된 경우가 많았다. 즉, 전략목표-성과목표의 관계에서와 마찬가지로 성과목표-관리과제의 관계에서도 관리과제가 성과목표의 핵심적인 영역만을 포함하고 있어야 한다. 그러나 우리나라의 성과관리시행계획에서는 기관의 각 부처업무를 모두 반영하기 위해 핵심영역만으로 관리과제를 압축ㆍ요약하여 구성하지 않고 있어 성과목표-관리과제 간의 논리적 연계성이 약하다 할 수 있다.다음으로 성과측정의 차원에서는 `1) 성과지표의 대표성 및 측정 가능성, 2) 성과지표의 목표설정 근거의 구체성, 3) 목표와 지표간의 공유성 및 일관성, 4) 조직성과와 개인성과간의 지표체계의 적절성, 5) 성과측정의 관대화 현상`의 총 5가지 영역으로 구분하여 실태분석을 시행하였다.첫 번째로 `성과지표의 대표성 및 측정 가능성이 있는가`에 대한 분석결과 우리나라의 성과관리시행계획의 성과지표는 관리과제의 핵심적인 업무를 반영하지 못하는 등 대표성을 갖지 않은 경우와 모호한 용어를 사용하거나 부적합한 척도를 사용하는 등 측정가능성이 떨어지는 경우가 많이 나타났다. 특히 성과지표의 대표성 측면에서는 지표의 기술방식이 결과 지향적이지 않거나 지표의 내용이 관리과제의 정책내용을 핵심적으로 모두 포함하지 않은 경우가 있었다. 또한 성과지표의 측정가능성 측면에서도 계량지표를 사용할 수 있음에도 비계량지표를 사용하거나 계량지표이지만 측정산식이 모호한 추상적 수준이기 때문에 측정가능성이 떨어지는 경우가 나타났다.두 번째로 `성과지표의 목표설정 근거의 구체성`에 대한 분석결과 우리나라의 성과관리시행계획은 성과지표의 목표설정에 대한 구체적인 근거를 제시하지 않거나 목표치를 하향 설정하는 경우가 있는 것으로 분석되었다. 특히 성과지표의 목표설정에 대한 구체적인 근거 제시 측면의 경우, 목표치 설정의 근거로서 이전까지의 실적 및 목표치를 제시하고 있다는 정도로만 단순하게 기술하고 있을 뿐 그 구체성이 미흡하다. 즉, 근거자료의 출처, 추세의 분석 등을 보다 구체적이고 논리적으로 설명하는 부분이 부족하다. 또한 목표치 하향설정의 측면의 경우 목표치 달성여부가 곧 성과달성 여부와 직결되기 때문에 도전적인 목표를 설정하기 않거나 핵심목표가 아니더라도 달성이 쉬운 업무를 성과목표치로 설정하는 경우가 나타났다. 특히 특별한 상황을 맞이하여 성과목표 하향설정을 한 경우 일반적인 목표치 설정보다 더욱 분석적이고 합리적인 근거를 제시해야 하지만 이것이 이루어지지 않고 있는 현실이다.세 번째로 `목표와 지표간의 공유성 및 일관성`에 대한 분석결과 우리나라의 성과계획은 부처 내 전략목표와 성과목표가 직급별로 공유되지 못하고, 직급별 성과지표 간의 일관성 역시 부족한 것으로 분석되었다. 특히 단순히 하부조직의 전략목표합을 상위 조직의 전략목표로 합하는 설정이 많아 상위조직 고유의 전략목표를 갖지 않는 경우가 많았다. 따라서 각 조직의 전략목표에 직급별 고유의 기능과 역할을 반영하지 못하고 있는 것이 현실이다. 반면에 직급별 성과지표가 전체적인 전략목표의 범주 내에서 일관성을 가지지 못한다는 점도 한계이다.네 번째로 `조직성과와 개인성과간의 지표체계의 적절성`의 측면을 살펴보면 우리나라의 조직성과와 개인성과는 유기적 연결의 필요성이 있음에도 불구하고, 조직성과지표에 따른 개인성과지표의 체계적인 설정이 부족하다. 특히 업무실적에 대한 구체적 사실근거 제시가 부족하고, 비계량평가지표가 필요한 경우가 있음에도 평가지표에 이를 반영하지 못하는 경향이 있다. 또한 업무추진실적을 부풀리는데 집중하고 있다는 한계를 가지고 있으며, 조직성과지표를 고위공무원단의 개인성과평가제도에 그대로 활용하는 경향이다. 또한 지표체계의 적절성 측면의 경우, 핵심 업무를 포괄하지 못하고 지엽적인 지표를 사용하는 경우가 많으며, 주요추진실적에 대한 기술의 양이 부처 내부에서 많은 편차를 보이고 있다.마지막 평가기준인 `성과측정의 관대화 현상이 있는가`의 경우, 우리나라의 고위 공무원단 성과평가결과를 살펴보면, 2007년 결과에서 전체의 80%가 우수한 것으로 평가 받는 등 성과측정의 관대화 현상이 나타났다. 2008년의 경우 이와 같은 경향이 완화된 것으로 나타났다.성과보상의 측면의 경우 `1) 성과보상기준 및 평가등급 결정의 적절성과 2) 성과급 등급 및 지급의 공정성ㆍ객관성`의 문제 지적이 가능하다. 먼저 성과보상 기준 및 평가등급의 적정성 측면에서는 성과기준의 합리성이 부족하여 상당부분이 객관적이지 않거나 공정하지 않고 성과와 보상이 연계되지도 못하고 있는 경우가 많다. 또한 일부기관에서 평가등급 설정기준과 직무성과계약 최종점검결과상의 등급결정이상이한 차이를 보이거나 등급결정 기준이 너무 추상적인 것도 한계이다.또한 성과등급 및 지급의 공정성ㆍ객관성 측면에서도, 일부기관에서 성과평가결과의 관대화 현상이 심해 성과평가결과와 성과연봉간의 상관관계가 낮은 경우가 여전히 나타났다. 그리고 성과달성을 위한 목표치 하향 결정의 경우는 많은 기관에서 발견되었으며, 인사관리에 평가결과를 반영하는 방식이 성과급의 지급에 한정되어 있는 경우가 많았다.성과보고 및 활용의 차원에서는 `1) 성과정보의 타당성, 2) 성과보고서의 타당성,3) 성과결과의 활용타당성`을 판단기준으로 설정하였다. 그 결과 우리나라의 성과보고서의 경우 성과정보의 타당성 측면에서는 성과달성에 대한 근거를 판단하는 성과정보가 기술되지 않거나 성과와 관련된 투입, 과정, 결과에 해당되는 정보 역시 제시하지 않은 경우가 많았다. 또한 성과보고서에서도 성과달성여부만 제시하고 있을뿐 인과분석을 하지 않거나, 인과관계를 제시하고 있더라도 추상적인 수준의 설명에 불과한 경우가 많았다. 마지막으로 성과결과의 활용 측면에서도 주요정책 성과결과가 각 부처의 주요업무계획과 개인성과 등에 반영되지 않고, 성과결과가 조직 및 인사에 반영되는지 여부에 대해서도 단지 반영 또는 참고한다고 언급하고만 있을뿐 구체적인 기준과 활용방안을 제시하지 못하는 것으로 나타났다.4. 호주ㆍ캐나다 성과관리시스템 사례분석호주와 캐나다의 성과관리시스템의 사례분석 결과를 요약하면 다음과 같다. 먼저 호주의 경우 첫째, 예산과 부처별 성과목표 달성을 철저히 연계하여 운영하고 있으며 둘째, 결과 중심의 성과관리를 목표로 하고 셋째, 「계획-집행-보고」의 3단계 구성을 모범적으로 운영하고 있다. 그 밖에 계획과 보고의 구체적 성과정보 제공을 들 수 있는데 부처성과계획과 보고에서 제시하고 있는 프로그램과 사업의 구체적 계획과 보고결과는 국ㆍ과ㆍ팀별 업무계획서와 프로그램 계획서를 부처성과와 연계하여 기술되고 있어 이에 대한 구체적인 성과정보를 확보할 수 있다. 부처 단위 계획서와 보고서에는 이에 대한 적절한 정보를 제공해 주고 있다. 다음으로 캐나다 성과관리체계를 요약하면 첫째, 캐나다는 결과 중심의 성과관리를 특징으로 하는 국가 중 하나이다. 둘째, 성과를 관리하는데 있어 「계획-이행-보고」의 3단계 구성을 지켜나간다. 셋째, 계획과 보고의 연계성을 강조하고 있다. 넷째, 예산과 부처별 성과목표 달성의 철저한 연계를 강조한다. 마지막으로, 특히 캐나다 성과계획과 보고에 있어서 두드러진 특징은 전년과 금년의 업무수행계획과 보고를 비교하고 있어 계속성과 변화발전을 추구하려 한다는 것에 특징을 둘 수 있다.5. 중앙행정기관 성과관리시스템에 대한 설문분석1) 설문조사 설계 및 분석 기법우리나라 중앙행정기관(중앙부처)의 성과관리제도의 전반의 운영실태, 문제점, 개선방안 및 성과관리시행 후 변화 등을 파악하기 위해 본 연구에서는 우리나라 39개 전체 중앙행정기관의 성과관리 부서에 근무하는 공무원을 대상으로 구조화된 설문지를 활용한 설문조사를 실시하였다.설문조사의 대상은 중앙행정기관의 성과관리부서에서 근무하고 있는 공무원으로 하였다. 그 이유는 성과관리 담당부서에 근무하는 공무원들이 다른 부서에서 근무하는 공무원들보다 성과관리제도에 대한 경험과 인식이 다른 부서에 근무하는 공무원들보다 전문화되어 있을 것으로 판단했으며, 이들의 성과관리제도에 대한 인식여하에 따라 성과관리제도의 전반의 운영이 달라질 수 있다고 판단하였다. 설문조사대상은 각 중앙행정기관의 성과관리 담당부서에서 성과관리 및 정부업무평가 등을 담당하는 공무원을 대상으로 하여 각 부처당 평균적으로 6∼7명 수준으로 하여 전체적으로 공무원 257명을 대상으로 설문조사를 하였고, 설문조사 방법은 방문, 전화, Fax, e-mail을 통하여 실시하였다. 설문조사에 이용한 통계분석방법으로 기술 통계분석, 교차분석(X2 분석), 부처 간 인식차이를 분석하기 위한 분산분석(ANOVA), 성과관리 운영실태 등을 독립변수로 하고 성과관리제도의 전반의 만족도 등을 종속변수로 하여 다중회귀분석(OLS), 성과관리의 영향요인들 간의 인과관계나 효과 등을 분석하기 위해 구조방정식 모형분석(Structural Equation Modeling) 등을 활용하였다.2) 성과관리제도 운영실태에 대한 설문분석성과관리제도 운영실태에 대한 중앙행정기관 공무원들의 설문조사 결과를 요약하면 다음과 같다. 첫째, 성과관리부서에 근무하는 공무원들은 성과관리전략계획 및 시행계획에 대한 설문조사에서 평균적으로 3.50점(5점척도 측정기준, 100점 기준으로 70점 이상)으로 나타나 대체로 성과관리계획이 긍정적으로 운영되고 있다고 평가하였다.둘째, 성과관리전략계획 및 시행계획에 있어서의 성과측정에 대한 설문분석 결과, 전략목표에 근거하여 성과목표의 핵심내용이 반영되고 있고, 이를 측정하기 위해 각 부처에서는 정성지표보다는 정량지표를 많이 활용하고 있는 것으로 나타난 반면, 이미 목표달성한 지표의 소흘화 경향이나, 달성하기 쉬운 성과지표에 집중하거나 달성하기 어려운 성과지표에 대한 포기경향은 심하지 않은 것으로 나타났다.셋째, 중앙부처의 성과관리부서에서 근무하는 공무원들은 성과보상에 대해 성과보상기준이나 성과급 등급이 비교적 합리적이고, 성과보상이나 성과급 지급이 비교적 공정하고 적절하다고 판단하고 있는 것으로 나타났다.넷째, 성과관리시행계획의 성과정보의 활용에 대한 설문조사 결과, 중앙부처들이 성과정보를 주로 성과급 관리나, 조직목표수립 및 주요정책결정에 상대적으로 많이 반영/활용하고 있는 반면, 조직관리, 예산편성, 인사관리 등에 반영/활용은 상대적으로 저조한 것으로 나타났다.다섯째, 중앙행정기관들의 전반적인 성과관리의 운영실태 중 전략목표와 성과목표 간의 연계, 개인성과와 조직목표 간의 연계, 조직목표달성여부에 대한 정보수령여부, 개인성과와 조직성과와의 연계, 부서의 성과측정은 상당히 잘 운영되고 있다고 평가한 반면, 개인 및 조직의 성과결과에 대한 수용성이나 조직우선순위결정시성과정보 활용이나 세부실천계획, 개인성과 개선을 위한 정보수령 등에 있어서는 운영이 상대적으로 저조한 것으로 나타났다.여섯째, 성과관리제도 도입이전과 비교하여 도입이후 성과관리제도로 인해 조직성과와 개인성과의 향상이 있었고, 현재의 성과관리제도가 잘 작동하고 있어서 전반적으로 만족하고 있는 것으로 나타났다.일곱째, 현재 중앙부처에서 성과관리제도를 활용하는 주요 목적으로 성과관리를 통해 조직의 목표 및 전략을 수정하고, 성과평가결과에 따라 성과급을 배분하고, 효율적인 업무배분 및 수행, 포상, 승진 등 인사관리와 정책결정에 주로 활용하고 있는 것으로 나타났다.여덟째, 성과활용단계에서 제도와 현실의 운영이 많은 괴리가 있는 것으로 나타났다. 또한 성과측정단계, 전략·목표수립단계, 성과보상단계 등도 상당부분 제도와 실제 운영에 많은 불일치가 있는 것으로 나타났다.아홉째, 개인성과등급이 매우 높은 공무원들은 성과관리에 보다 적극적으로 동의한 반면, 우수나 보통이하의 공무원들은 성과관리에 대해 다소 부정적인 의견이 더 많은 것으로 나타났다.열 번째, 현재 성과관리부서에서 근무하는 공무원들은 성과지표 개발을 위한 우선적인 원칙으로 목표설정의 적절성, 기관핵심업무의 반영정도, 목표와 결과간의 인과성, 목표달성정도의 측정가능성 순으로 고려되는 것이 바람직하다고 평가하였다.열한 번째, 현재 성과관리제도의 문제점들에 대한 주요 원인은 성과지표 등 성과측정의 문제가 가장 크고, 그 다음으로 성과보상/인센티브 미흡, 평가결과의 활용의 미비, 성과관리인력 및 전담조직 부족, 성과관리제도의 현실적 부적합성이나 불신, 기관장의 의지 부족, 성과관리계획의 비현실성, 부처 자율성 부족 등 복합적인 요인들에 의해 영향을 받고 있는 것으로 나타났다.열두 번째, 정부업무평가기본법 하에서의 성과관리 운영상의 문제점으로 도전적인 성과목표 설정의 기피, 성과계획과 연초 업무계획 간의 별개 운영, 평가결과에 대한 낮은 수용성의 문제, 정부업무평가와 재정사업평가 간의 연계 부족, 정부업무평가결과와 성과관리시스템 운영의 연계 부족 등이 지적되었다.열세 번째, 현재 정부업무평가제도 상에서 효율적인 성과관리를 추진하기 위해서는 우선 부처별 자율성을 부여하고 결과에 책무성을 강조하는 것이 바람직하다. 또한 성과관리의 절차나 규칙의 준수보다는 정책성과 달성에 초점을 두고, 평가결과를 정책개선, 인사/조직/재정 등에 적극적으로 환류하여야 하고, 성과와 보상의 연계를 확대하는 것이 필요하다. 또한 전략과 목표에 입각한 엄격한 사업계획과 업무관리가 필요하고, 성과관리계획 수립시 성과지표의 대표성을 확보할 수 있도록 하는것이 필요하다.열네 번째, 현재의 정부업무평가기본법 내에서 성과관리와 평가가 이원적으로 운영되고 있는 현상에 대해 조사대상 공무원의 약 87% 정도가 현재의 평가법이 성과관리를 담기에는 문제가 있기에 새로운 성과관리법을 제정하거나 현재의 정부업무평가기본법을 개정하는 것이 필요하다고 평가하였다.열다섯 번째, 부처의 성과관리제도의 전반적 만족도를 향상시키기 위해서는 성과관리 시행계획에 따라 성과활용을 높이고, 성과관리제도 전반의 운영을 원활히 하고, 직무성과계약의 성과보상을 합리적으로 하여야 하는 것으로 나타났다.마지막으로, 성과계획요인이나 성과보상요인은 95%의 신뢰구간에서 성과관리 만족도에 영향을 미치지 못하는 것으로 나타난 반면, 성과활용요인은 성과관리 만족도에 통계적으로 유의하게 영향을 미치는 것으로 나타났다. 이는 성과계획이나 성과보상보다는 성과활용이 원만히 잘 이루어지는 경우에 성과관리에 대한 만족도가 높다는 것을 의미한다. 또한 성과관리의 만족도와 성과향상과는 통계적으로 유의한 관계에 있는 것으로 나타났는데, 이는 성과관리에 대한 만족도가 높을수록 성과향상으로 이어진다는 것을 의미한다.6. 정책제언본 연구에서는 성과관리제도의 활성화를 위한 정책제언을 크게 세 부분, `1) 성과관리제도 제도적 측면, 2) 성과관리제도 운영적 측면, 그리고 3) 성과관리제도 인식적 측면`으로 구분하여 제시하였다.먼저, 성과관리제도의 제도적 측면의 개선방안으로는 첫째, 중앙행정기관들의 성과관리제도와 실제 운영이 긴밀히 연계되도록 성과관리제도의 개선이 필요하다. 둘째, 연도별 성과목표 및 성과지표 설정의 근거 및 논거가 구체적이어야 하고, 성과관리시행계획 수준에서는 구체적인 세부사업 및 성과지표를 설정하여 제시할 필요가 있다. 셋째, 궁극적으로 성과관리 본연의 목적에 부합하는 이른바 `통합성과관리기본법`(가칭)의 제정이 필요하다. 넷째, 합리적인 성과지표의 개발이 필요하다. 다섯째, 우리나라도 캐나다의 경우와 같이 성과목표 달성 관련 정책수행에 대한 설명을 반영하여 기술하는 방안을 마련할 필요가 있다. 여섯째, 기관의 전략계획의 수립에 있어서 성과관리와 예산은 매우 밀접하게 연계되어 운영될 필요가 있다. 일곱째, 우리나라도 부처의 운영상 우선순위가 무엇이고 그 진행 상태는 어떠한지, 우선순위와 전략결과가 어떻게 연결되는지, 그리고 왜 이것이 우선순위로 설정 되었으며 우선순위에 맞추기 위해 어떤 계획을 세우는지 등에 대해 상세히 제시할 필요가 있다. 여덟째, 성과지표의 대표성과 측정가능성을 높일 필요가 있다.다음으로, 성과관리제도의 운영적 측면의 개선방안으로는 다음과 같다. 첫째, 중앙부처의 성과관리는 부처의 자율성을 강화하면서도 결과에 대한 책무성을 강화하는 방향으로 성과관리가 운영될 필요가 있다. 둘째, 도전적인 성과목표를 설정할 수 있도록 장려하는 방안 마련이 필요하다. 셋째, 중앙행정기관의 경우 상위목표인 전략목표와 이를 실행하기 위한 하위목표인 성과목표로 이르는 단계는 보다 체계적인 논리를 가지고 정책우선순위에 맞춰 정책목표와 책임을 구성할 필요가 있다. 넷째, 성과보고서의 성과달성에 대한 인과분석과 구체적이고 명백한 논거를 제시할 필요가 있다. 또한 성과보고서 개선차원에서, 보고서의 목적과 범위를 명확하게 하고 다양한 계층의 정보를 포함하며 정책결과에 대한 분석을 수행할 필요가 있다. 다섯째, 성과관리전략계획 상의 연도별 성과목표 및 성과목표치에 대한 기술은 구체적인 설정의 근거 및 논거에 대한 설명이 필요하다. 여섯째, 부처의 성과관리시행계획과 연초 업무계획 간의 긴밀한 연계가 필요하다. 일곱째, 정부업무평가와 재정사업평가 간의 성과관리 연계의 강화가 필요하다. 여덟째, 성과관리시행계획상의 성과지표목표설정에 대한 근거 제시는 목표치에 설정에 대한 합리적 근거자료와 출처 제시가 필요하다.마지막으로 성과관리제도의 인식적 측면의 개선방안은 다음과 같다. 첫째, 성과관리에 대한 지속적인 교육과 훈련이 필요하다. 둘째, 개인이나 조직의 성과평가 결과의 수용성을 높일 필요가 있다. 셋째, 어떤 정책 산출물(output)에 대해 책임을 담당하는 부서가 어디이며, 그 국 책임 하에 보다 구체적인 프로그램이 어떻게 운영되는지를 명확하게 규정하여야 한다. 넷째, 성과관리 담당공무원들에 대한 인식전환 및 그들의 역량을 강화하는 방안 마련이 필요하다. 다섯째, 성과정보가 조직관리, 예산편성, 인사관리 등에 보다 적극적으로 활용되도록 심도 있는 성과정보 활용방안 마련이 필요하다. I. Research Background and Objective□Background of the Research○The Korean central government has operated a performance management system such as job- performance- contract, Balance Scorecard (BSC), and self- performance management since the 2000s; nonetheless, there exist some problems such as insufficient connection between organizational and individual performances.- There also is little research that provides a systematic connection between the individual performance system and the organization performance management system such as BSC, strategic management, and the Performance Management Plan(PMP). The PMP is a performance plan report in which each government department should make a plan for working in the upcoming year based upon the Government Performance Evaluation Act.□Objective of the Research○The purpose of this paper is to provide an analysis and improvement of the Korean performance management system by examining actual conditions in terms of contentment, comparison, and recognition regarding the performance management system. This research analyzes three aspects: 1) analysis of the current operation condition of the Performance Management Plan, 2) foreign cases about the operation of the performance management system, and 3) public employees` survey regarding the performance management system. This analysis identifies the problems of the performance management system in the Korean central government. The ultimate goal of this work is to provide policy implications and suggestions to improve the Korean performance management system.II. Analysis Results○First, in terms of the performance plan aspect, Performance Management Plan reports only provide the basis of strategic objectives with a broad socio- economic background, rather than a detailed analysis and logical basis of annual performance objectives. The performance management strategic plan of the Korean central government lists all kinds of policies in parallel fashion, without explaining a long- term policy implementation plan in detail for achieving higher- level objectives. There also is a lack of connection between strategic and performance objectives in the Performance Management Plan; that is, the Performance Management Strategic Plan report does not provide specific information on the setting process of each performance objective and a specific method regarding a longterm policy implementation plan. The higher- level policies in the Korean Performance Management Strategic Plan cannot reflect the lower level policies in the hierarchical performance plan system, a key aspect of mission- vision- strategic goals- performance objectivesmanagement targets- performance indicators. The Korean Performance Management Strategic Plan does not include the policy priorities of each government agency and key areas to apply to all departments` work. There is no close connection between performance objectives and management targets in the Korean Performance Management Strategic Plan.○Second, in terms of the performance measurement aspect, performance indicators in the Korean Performance Management Plan cannot reflect the main work of management projects; there is the low feasibility of measurement due to vague words and inadequate measurement. It also does not provide a concrete basis for setting objectives of performance indicators. Despite the need for consistency between organizational and individual performance, the systematic connection between organization and individual performance is lacking. Performance indicators also have a tendency to overestimate real performance, and to exclude important missions and tasks.○Third, in terms of the performance reward aspect, the standard for performance rewards and the classification of evaluation are not rational, objective, and fair. Also, there is no close connection between performance and reward. There is a significant difference between the standard of evaluation classification and public employees` performance contracts in some government agencies, and the standard of evaluation classification is abstract.○Fourth, in terms of the report and use of performance aspect, performance information does not have validity because it cannot show the degree of performance achievement in each stage (i.e., input, process, and outcome). The results of policies` performance are not based upon the Performance Plan of each government agency and individuals` performance.○Fifth, results of Australian and Canadian case studies provide a significant comparison to the operation of the Korean performance management system. In terms of the middle- or short- term performance management plan, the Australian government emphasizes the roles of government agencies, the setting of priority for their visions and the setting of the mission every three years. A one- year plan includes concrete performance objectives and the setting of work plans for low- ranking departments or teams. The Australian performance management plan also features a close connection between budget and performance objective achievement, establishes results- oriented performance management, and executes three associated steps of plan- implementation- and- report. The Performance Plans and reports offer concrete plans, and the results of reports link to departments or teams` work and program planning; therefore, they include significant performance information. In the setting of rational performance indicators aspect, Canadian and Australian governments are trying to emphasize the system setting of the basis or method of performance indicators, not the description of performance indicators. The Australian case provides significant comparison with regard to concrete information for public agencies, and the Canadian performance plan has also offered the comparison between successive years` performance programs. In the connection between budget and performance aspect, the two cases have provided the results of budget operations relative to the Performance Plan and Report. In regard to middle or long term objective setting, they suggest the definite role and priority of public agency. In terms of the responsibility for policy outcomes, they stress the accountability of each public agency and the priorities of government agencies in the middle or long term objective setting.○Finally, in terms of the utilization of performance aspect, there are a lot of gaps between the performance system and the current condition of performance operation. For instance, gaps exist in the step of performance measurement, setting of objectives, and rewards. Higherperforming public employees support the system of performance management; however, the average or lower- performing public employees are against the idea. Public employees suggest preconditions such as the propriety, the degree of reflecting main works, the causality between objective and result, and the possibility of the measurement of an achieving objective. There are many problems for the performance management system such as the measurement of performance, the inadequate performance reward/incentive, the incomplete use of performance results, the lack of professional employees, the distrust of the current performance management system, the lack of will by the chief, and the lack of agency autonomy. There also exist operational problems such as the evasion of setting moral performance objectives, the separate operation of the performance plan and the beginning work plan each year, the lowapplication of performance results, the lack of connection between government performance evaluations and financial work evaluations, and the lack of connection between government performance evaluation results and performance management operations in the law of government work evaluation. Public agencies need autonomy for effective performance management related to accountability in the current government work evaluation system. Also, government agencies focus on the achievement of policy performance, rather than on the process or observance of performance management. 87 percent of those surveyed suggest that the Act of Government Performance Evaluation should be amended or a new law created such as (so- called) the Act of Performance Management because the present law has dual conflicting functions such as performance management and evaluation. Finally, government agencies have to provide rational rewards to individuals and organizations for enhancing the overall satisfaction of the performance management system.III. Policy Recommendations ○In terms of the institutional aspect, central government agencies should make a tight- knit connection between the performance management system and the reality of the system. They need to offer a concrete basis for setting performance objectives and indicators. They should also provide concrete performance plan performance indicators in the level of performance management implementation plan. They need to establish `the law of United Performance Management` (tentatively named) and to develop rational performance indicators. The Korean central government needs to consider the Canadian performance management system in this regard. In Canada, there is a close connection between performance management and budget in setting strategic plans. The Korean central government should consider the priorities for operations, the connection between the priorities and strategic results, and so on. It is important to enhance the representativeness of performance indicators and the feasibility of performance measurement.○In the operational aspect of the performance management system, the central government performance system has changed in the direction of reinforcing autonomy and accountability. Korean government agencies should be encouraged to set challenging performance objectives. They also need to link upper strategic objectives into lower performance objectives with a consistent logic. Also, performance reports need to provide a cause- and- effect analysis and obvious evidence related to performance achievement. Performance reports have to include varied information and analysis of policy outcomes, as well as to provide the report`s goals and range clearly. Performance reports need to explain the concrete basis of annual performance objectives and the expectations of performance objectives. Government agencies need to make a close connection between the performance management implementation plan and the annual work plan and should establish a close connection between government performance evaluation and fiscal management evaluation. They have to provide the rational background or basis of setting performance indicators related to performance objectives.○Finally, in terms of the recognition aspect of the performance management system, public employees need continuous education and training related to performance management. Korean government agencies need to enhance the utilization of individual and organization performance results. Government agencies should stipulate which department has the responsibility for policy outputs or how a program for performance management operates. Public employees need to change their recognition and to reinforce their capabilities. Korean government agencies should apply performance information to organization, budget, and personnel management more practically.

Evaluation of MUF Uncertainty Based on GUM Method for Benchmark Bulk Handling Facility

Hyun Cheol Lee,Jung Youn Choi,Hana Seo,Hyun Ju Kim,Yewon Kim,Haneol Lee 한국방사성폐기물학회 2023 한국방사성폐기물학회 학술논문요약집 Vol.21 No.2

The Republic of Korea (ROK), as a member state of the IAEA, is operating the State’s System of Accounting for and Control (SSAC) and conducting independent national inspections. Furthermore, an evaluation methodology for the material unaccounted for (MUF) is being developed in ROK to enhance capabilities of national inspection. Generally, physical and chemical changes of nuclear material are unavoidable due to the operating system and structure of facilities, an accumulation of material unaccounted for (MUF) has been issued. IAEA developed statistical MUF evaluation method that can be applied to all facilities around the world and it mainly focuses on the diversion detection of nuclear materials in facilities. However, in terms of the national safeguard inspection, an evaluation of accountancy in facilities is additionally needed. Therefore, in this research, a new approach to MUF evaluation is suggested, based on the Guide to the Expression of Uncertainty in Measurement (GUM) that an evaluation of measurement uncertainty factors is straightforward. A hypothetical list of inventory items (LII) which has 6,118 items at the beginning and end of the material balance period, along with 360 inflow and outflow nuclear material items at a virtual fuel fabrication plant was employed for both the conventional IAEA MUF evaluation method and the proposed GUM-based method. To calculate the measurement uncertainty, it was assumed that an electronic balance, gravimetry, and a thermal ionization mass spectrometer were used for a measurement of the mass, concentration, and enrichment of 235U, respectively. Additionally, it was considered that independent and correlated uncertainty factors were defined as random factors and systematic factors for the ease of uncertainty propagation by the GUM. The total MUF uncertainties of IAEA (σMUF) and GUM (uMUF) method were 37.951 and 36.692 kg, respectively, under the aforementioned assumptions. The difference is low, it was demonstrated that the GUM method is applicable to the MUF evaluation. The IAEA method demonstrated its applicability to all nuclear facilities, but its calculated errors exhibited low traceability due to its simplification. In contrast, the calculated uncertainty based on the GUM method exhibited high reliability and traceability, as it allows for individual management of measurement uncertainty based on the facility’s accounting information. Consequently, the application of the GUM approach could offer more benefits than the conventional IAEA method in cases of national safeguard inspections where factor analysis is required for MUF assessment.

장애인 체육을 위한 측정 : 검사도구의 개발과 평가 및 활용방안

정연택,김한철 한국지체.중복.건강장애교육학회 2008 지체.중복.건강장애연구 Vol.51 No.4

The purpose of this study was to examine the measurement and evaluation methods applied to disability sport activities, in order to develop appropriate evaluation criteria for the accuracy and efficiency of such measurement. In order to achieve measurement results that are appropriate for the characteristics and status of the disabled, appropriate measurement evaluation should be conducted by developing examination devices that consider the importance not only of physical examination but also of psychological examination. For the usage of examination devices, continuous research is required in order to improve the reliability and validity of foreign devices when applied in a korean context. In addition, research is also required that studies the application of computerized measurement methods and their results. In this study, I am focusing on the potential and the future applications of examination devices for disabled people in korea. The measurement and evaluation methods for the disabled should consider the essence and characteristics of disability sport, and we should seek methods that can enable disabled people to participate in sport activities with interest and commitment. 장애인들의 체육활동을 대상으로 측정과 평가에 대한 것을 고찰한 것으로써 검사의 정확성과 효율성에 대하여 평가기준을 발전시키는데 목적을 두고 있다. 장애인들의 특성과 수준에 적합한 측정을 하기위해서 신체적 뿐만 아니라 심리적 검사의 중요성과 검사도구의 개발로 적절한 측정과 평가가 이루어져야 한다. 검사도구의 사용에 있어서 외국도구들을 우리나라에 적용시키기 위해서는 타당도와 신뢰도를 높이기 위한 연구가 계속 필요하며, 컴퓨터에 의한 전산화된 측정방식의 활용성과 그 결과분석에 대한 연구의 필요성을 제시하고자 한다. 이 리뷰논문에서는 우리나라의 장애인들에게 적용되어야할 검사도구의 발전 가능성과 나아가야할 지향점을 찾는데 중점을 두고 있다. 장애인들의 측정과 평가방법에 대한 노력은 장애인들의 체육에 대한 본질과 특성을 고려한 시각에서 시행되어져야 할 것이며, 보다 많은 관심과 흥미를 가지고 장애인들이 참여할 수 있는 방법을 모색하여야 할 것이다.

국내 개인상담 성과의 측정 및 평가에 대한 분석: 학술지 '상담학연구'와 '한국심리학회지: 상담 및 심리치료'를 중심으로

왕은자,유정이,김선경 한국상담학회 2018 상담학연구 Vol.19 No.5

Scientific and concrete evaluation of counseling outcomes is a foundation of the effective counseling. This study analyzed 76 studies published on <Korean Journal of Counseling> and <Korean Journal of Counseling and Psychotherapy> to investigate measurement tools, measurement areas, and other trends in evaluation. First, as a result of analyzing the measurement tools used to measure individual counseling outcomes, SEQ(Session Evaluation Questionnaire), CSQ(Counseling Satisfaction Questionnaire), CRF(Counseling Rating Form), WAI(Working Alliance Inventory), SCL-90-R(Symptom Checklist-90-Revision) were mainly used. Most of the measurement tools measured clients’ emotional changes rather than specific symptoms or functional improvements after the counseling session or after counseling. Second, the measurement areas do not come under major areas like general stress, specific symptoms, health and functional level. Finally, the analysis of other trends related to the measurement tools and measurement areas was divided into measurement development, individual counseling effectiveness index, qualitative studies related to counseling outcomes, and other trends. Based on these results, we discussed implications for the concept of counseling outcomes, the level of measurement and measurement area, and methods for assessing alternative effects. 상담 성과의 과학적이고 체계적인 측정 및 평가는 상담학 발전의 중요한 계기가 된다. 본 연구는 국내의 양대 학회지인 <상담학연구>와 <한국심리학회지: 상담 및 심리치료>에 게재된 논문 중에서 개인상담 성과를 측정 및 평가하거나 탐색한 76편의 연구를 대상으로 성과 측정에 사용된 측정도구의 빈도 및 특징, 측정영역, 측정 및 평가의 기타 동향을 분석하였다. 연구 결과 첫째, 개인상담 성과의 측정도구 사용빈도는 회기평가질문지(SEQ), 상담만족도질문지(CSQ), 상담 성과질문지 등의 순으로 나타났으며 SEQ와 CSQ가 압도적으로 자주 사용되었다. 측정도구를 Orlinsky, Grawe와 Parks(1994)가 구분한 측정수준으로 분석했을 때 대부분 회기 직후의 성과와 여러 회기 후의 상담 성과를 내담자 관점에서 리커트 방식으로 측정하고 있었다. 둘째, 측정도구의 측정영역을 일반적 스트레스, 특정증상, 건강과 기능수준, 기타로 구분하였을 때 도구들은 주로 기타에 해당되는 영역, 즉 즉시적 성과나 과정 성과 등을 측정하였다. 마지막으로 개인상담 효과의 측정 및 평가와 관련된 기타 동향을 분석한 결과, 성과 측정도구 개발, 개인상담 효과의 지수 및 준거 탐색, 상담 효과 경험 관련 질적 연구 및 기타 동향으로 구분되었다. 이러한 결과를 바탕으로 현장에서 실제 상담의 효과를 측정 및 평가할 때 고려해야 할 상담 효과의 개념, 측정수준 및 측정영역, 대안적인 효과 평가의 방법 등에 대한 시사점을 논의하였다.

패키지디자인 평가척도의 실증적 검증 연구 - 제품유형(고관여 이성, 저관여 감성)에 따른 패키지디자인 평가 -

한승문 한국브랜드디자인학회 2014 브랜드디자인학연구 Vol.12 No.1

패키지디자인은 제품의 성격이나 얼굴과도 같은 역할을 함으로서 판매나 매출 면에서 그 역할이 매 우 중요하다. 그러나 현대와 같이 다양한 제품의 시대에 있어서는 어떠한 디자인이 소비자에게 더 어필할 수 있는가를 판별하기란 매우 어려운 일이라고 봐야 할 것이다. 따라서 보다 과학적인 방법 으로 디자인을 선택하고 진단할 수 있는 도구를 제작함에 필요성을 느끼게 되었다. 금번 연구에서 는 선행연구에서 개발한 패키지디자인 평가척도의 활용가능성에 대하여 실제적 검증을 하였다. 연구절차에 따라 최종적으로 우유제품군을 평가대상으로 선정하였으며, 대학생 293명을 대상으로 고관여 이성제품으로 ‘칼슘밸런스우유’를, 저관여 감성제품으로 ‘맛있는 우유GT’의 패키지디자인을 평가하였다. 평가는 선행연구에서 개발한 6개의 평가차원(심미성, 주목성, 신뢰성, 독특성, 연관성, 기능성)과 제품유형에 따른 4개의 평가요인(브랜드요인- 코포레이트심볼, 브랜드로고타입 요소/ 비주얼요인- 컬러, 레이아웃, 일러스트레이션, 엠블렘 요소/ 형태요인- 형태, 용기 및 포장재질/ 카 피요인- 카피 요소)에 10개 하위항목을 대상으로 평가하였다. 평가를 통해 패키지디자인의 각 요소별로 주목성, 신뢰성 등 6개의 평가차원에 대해서 어떠한 부분 이 더욱 중요하게 인식되는가의 여부를 알아낼 수 있었다. 이와 같은 평가척도의 활용과 검증에 대한 연구를 통하여 패키지디자인을 평가할 때, 개인의 주관 적인 판단 방법에서 탈피하여 객관적인 평가가 가능함을 증명하였다. 아울러 이러한 연구방법은 패 키지디자인의 각 요소별로 어떤 부분이 좋고 나쁜 가의 여부를 판별하여 구체적으로 문제점을 진단 , 평가하는 도구로 사용되어질 수 있으리라 사료된다. Package Design has important role in sales as it represents as a face or the character of the goods. However, in such modern era where so many goods are flooding, it is hard to tell which design would appeal more attractive to the consumers. Therefore I felt there needs a kind of measurement that could help to choose and diagnose a design technically. In this research, I authenticated positive methods of the possibility of using measurement and diagnostic evaluation effectively through advanced theoretical studies. Following the research order, I nominated milk product family as my targeted object for evaluation. 585 college students each surveyed on package designs of high involvement product 'calcium balanced milk', and low involvement product 'delicious milk GT'. The evaluation was done with 6 levels of evaluation (esthetic factor, attractiveness, reliability, uniqueness, associability, functionality) which was developed by advanced research, and 4 evaluation factor (Brand factor-corporate symbol, type of brand logo/ Visual factor-color, layout, illustration, emblem/ Form factor-form, container and quality of the package/ Copy factor-copy) on ten different sub-categories. Through the evaluation, I found out which parts of the 6 levels of evaluation is considered more important. As a result, when evaluating a package design through the measurement standard and diagnostic evaluation research, it ables the observer to be unleashed from own perception and evaluate the design subjectively. Additionally, diagnostic evaluation is considered as a measurement that would concretely diagnose the problems of package design by discriminating pros and cons of the goods and its package design.

토픽 모델링을 활용한「교육평가연구」학술지의 연구 동향 분석

유예림,김지은 한국교육평가학회 2023 교육평가연구 Vol.36 No.3

This study aims to explore research trends in educational measurement and evaluation by applying text-mining and analyzing the abstract of 969 articles published in the Journal of Educational Evaluation from 1993 to 2022, published by the Korean Society for Educational Evaluation. The main findings from keyword frequency analysis and topic modeling analysis based on LDA algorithm are as follows. First, keywords such as ‘student,’ ‘question,’ ‘test,’ ‘model,’ ‘evaluation,’ ‘estimation,’ ‘academic achievement,’ and ‘ability’ were generally mentioned as necessary in abstracts from the journal, and the main keywords changed over time. Second, a total of 12 topics appeared, including ‘the Item Response Theory model’, ‘development and validation of measurement tools’, ‘analysis of the factors influencing academic achievement’, ‘program evaluation and performance assessment’ and so on. Third, the ratio of the 12 topics that represent research trends changed with time. Especially, the topics of ‘analysis of factors influencing academic achievement’, ‘the Item Response Theory model’, and ‘teacher evaluation and student assessment’ had an increasing trend. In contrast, the topics of ‘computer-based evaluation’, ‘college entrance exam’, and ‘program evaluation and performance assessment’ had a decreasing trend. Lastly, the traits of research trends in the South Korean educational measurement and evaluation shown in the Journal of Education Evaluation were analyzed and future development and improvement tasks were discussed.

HRD 평가의 미래에 대한 델파이 연구

박소연 ( Park So-youn ) 한국인력개발학회 2016 HRD연구 Vol.18 No.4

본 연구는 HRD 평가의 미래 탐색을 통해 HRD의 변화 방향을 전망하고, 나아가 HRD의 질관리를 위한 시사점을 도출하는 것을 목적으로 한다. 이를 위하여 HRD 전문가 19명을 대상으로 이메일을 활용한 표준 델파이를 3차에 걸쳐 실시하였다. HRD 평가에 대한 전망 (projection)과 기대(expectation)를 분석하고, 포트폴리오분석을 통해 4개 유형으로 분석하여 HRD 평가의 접근방향, 평가대상, 평가방법, 평가도구, 평가주체 측면에서 종합적으로 분석한 결과는 다음과 같다. 첫째, 접근방향 측면에서 HRD 평가는 경영 관점을 더욱 적극적으로 반영하게 될 것이다. 즉, 향후 HRD 평가에서는 조직의 경영성과와 연관된 결과 중심의 평가가 강조될 것이며, 경영의 언어로 표현된 평가 강화될 것이다. 둘째, 평가대상측면에서 HRD 평가는 확대 및 다양화 될 것이다. 즉, 이제까지의 HRD 평가가 주로 교육훈련 프로그램을 대상으로 하고 있다면, 앞으로는 평가 대상이 조직 및 개인으로 확대되고, 훈련 외 다양한 개입(intervention)에 대한 평가로 확대될 것이다. 셋째, 평가방법 측면에서 HRD 평가는 정성평가에도 관심을 기울이게 될 것이다. 물론 정량적 평가방법은 기존과 같이 향후에도 지속적으로 강조될 것으로 전망된다. 넷째, 평가도구 측면에서 HRD 평가는 평가의 효율성을 향상시키기 위해 노력할 것이다. 그리고 이를 위하여 통합적, 시스템적, 기술적 접근이 보다 적극적으로 검토될 것이다. 다섯째, 평가주체 측면에서 HRD는 평가전문성을 강화할 것이다. HRD 담당자의 평가 전문성 강화를 넘어, 조직 차원에서 평가 역량을 지닌 인재를 필요로 하게 되면서 평가 전문가 육성을 위한 프로그램이 개발 및 운영되게 될 것이다. 이러한 변화를 고려할 때, 향후 HRD 평가의 이론적, 실천적 발전을 위하여 해결해야 할 문제를 제안하였다. The purpose of this study is to exploring the future of evaluation in HRD. A three-round Delphi technique was used to collect data through a series of surveys to obtain the consensus of a group of experts in HRD. In the first round, and unstructured questionnaire was sent to experts who were qualified to respond to describe the future of evaluation in HRD. In the second round, the summarized results of the first round were distributed to round-two respondents to rate the feasibility and preference of each 33 item for confirmation and validation of the results. In the third, the same procedure as in the second round was repeated to obtain the consensus of the experts on the future of evaluation in HRD. Data were analyzed using content analysis, descriptive statistics and portfolio analysis. The results of this study are summarized as follows: First, in terms of evaluation orientation it will reflect the business needs more actively and the process and result of evaluation will be communicated in more business-friendly language. Second, in terms of evaluand it will be expanded from training programs to individual and organizational competencies and diversified including non-training interventions. Third, in terms of evaluation method qualitative evaluation methods will be emphasized as well as quantitative evaluation methods continue to emphasize in the future as existing. Forth, in terms of evaluation tool more integrated, systematic and technical approach will be adopted to improve the efficiency of evaluation. Fifth, in terms of evaluator the needs for evaluation expertise will be increased and evaluation professional development will be required. Based on the findings of this study, several questions should be answered were proposed for the theoretical and practical development evaluation in HRD.

한국에서 교육평가학의 출현과 재맥락화: 해방 이후부터 1960년대까지를 중심으로

조영화(Cho, YoungHwa),손준종(Son, JoonJong) 한국교육사회학회 2021 교육사회학연구 Vol.31 No.4

한국에서 교육평가학은 해방 이후 미국으로부터 교육평가 관련 지식, 기법, 담론이 빠르게 이식되는 과정에서 제도화되었다. 이 연구의 목적은 해방 이후부터 1960년대까지 한국에서 교육평가학의 초기 제도화를 중심으로, 서구의 교육평가 담론이 누구에 의해 어떻게 도입되었고, 어떻게 구성되었으며, 당시 한국적 상황에서 어떻게 재맥락화되었는지 분석하는 것이다. 이러한 연구 목적을 달성하기 위해 해석적 역사사회학 방법을 활용하여 교육평가 담론을 분석하였다. 연구 결과는 다음과 같다. 첫째, 한국에서 교육평가학은 해방 이후 문화적 헤게모니의 재편과 교육학의 분화 과정에서 정범모로 대표되는 미국 유학 출신의 교육평가 전문가들이 미국으로부터 교육평가 관련 지식들, 기법들, 담론들을 번역하고 이식하는 과정에서 출현한 것이었다. 둘째, 해방 이후 출현한 교육평가 담론은 Tyler식 평가 개념과 이론을 중심으로 하여 교육평가의 정체성을 규정함과 동시에 실증주의 및 합리주의에 기초한 기술적 지식과 과학적 측정의 중요성을 강조하는 것이었고, 이러한 평가 담론과 측정 담론의 병존에 따라 교육평가학 내부에 담론적 긴장이 발생하였다. 셋째, 해방 이후 출현한 교육평가 담론은 당시 한국의 담론적, 사회적 조건들과 실천들 속에서 재맥락화된 것이었다. 이에 따라 교육평가 개념의 외연은 확장된 반면 Tyler식 평가 개념이 내포하고 있던 함의는 축소되었고, 교육평가의 교수․학습 개선을 위한 목적보다는 선발과 관리 목적이 부각되었으며, 가치들 간의 갈등의 문제가 소거되고 차별과 불평등의 문제가 정당화되는 방식으로 교육평가의 탈정치화가 일어났다. 이러한 연구 결과는 교육평가의 이론과 실천의 괴리, 평가 목적들 간의 긴장과 갈등 등 현재 교육평가의 문제들이 과거부터 유사한 방식으로 반복되고 변주되어 온 역사-사회적 문제라는 것을 보여준다. The purpose of this study was to analyze who introduced the Western discourse on educational evaluation, how it was constructed, and how it was recontextualized, focusing on the initial institutionalization of academic discourse on educational evaluation from Korea s liberation to the 1960s. In order to achieve this purpose, the discourse on educational evaluation was analyzed using a historical sociology method. The results were as follows. First, the academic discourse on educational evaluation was emerged by educational evaluation experts from studying in the United States, reflecting the reorganization of cultural hegemony. Second, the academic discourse on educational evaluation defined the identity of educational evaluation centering on Tyler-style evaluation concept and theory, while emphasizing the importance of technical knowledge and scientific measurement based on positivism and rationalism. And due to the coexistence of evaluation discourse and measurement discourse, discursive tensions arose within academic texts on educational evaluation. Finally, the academic discourse on educational evaluation was recontextualized in Korea s historical-social context at the time. As a result, the extension of the educational evaluation concept was expanded, while the intension of the educational evaluation concept was changed, and the purposes of selection and management were highlighted rather than the purpose of improving teaching and learning, and educational evaluation was depoliticized in a way that eliminated the problem of conflict between values and justified the problem of discrimination and inequality. These results show that the current problems of educational evaluation, such as the gap between theory and practice of educational evaluation, the tensions and conflicts between evaluation purposes, have been repeated in a similar way since the past.