평가자의 평가 일관성에 관한 연구

국문 초록 (Abstract)

가능성의 가치에 대한 끊임없는 노력을 통하여 미래 방향을 설정하고 있는 오늘날, 목표 설정부터 성과 달성의 전 과정을 촉진시키며 통제하기 위한 평가의 과정은 필수적이라고 할 수 있다. 따라서 이 평가는 객관적이고, 공정하며, 정확하게 이루어짐을 원칙으로 하여야 한다. 특히, 평가결과의 일관성은 위의 원칙을 만족시키는 중요한 요인이다. 본 연구에서는 특정 분야에서 여러 세부 분야의 과제를 다양한 전공자들에 의하여 평가되는 결과를 일관성 관점에서 분석하기 위한 도구 및 기법을 고찰하였다. 이를 바탕으로 Z 연구기관에서 진행된 평가 결과 자료에 적용하여 일관성 정도를 측정하고, 시사점 등을 찾아보았다.

데이터의 수집은 Z 연구기관에서 수행중인 과제 3개 분야의 16개 과제를 대상으로 이루어 졌으며, 본 논문에서는 1차와 2차의 평가 결과를 분석하였다. 평가자 그룹은 각 과제의 전문가 평가자와 3개 분야에 속해 있지 않은 평가자 총 13명으로 구성되었다. 1차와 2차에 평가자의 전문영역별로 소폭 변동이 있었고, 평가의 일관성을 위하여 일부 평가자는 1차와 2차에 모두 참여하였다. 평가 방법은 연구 계획서 및 보고서, 연구성과 자료, 연구과제 책임자의 발표 등을 통해 평가하였으며, 평가 점수는 연구실적, 연구계획, 기술의 원천성 및 성공 가능성, 연구 연계성 등의 세부 평가 기준이 있으며, 평가 기준별 각각 다른 가중치를 두고, 이들 점수의 총합으로 최종 평가 점수를 산정하였다.

데이터의 분석은 그래프를 이용하여 데이터를 도식화하여 분석을 수행하는 방법과 통계도구를 이용하여 각 데이터간의 관계를 파악하는 방법으로 평가결과의 일관성 및 상관성을 분석하여 보았다. 이들 분석 결과를 요약하면 아래와 같다.

첫째, 평가자는 일반적으로 자신의 전문영역 과제에 대하여 높은 배점을 하였다. 하지만 전문 영역에 대하여 높은 평가를 하였더라도 전체 과제의 평가 결과에 미치는 영향은 크지 않음을 확인 할 수 있었다.

둘째, 전문가 및 비전문가의 평가 결과가 1차보다 2차에 높은 일관성을 나타내었다. 이는 차수가 진행됨에 따라 과제의 성숙화로 인한 구체적인 결과물을 확인하기가 용이함에 따라 비전문 영역에 대해서도 객관적으로 평가하기가 용이해진 것으로 판단된다.

셋째, 1차와 2차에 모두 참여했던 평가자의 1차와 2차의 평가 결과간의 상관성을 분석 해보았을 때, 1차와 2차간의 평가결과의 상관관계를 찾을 수 없었다.

넷째, 1차 평가에서는 특정 분야의 일치성이 낮은 경우가 있었다. 이는 평가과제의 특수성으로 인하여 여러 평가자가 어려움이 있었던 것으로 판단되며, 과제 평가를 위하여 사전에 과제에 대한 상세 세미나 과정을 통하여 과제에 대하여 평가자의 이해도를 높이는 과정이 필요한 경우가 있는 것으로 나타났다.

다섯째, 일부 평가자의 경우 전공 및 비전공 영역의 표준편차가 큰 경우가 확인 되었고, 해당 평가자를 제외시에 일관성의 척도인 ICC값이 높아져서 높은 일관성을 나타내는 경우가 있었다.

1, 2차에 참여한 동일 평가자가 1명씩이라는 적은 수라 분석결과에 아쉬움이 있었다. 연구 과제의 성과는 짧은 시간 안에 나타나지 않는 특징이 있으며, 향후 추가적인 차수의 데이터를 분석한다면 더욱 의미 있고, 일관성 있는 평가자의 특성을 확인 할 수 있을 것으로 판단된다.

목차 (Table of Contents)

• I. 서론 1
• 1. 연구의 목적 1
• II. 평가자료 수집 3
• 1. 데이터 수집 방법 3
• 1) 평가자의 구성 3
• 2) 평가 방법 4
• 3) 평가점수 4
• 4) 자료요약 5
• III. 표와 그래프를 이용한 탐사적 분석 8
• 1. 평가자별 차이 분석 8
• 1) 전체 과제에 대한 평가자별 변동 분석 8
• 2) 전공 영역과 비전공 영역에 대한 분석 10
• 3) 전공 영역 a, b, c그룹과 비전공 영역 d그룹 비교 24
• 4) 1,2차 동일 평가자 분석 25
• 2. 과제별 분석 28
• IV. 평가자 신뢰도에 대한 통계 분석 37
• 1. 분석방법의 이론적 배경 37
• 2. 자료분석 39
• 1) 평가자 일치도 분석 40
• 2) 평가자 전공분야의 영향 46
• 3) 평가자 전공과 과제 전공의 영향 51
• V. 결론 61
• 참고 문헌 64
• 초 록 65