한국어 말하기 숙달도 평가 구인 선정 연구 - 한국어 교원의 인식을 중심으로 - = A Study on Construct Selection for Korean Language Speaking Proficiency Assessment: Focusing on the Perceptions of Korean Language Instructors

국문 초록 (Abstract)

본 연구는 현장 한국어 교원의 인식을 바탕으로 일반 목적과 학문 목적으로 차별화된 말하기 평가 구인과 채점 루브릭을 개발하고, 고급 학습자를 대상으로 그 실제적 적합성을 검증하는 것을 목적으로 수행되었다. 한국어 학습자 수가 지속적으로 증가하고 말하기 평가의 중요성이 강조되고 있으나, 말하기 숙달도 평가 구인과 채점 기준은 각 시험과 기관마다 다르게 사용되고 있어 동일한 학습자가 각각 다른 숙달도 평가 시험을 보면 그 숙달도 능력이나 수준이 다르게 평가될 여지가 있다. 그리고 구인에 대한 기준이 동일하다고 하더라도 평가자마다 기준과 구인의 해석이 다르다는 문제도 선행연구를 통해 여러 차례 지적되어 왔으며, 일반 목적과 학문 목적 학습자를 동일한 기준으로 평가하는 것의 타당성에 대한 의문 또한 제기되어 왔다.
이에 본 연구는 네 가지 연구문제를 설정하였다. 첫째, 현장 한국어 교원이 인식하는 말하기 평가의 핵심 구인은 무엇이며, 평가 목적(일반 목적, 학문 목적)에 따라 구인의 중요도 인식은 어떠한 차이를 보이는가? 둘째, 기존의 대규모 한국어 말하기 평가(TOPIK, SKA) 및 해외 말하기 평가(TOEFL, IELTS)의 구인은 현장 한국어 교원들의 인식과 얼마나 부합하는가? 셋째, 도출된 평가 구인을 실제 말하기 채점에 적용했을 때, 다국면 라쉬 모형(FACETS)을 통한 채점자 및 구인 적합도는 어떻게 나타나는가? 넷째, 교원 인식을 반영하여 설계된 목적별 배점 가중치는 평가 목적에 따라 어떠한 특성을 보이는가?
연구는 5단계로 진행되었다. 1단계에서는 문헌 연구를 통해 국내외 주요 언어 평가 체계의 평가 구인을 분석하여 22개의 예비 평가 구인을 도출하였다. 2단계에서는 평가 구인 문항과 구인 모형을 개발하였다. 3단계에서는 한국어교육 전문가 24명을 대상으로 사전 설문을 실시하여 내용 타당도를 검증한 후, 국내외 한국어 교원 232명을 대상으로 본 설문을 실시하여 평가 구인의 중요도를 파악하여 탐색적 요인분석(EFA)과 확인적 요인분석(CFA)을 통해 구인 타당도를 검증하였다. 4단계에서는 고급 학습자 45명(일반 목적 24명, 학문 목적 21명)의 말하기 수행을 10년 이상 경력의 전문가 4명이 채점하고, 채점 결과를 다국면 라쉬 모형(MFRM)으로 분석하여 개발된 루브릭의 신뢰도와 타당도를 검증하였다. 마지막으로 5단계에서는 요인부하량에 기반하여 목적별 구인의 배점 체계와 세부 채점 기준을 정립하였다.
주요 연구 결과는 다음과 같다. 첫째, 교원 인식 조사 결과, 기존의 대규모 숙달도 평가(TOPIK, SKA)의 구인은 현장 교원들의 일반 목적 학습자의 평가 구인에 대한 인식과 높은 정합성을 보여 본 연구의 구인 설정이 대규모 평가 구인과도 합치됨을 확인하였다. 둘째, 목적에 따른 차이를 분석한 결과, 일반 목적 평가는 '담화 구성력 및 과제 수행력', '언어 사용', '발화 전달력'의 3요인 구조로, 학문 목적 평가는 '내용 및 담화 구성력', '과제 수행력', '언어 사용 및 전달력'의 3요인 구조로 확정되었다. 특히 학문 목적 평가에서 '내용 및 담화 구성력' 구인이 내용의 논리성, 전문성, 일관성과 담화의 응집성, 체계성을 포괄하는 복합적 구조로 나타나, 학술적 담화에서 논리적 내용 구성과 담화 조직 능력이 핵심적 변별 요인임이 확인되었다. 셋째, 다국면 라쉬 모형 분석 결과, 피험자 신뢰도는 일반 목적 .82, 학문 목적 .96으로 나타났으며, 구인별 적합도는 모두 허용 범위(0.5~1.5) 내에 위치하여 측정학적으로 안정적이었다. 셋째, 학문 목적 평가에서 평가자 간 정확 일치율이 52.4%로 총체적 채점(38.5%)이나 일반 목적 채점(36.2%)보다 높게 나타나, 학문 목적 루브릭에 대한 평가자들의 구인 이해가 더 일치되었음이 확인되었다. 넷째, 총체적 채점과 분석적 채점 간 상관분석 결과, 일반 목적에서는 낮은 상관(r=.26)을, 학문 목적에서는 중간 수준의 상관(r=.64)을 보여, 총점 상관 기반 배점 설계의 한계를 확인하고 요인부하량 기반 배점 설계 방식을 채택하였다.
본 연구의 함의는 방법론적 측면과 실제적 측면으로 구분할 수 있다. 방법론적 측면에서 본 연구는 말하기 평가 구인 탐색에 요인분석과 다국면 라쉬 모형을 결합한 혼합 방법론을 적용함으로써, 교원들의 내재적 인식 구조(Perceived Structure)를 도출하고 그 실제적 적합성(Practical Fit)을 실증적으로 검증하는 체계적 절차를 제시하였다. 특히 요인부하량에 기반한 배점 설계는 평가 구인의 내적 구조를 정량화된 점수 체계에 투영하는 실증적 근거를 제공한다는 점에서, 향후 인식 기반의 언어 평가 도구 개발 연구에 중요한 방법론적 참고가 될 수 있다. 실제적 측면에서 본 연구가 제시한 목적별 루브릭은 현장 교원 232명의 집단 지성을 상향식(Bottom-up)으로 수렴하여 도출되었다는 점에서 높은 현장 적용성을 지닌다. 이는 기존의 이론 중심적 구인 설정에서 벗어나 교육 현장의 실제적 요구를 반영하고 있으며, 다국면 라쉬 모형을 통해 측정학적 타당도가 입증된 만큼 한국어 말하기 숙달도 평가 체계의 전문성을 제고하는 데 즉각적으로 활용될 수 있다. 특히 일반 목적과 학문 목적의 배점 가중치를 차별화하여 제시함으로써, 학습자의 평가 목적에 부합하는 정교한 채점 기준과 구체적인 피드백을 제공하는 기초 자산이 될 것이다.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1. 연구의 필요성 및 목적 1
• 1.2. 선행 연구 4
• 1.3. 연구 절차 17
• 제2장 이론적 배경 21
• 2.1. 말하기 능력의 정의 21
• 2.2. 말하기 평가의 구인 27
• 2.3. 말하기 평가의 과제 유형 33
• 제3장 연구 방법 37
• 3.1. 설문 대상 정보 37
• 3.2. 채점 실험 구성 42
• 3.2.1. 평가 과제 설계 42
• 3.2.2. 피험자 발화 수집 51
• 3.2.3. 평가자 구성 및 채점 방식 54
• 3.3. 분석 설계 및 적용 모형 56
• 3.3.1. 구인 타당도 분석 기준 56
• 3.3.2. 채점 신뢰도 분석 기준 67
• 제4장 중요 구인 도출 및 타당도 분석 72
• 4.1. 교원 설문 결과를 통한 평가 구인 도출 72
• 4.2. 평가 요인의 잠재 구조 탐색 79
• 4.2.1. 일반 목적 말하기 평가의 잠재 요인 탐색 79
• 4.2.2. 학문 목적 말하기 평가의 잠재 요인 탐색 83
• 4.3. 평가 요인의 구인 타당도 검증 86
• 4.3.1. 일반 목적 말하기 평가의 구인 타당도 검증 87
• 4.3.2. 학문 목적 말하기 평가의 구인 타당도 검증 93
• 제5장 평가 구인의 실제적 적합성 분석 102
• 5.1. 총체적 채점 결과 분석 102
• 5.1.1. 평가자 성향 및 적합도 분석 104
• 5.1.2. 피험자 능력 분포 분석 106
• 5.1.3. 채점 척도 적합도 검증 111
• 5.2. 일반 목적 말하기 평가의 채점 결과 분석 114
• 5.2.1. 과제 적합도 검증 116
• 5.2.2. 평가자 성향 및 신뢰도 분석 117
• 5.2.3. 피험자 능력 분포 분석 119
• 5.2.4. 구인 및 채점 척도 적합도 검증 122
• 5.3. 학문 목적 말하기 평가의 채점 결과 분석 125
• 5.3.1. 과제 적합도 검증 127
• 5.3.2. 평가자 성향 및 신뢰도 분석 129
• 5.3.3. 피험자 능력 분포 분석 130
• 5.3.4. 구인 및 채점 척도 적합도 검증 134
• 제6장 평가 구인의 배점 설계 및 채점 기준 정립 139
• 6.1. 상관분석과 요인부하량 기반 배점 설계의 차이 분석 139
• 6.2. 일반 목적 평가 구인의 배점 설계 145
• 6.3. 학문 목적 평가 구인의 배점 설계 149
• 6.4. 평가 구인의 배점 설계 비교 154
• 제7장 결론 및 제언 156
• 참고 문헌 161
• 부록 175
• 영문 요약 192