컴퓨터 기반 국가수준 학업성취도 평가(eNAEA)의 검사 도구 정교화 연구 (RRE 2021-2)

국문 초록 (Abstract)

학업성취도 평가는 지난 20여 년간 적용해 오던 지필평가 방식에서 벗어나, 4차 산업혁명 시대에 걸맞은 컴퓨터 기반 평가 방식으로의 도약을 준비하고 있다. 이에 한국교육과정평가원은 컴퓨터 기반 학업성취도 평가의 2022년 전면 시행을 목표로 2020년부터 컴퓨터 기반 평가를 위한 평가 도구와 시스템의 개발 및 적용에 관한 연구를 지속적으로 추진해왔다. 본 연구는 2020년 설계·개발한 eNAEA의 타당성 및 현장 적합성을 검증하고, 이를 바탕으로 검사 도구를 정교화하는 것을 목적으로 한다. 이를 위해 2021년 2월에 시행한 eNAEA 예비시행 결과, 학생 설문 및 면담, FGI 등을 통한 현장 연구 결과를 바탕으로 eNAEA 검사 도구 정교화 방안을 도출하고, 이에 따라 검사 도구를 개선하였다. 이와 같은 본 연구의 결과를 구체적으로 제시하면 다음과 같다.
◈ eNAEA 예비시행의 학생 성취 및 수행 특성 분석
eNAEA 검사 도구의 정교화를 위해서 먼저 eNAEA 예비시행에 나타난 학생들의 성취와 수행 특성을 분석하고, 분석 결과에 따른 시사점을 마련하였다. 2020년에 개발한 eNAEA 시스템의 현장 적합성을 파악하기 위해 중학교 5개 교과, 고등학교 3개 교과의 컴퓨터 기반 평가 도구를 개발하고, 2021년 2월 예비시행을 실시하였다. 예비시행 후 학생 성취 측면에서 검사 1종에 대한 평균 점수 분포, 문항별 정답률 등에 관한 정보를 수집하였으며, 학생 수행 측면에서 검사를 수행하는 데 소요된 시간의 분포, 문항별 풀이에 평균적으로 소요된 시간, 검사 시간 동안 문항 각각의 방문(재방문 포함)한 횟수 등에 관한 정보를 수집하였다. 분석 결과, eNAEA 예비시행을 위해 개발한 검사 도구는 학생 성취도에 대한 측정이나 검사 수행 시간에 대해 대체로 양호한 것으로 나타났다. 다만 중학교 수학과와 같은 일부 교과에서는 학생 수행 시간이 오래 걸리고 검사 점수가 낮은 경향이 있었다. 더불어 학생 면담을 통해 수식입력기와 같이 답안 작성을 위한 응답 도구 사용이 익숙하지 않고, 지필 방식에 비해 사용하기에 불편하며, 동영상이나 시뮬레이션 등이 포함되어 검사 수행 시간이 길어질 수 있으므로 이를 고려하여 검사를 구성할 필요가 있는 것으로 나타났다.
또한 검사를 구성하는 문항 단위로 학생 성취 및 수행 특성에 대해 분석한 결과, 일부 기술공학적 기능 자체의 특성이나 구현된 방식이 학생 성취나 수행에 영향을 미치는 것으로 나타났다. 예를 들어 동일한 내용을 평가하는 문항을 답안을 1개만 고르는 5지 선다형의 라디오버튼 기능과 답안을 모두 고르는 체크박스 기능으로 구현한 경우, 체크박스 기능으로 구현한 경우의 정답률이 현격하게 낮아지는 것을 확인할 수 있었다. 더불어 그래프/선 그리기의 경우 한 번 그리면 그린 결과를 수정할 수 없도록 기능이 구현되어 있었는데, 직선을 한 번만 그려도 답안 작성이 가능한 문항에 대한 학생들의 평균 응답 횟수가 4회 이상으로 나타나 답안을 작성하기 어렵고, 시간이 많이 소요된다는 것을 확인할 수 있었다. 이와 같은 분석 결과를 바탕으로, 사후 면담을 통해 실제 검사 수행에서 어려웠던 점과 개선이 필요한 사항을 파악하고, eNAEA 검사 구성 및 기술공학적 기능 구현 방식별로 개선할 필요가 있는 사항에 대한 시사점을 마련하였다.
◈ eNAEA 시스템 및 평가 도구에 대한 인식 조사
eNAEA 검사 도구의 정교화를 위해서는 실제 예비시행을 통해 학생들의 검사 수행 결과를 분석하는 것과 더불어 다양한 측면에서 사용자의 인식을 조사하는 것이 필요하다. 이에 FGI를 통해 eNAEA 검사 도구에 대한 교과전문가들의 인식을 조사하고, eNAEA 예비시행 과정에서 검사 도구에 대한 설문 조사를 실시하여 학생들의 인식을 조사하였다. eNAEA 검사 도구에 대한 교과전문가들과 학생들의 인식은 대체로 유사하였는데, eNAEA 검사 도구는 전반적으로 적절하다고 볼 수 있으나 검사 수행 측면에서 일부 개선이 필요한 것으로 나타났다.
먼저, 전 교과에 공통적으로 적용되는 일반적 기능 중 메모장 기능을 사용하는 데 불편함이 있는 것으로 나타났다. 또한 문항에 대한 답안 작성과 관련하여 다양한 이유로 수식입력기의 사용이 상당히 어려운 것으로 나타났는데, 이는 Ⅱ장의 예비시행 결과 분석과 일치하는 결과로 개선이 필요하다는 것을 알 수 있다. 또한 교과별로 eNAEA 예비시행 평가 도구에서 교육과정 내용 및 역량을 측정하기 위해 기술공학적 기능을 적용한 것은 대체로 적절한 것으로 나타났다. 다만 상호작용성이 강화된 문항의 경우 학생의 인지적 부담을 덜어주고 수행 편의성을 강화하는 방향으로 개발할 필요가 있는 것으로 조사되었다. 이와 더불어 eNAEA의 사용 편의성을 묻는 설문 항목에 대해 학생들의 컴퓨터 활용 경험이나 컴퓨터 활용에 대한 효능감이 미치는 영향을 분석한 결과, 대부분의 항목에서 영향이 없는 것으로 나타났으며, eNAEA 시스템의 편의성 등과 같이 영향이 있는 것으로 나타난 일부 항목에 대해서는 개선을 위한 시사점을 도출하였다.
◈ eNAEA 검사 개발 방안 도출
학업성취도 평가 시행을 위해서는 교과별로 문항을 출제하고, 검사를 구성하기 위한 방안이 마련되어야 한다. 따라서 학업성취도 평가를 컴퓨터 기반 평가로 전환하기 위해서는 지필평가에서 적용하던 문항 출제 및 검사 구성 방식을 수정·보완할 필요가 있다. 이에 eNAEA에 대한 학생 성취 및 수행 특성을 분석하고, eNAEA 검사 도구에 대한 사용자 인식을 조사하여 도출한 시사점을 바탕으로 2022년 eNAEA 전면 적용을 위한 검사 개발 방안을 마련하였다.
eNAEA 검사 타당도 제고를 위한 검사 구성 방안과 검사 종별 검사 구성 원칙으로는 지필평가 시기의 검사 구성 원칙과 더불어 지필평가와 컴퓨터 기반 평가 사이의 간극을 최소화하기 위한 지침을 추가하였다. 예를 들어 기존 평가에서 활용하던 문항 유형을 일정 비율 이상 활용하도록 하고, 가교 문항 배치를 고려하여 비공통 문항군에는 상호작용성이 강화된 콘텐츠 제작형 문항은 포함하지 않는 등과 같은 원칙이 추가되었다. 이러한 기본 원칙을 바탕으로 Ⅱ장과 Ⅲ장의 분석 결과를 고려하여 교과별 검사 구성 예시를 마련하였다. 또한 eNAEA에서는 지필평가에 비해 활용할 수 있는 문항 유형의 범위가 확대됨에 따라 학생 응답 및 자료 탐색 측면에서 각각의 문항 유형별로 세부 제작 지침을 마련하여 2022년 eNAEA의 전면 적용에 대비할 수 있도록 하였다.
◈ eNAEA 검사 도구 정교화에 따른 시행 방안 마련을 위한 제언
연구 결과를 바탕으로, 수립·추진될 필요가 있는 정책 및 연구를 다음과 같이 제언하였다. 첫째, eNAEA 내실화를 위한 개선 방안을 모색하여야 한다. 이를 위해서는 eNAEA 문항 저작 도구 및 채점시스템을 개선하고, 역량 기반 학업성취도 평가의 타당도와 신뢰도 제고를 위한 eNAEA 문항 분석 및 시행 체제를 고도화할 필요가 있다. 둘째, eNAEA 시행 안정성을 제고할 수 있는 정책적 지원 방안을 마련하여야 한다. 이를 위해서는 평가 환경 변화에 따른 교사의 컴퓨터 기반 평가 전문성 강화 방안을 마련하고, eNAEA의 안정적 시행을 위한 단위학교의 ICT 환경을 개선할 필요가 있다. 셋째, eNAEA 활용도를 제고하고, 현장 안착을 위해 적극적인 지원이 필요하다. 이를 위해서는 단위학교의 학생 성취수준 진단을 위한 맞춤형 학업성취도 자율평가(i성취)의 운영 방안을 수립하고, eNAEA의 활용도 제고를 위한 안내 자료 보급 및 성과 홍보를 강화해야 할 것이다.

목차 (Table of Contents)

• I. 서론 17
• 1. 연구의 필요성 및 목적 18
• 2. 선행 연구 분석 22
• 3. 연구 내용 35
• 4. 연구 방법 42
• Ⅱ. eNAEA 예비시행의 학생 성취 및 수행 특성 분석 47
• 1. e NAEA 예비시행의 학생 성취 및 수행 특성 분석: 검사 단위 48
• 2. e NAEA 예비시행의 학생 성취 및 수행 특성 분석: 문항 단위 56
• 3. e NAEA 예비시행의 학생 성취 및 수행 특성 분석에 따른 시사점 116
• Ⅲ. eNAEA 시스템 및 평가 도구에 대한 인식 조사 127
• 1. e NAEA 시스템 및 평가 도구에 대한 교과전문가 인식 128
• 2. e NAEA 시스템에 대한 학생 인식 135
• 3. e NAEA 평가 도구에 대한 학생 인식 154
• 4. e NAEA 시스템 및 평가 도구에 대한 인식 분석에 따른 시사점 209
• Ⅳ. eNAEA 검사 개발 방안 도출 및 시스템 확장 방향 탐색 217
• 1. e NAEA 검사 타당도 제고를 위한 검사 구성 방안 218
• 2. e NAEA 출제 안정화를 위한 문항 제작 방안 246
• 3. e NAEA 출제관리시스템 및 문항 저작 도구의 고도화 278
• 4. e NAEA 문항 유형 및 시스템 확장을 위한 방향 탐색 285
• Ⅴ. 결론 및 제언 305
• 1. 연구 요약 306
• 2. 정책 제언 310
• · 참고문헌 355
• · ABSTRACT 371