역량기반 수행평가가 음악적 감성·소통 역량 및 음악성에 미치는 효과 : 기능기반 수행평가와의 비교를 중심으로

김소연 경희대학교 대학원 2022 국내박사

지식기반 사회, 제4차 산업 시대를 주도할 인재는 학습한 내용을 실재 맥락에 적용, 통합하여 문제를 해결하고 새로운 가치를 창조할 수 있는 ‘역량’을 가지고 있어야 한다. 이에 2015 개정 교육과정은 창의·융합형 인재 육성과 학습 경험의 질 개선을 통해 행복한 학습 구현을 추구하는 ‘역량기반 교육과정’으로 설계되었다. 학교 교육 현장에서 역량기반 교육과정을 효과적으로 실현하기 위해서는 학생의 성장과 발달을 도울 수 있도록 ‘평가 방법’을 개선하는데 중점을 두어야 한다. 수업현장에서 실시되는 평가는 학생의 학습 수준의 확인은 물론 교수·학습 개선을 통한 교육의 질 향상에 큰 영향을 미치기 때문이다. ‘수행평가’는 학생들이 과제를 직접 수행하여 행동 또는 산출물로 나타내기 때문에 역량을 평가하기에 가장 적절한 평가방법이라 할 수 있다. 이에 각 교과에서는 역량 신장에 목표를 두는 수행평가, 즉 ‘역량기반 수행평가’에 대한 실질적인 연구가 필요하다. 음악교과는 가창, 기악, 창작, 감상이라는 음악적 행동을 평가하기 때문에 수행평가가 본격 도입되기 이전부터 실시되어 왔다. 그러나 단편적 음악지식과 기능의 숙달에 목적을 둔 ‘기능기반 수행평가’가 실시되어 왔으므로 학생들의 음악적 역량을 신장시키는데 한계가 있다. 전통적으로 음악교과에서 실시되어 온 실생활과 분리된 탈맥락적 평가, 역량이 아닌 단편 음악지식과 실기 기능 숙달에 치중된 평가, 정의적 영역에 대한 평가 간과, 비공식적이고 비계획적인 과정 중심 평가에 대한 개선을 통하여 학생들의 음악적 역량을 신장시킬 수 있는 역량기반 수행평가를 실시할 수 있어야 할 것이다. 본 연구는 2015 개정 음악과 교육과정(2015b, p.3)에 제시된 6개의 역량 중 음악적 감성 역량과 음악적 소통 역량을 신장으로 하는 역량기반 수행평가를 개발하여 여중생 1학년 음악 수업에 적용하고 실제로 목표 역량이 신장되었는지, 나아가 음악교육 목표 중 하나인 음악성의 발달까지 유도할 수 있는지 그 효과성을 검증하는데 목적이 있다. 이를 위해 역량기반 수행평가 결과의 의미를 잘 드러낼 수 있도록 기능기반 수행평가의 적용 결과와 비교, 분석하였다. 이에 본 연구에 대한 연구문제는 다음과 같다. [연구문제 1] 음악교과에서 여중생 1학년에게 역량기반 수행평가 또는 기능기반 수행평가를 실시한 결과 음악적 감성·소통 역량에 나타난 변화는 어떠한가? - 수행평가 유형별 음악적 감성·소통 역량에 나타난 양적 변화는 어떠한가? - 수행평가 유형별 음악적 감성·소통 역량에 나타난 질적 변화는 어떠한가? [연구문제 2] 음악교과에서 여중생 1학년에게 역량기반 수행평가 또는 기능기반 수행평가를 실시한 결과 음악성에 나타난 변화는 어떠한가? - 수행평가 유형별 음악성에 나타난 양적 변화는 어떠한가? [연구문제 3] 음악교과에서 여중생 1학년에게 실시한 수행평가 유형, 음악적 감성·소통 역량, 음악성의 관계는 어떠한가? - 수행평가 유형별 음악적 감성·소통 역량, 음악성의 관계는 어떠한가? - 음악적 감성·소통 역량과 음악성의 관계는 어떠한가? - 수행평가 유형이 음악적 감성·소통 역량과 음악성에 미치는 영향은 어떠한가? 본 연구는 서울시 A 여자중학교에 재학 중인 1학년 4개 학급, 89명을 대상으로 하였다. 역량기반 수행평가 집단은 2개 학급 46명, 기능기반 수행평가 집단은 다른 2개 학급 43명으로 구성되었다. 각 집단에 따라 개발된 수행평가는 감상, 가창 영역에 대한 것으로 제재곡, 평가영역, 수업 기간 및 차수, 채점 시기는 동일하지만 각 수행평가의 유형에 따라 ‘음악적 감성·소통 역량의 신장’ 또는 ‘음악지식 및 기능 숙달’을 목적으로 개발하였다. 음악교육 전문가 3인에 의한 2번의 내용타당도 검증을 통해 역량기반 수행평가로 『베토벤과의 가상 인터뷰 발표』, 『환경보호 캠페인송 랩 창작 발표』를, 기능기반 수행평가로 『베토벤의 삶과 교향곡 5번 1악장 실음지필평가 및 감상문 작성』,『‘지구를 지켜요’ 가창 발표』를 확정하였다. 본 연구는 고급 혼합연구 분석방법 중 하나인 수렴적 설계(convergent design)를 사용한 중재 혼합연구 설계(interventional mixed research design)를 적용하여 두 수행평가의 사전, 사후 결과에 대해 양적 데이터와 질적 데이터를 동시에 수집하였다. 우선 양적 분석을 위해 김소연, 지은림(2020, 2021)의 검사를 본 연구에 맞게 수정한 ‘음악적 감성·소통 역량’과 Müllensiefen 외(2014)의 ‘음악적 교양(Musical Sophistication)’을 본 연구대상에 맞게 번역한 ‘음악성’ 검사를 사용하였다. 또한 본 사례에 있어서 음악적 감성·소통 역량에 대한 질적 분석을 위해 각 집단에서 4명을 의도적 표집하고 인터뷰를 실시하였다. 전사한 데이터는 주제 분석(thematic analysis) 방법으로 분석되었다. 각 수행평가는 3개월 동안 진행되었으며 양적, 질적 효과성을 검증하고 분석한 결과는 다음과 같다. [연구문제 1]에 대하여 양적, 질적 분석을 한 결과, 역량기반 수행평가 집단은 기능기반 수행평가 집단보다 음악적 감성·소통 역량이 신장되었음을 확인할 수 있었다. 독립표본 t검증 결과 역량기반 수행평가 집단은 기능기반 수행평가 집단보다 음악적 감성·소통 역량의 총 점수가 약 .30점 향상되어 역량 신장에 도움이 되었음을 알 수 있었다. 그리고 각 역량의 하위요소에 대해 집단별 사전, 사후 대응표본 t검증을 한 결과 역량기반 수행평가 집단은 음악적 감성 역량의 ‘이해력’, ‘수용력’, ‘적용력’이 .32~.42점, 음악적 소통 역량의 ‘음악지식’, ‘표현력’, ‘감상력’, ‘응용력’이 .62~.77점으로 향상되어 모든 하위요인에서 발전을 보였다. 하지만 기능기반 수행평가 집단은 이해력, 적용력, 감상력, 응용력만이 .24~.34점 향상되는데 그쳐 음악을 수용하고 표현하는데 있어서 취약점을 드러내었다. 개별 문항별 사전, 사후 대응표본 t검증에서도 역량기반 수행평가 집단은 음악적 감성·소통 역량의 거의 대부분의 문항이 .26~.98점으로 크게 향상되었지만, 기능기반 수행평가 집단은 몇몇 문항들에서 .47점 이하의 향상을 보여 역량 신장이 거의 없었던 것으로 나타났다. 또한 수행평가 유형별 그룹 인터뷰에 대한 질적 분석 결과에서 양적 결과에 대한 실질적 경험 차이를 발견할 수 있었다. 클래식 감상 영역에 대한 각 『수행평가 1』을 분석한 결과 역량기반 수행평가를 경험한 학생들만이 제재곡에 대한 ‘수용력’, ‘적용력’을 바탕으로 ‘감상력’, ‘응용력’을 발휘하였음을 알 수 있었다. 기능기반 수행평가와 달리 비인기 장르인 클래식 교향곡에 대해 느낌, 공감을 생성할 수 있도록 ‘느낌의 시각화’, ‘표현의도 해석’ 등 평가 단계를 세분화하여 제시하였기 때문이다. 『수행평가 2』를 경험한 결과는 ‘표현력’과 ‘감상력’에서 두드러진 차이를 나타냈다. 역량기반 수행평가를 경험한 학생들은 ‘플라스틱 쓰레기 줄이기’라는 맥락적 주제 하에 개사활동을 통해 자신들이 만들어낸 가사의 느낌, 감성을 표현하는데 집중하였지만, 기능기반 수행평가를 경험한 학생들은 제재곡을 정확하게 익혀야 한다는 가창의 정확성, 완성도에 집중하여 가창실력, 실수에 대한 걱정, 불안을 겪었고 표현력을 제대로 발휘하지 못한 것으로 나타났다. 이를 토대로 역량기반 수행평가가 음악적 감성·소통 역량 신장에 기여하기 위해 고려해야 할 점은 1) 음악지식과 기능을 실생활에 적용하고 활용할 수 있는 문제를 제시해야 하고, 2) 정의적 역량인 음악적 감성 역량을 먼저 자극한 후 기능적 역량인 음악적 소통 역량으로 표출하도록 설계해야 하며, 3) 복합성을 띄는 과제일수록 평가 단계를 나누어 제시하고, 4) 과정 중심 평가로 피드백을 계획성 있게 활용하고, 5) 학생의 음악적 창의성과 개성을 존중하면서도 객관적 평가를 할 수 있는 루브릭을 개발하는 것, 그리고 6) 학생이 평가의 주체로서 모든 평가 활동에 참여하도록 해야 한다는 점이다. [연구문제 2]에 대해 대응표본 t검증을 한 결과 역량기반 수행평가는 음악성을 향상시키는데도 효과를 나타냈다. 음악성의 총 점수는 역량기반 수행평가만이 약 .23점 향상되었고 기능기반 수행평가는 유의한 점수 향상을 나타내지 못했다. 하위요인별로 보았을 때 두 수행평가 유형 모두 정도는 다르지만 음악성의 음악활동 참여, 음악 인지능력, 가창능력에서 유의한 점수 향상을 보였다. 가장 두드러진 차이는 음악성의 각 문항별 점수에서 나타났다. 역량기반 수행평가는 22문항 중 15문항에 대해 .33~1.02의 점수 향상을 보여 음악성의 다양한 측면이 고루 신장되었음을 알 수 있었다. 하지만 기능기반 수행평가는 단 9문항만이 .35~.86점 향상되어 상대적으로 음악성의 여러 면이 고루 신장되기 어려웠음을 알 수 있었다. 역량기반 수행평가만 유의한 효과를 보인 문항은 ‘음원을 듣고 정확한 음정으로 따라 부르기’, ‘처음 듣는 노래 파악’, ‘한 음악의 두 가지 버전의 차이점 파악’, ‘음악관련 정보 읽기, 검색’, ‘친구가 부르는 노래에 합류하기’로 나타났으며 평균 .50~.61점 향상되었다. [연구문제 3]에서 수행평가 유형별 점수, 사후 음악적 감성·소통 역량, 사후 음악성의 세 변인에 대해 상관분석을 실시하고 관계성을 알아보았다. 역량기반 수행평가는 음악적 소통 역량의 감상력, 응용력 그리고 음악성의 음악적 감성이라는 정서적 요인과 r=.30 정도의 낮은 정적 상관을 보였고 실제로 세 하위요인을 높일 수 있는 영향 변인임을 확인하였다. 반면 기능기반 수행평가는 음악적 감성 역량의 이해력(r=.46), 음악적 소통 역량의 음악지식(r=.34)과 정적 관련성을 나타냈고 역시 이 요인들을 높이는데 영향을 줄 수 있음을 밝혔다. 기능기반 수행평가는 역량의 인지적 측면과 관계될 뿐 음악성의 어떤 요인에도 유의한 영향을 미치지 않았다. 한편 음악적 감성·소통 역량과 음악성은 r=.973의 관계로 매우 밀접한 관계임을 알 수 있었다. 음악성의 개념이 전문가 수준의 예민한 청력에 한정된 것이 아니라 일반인이 음악적 생활을 영위하기 위한 지식, 기능, 태도를 아우르는 개념으로 볼 때, 역량기반 수행평가는 음악성의 수준까지도 끌어올릴 수 있는 가능성이 확인되었다. 역량기반 수행평가를 통해 음악적 역량을 꾸준히 향상시킬 수 있다면 음악교육의 목적 중 하나인 음악성의 수준까지도 높아질 수 있을 것이라 기대해볼 수 있다. 이상 살펴본 바와 같이, 본 연구에서는 역량기반 수행평가를 음악교과에 적용하여 실시했을 때 실제적으로 음악적 감성·소통 역량 및 음악성이 향상될 수 있다는 것을 양적, 질적 방법으로 증명하였다. 2015 개정 교육과정을 마무리하고 2022 개정 교육과정의 출범을 목전에 둔 현시점에서 본 연구의 실제적 사례가 음악교육 현장에서 평가를 개선하는데 실질적인 도움을 줄 수 있을 것으로 기대한다.

국어 교과 역량 측정도구 개발 및 관련 변인 분석 연구

정혜진 경희대학교 대학원 2022 국내박사

최근 교육계는 ‘21세기 핵심역량을 갖춘 창의·융합형 미래 인재 양성’을 교육의 비전으로 삼고 역량 교육을 위한 2015 개정 교육과정을 설계하였다. 2015 개정 교육과정은 우리나라에 도입된 최초의 역량 기반 교육과정으로, 교육과정의 역량적 목표인 핵심역량과 교과 역량을 제시하고 이러한 역량을 함양하도록 안내하였다. 여기서 핵심역량은 교과 및 비교과 활동까지 모두 포함한 교육과정 전반에 걸쳐서 길러야 하는 역량을 의미한다. 교과 역량은 각 교과의 특수성을 고려한 것으로 해당 교과의 교수·학습 및 평가 과정에서 길러야 하는 교과별 목표로 볼 수 있다. 교사는 교육과정에서 제시하는 방향에 따라 역량 함양을 위한 교수·학습 및 평가 방안을 마련해야 하며 학생들은 그 과정에서 다양한 역량을 길러 미래사회를 위한 인재로 성장해야 한다. 그러나 2015 개정 교육과정이 전면 도입이 된 지 3년이 지났음에도 불구하고 아직 제대로 된 역량 교육이 실현되지 못하고 있다는 평가를 받고 있다. 수업을 실제로 구현해야 하는 교사들은 교과 역량의 개념 및 각 역량을 구성하는 하위요인에 대한 안내가 미비하다는 점과 역량 중심 교육을 수행한 후 이를 평가할 수 있는 방안이 아직까지 명확히 제시되지 못하고 있다는 점으로 인해 역량 교육이 한계에 부딪힐 수밖에 없음을 강조하고 있다. 교육이 일어난 후에 그것이 효과적으로 이루어졌는지 측정하거나 평가하는 것은 매우 중요하다. 평가를 통해 학습자들의 수준을 확인함과 동시에 더 나은 교육적 대안을 모색할 수 있는 근거를 마련할 수 있기 때문이다. 본 연구는 이 부분에 주목하며 교과 역량을 측정하는 도구를 마련하기 위해 교육과정이 제시한 의미를 탐색하여 하위요인을 분석하였다. 또한 마련한 측정도구를 활용하여 실제 검사를 수행하고 학생들의 역량과 관련된 변인을 탐색하였다. 본 연구에서 주목한 교과 역량은 국어 교과 역량이다. 국어 교과 역량은 핵심역량과 직접 연계된 요소들을 목표로 한다는 점과 모든 학습의 기본이 되는 내용을 다룬다는 점에서 높은 중요성을 지닌다. 그러므로 국어 교과 역량의 함양을 위한 교육이 실현될 수 있는 학문적 뒷받침을 마련하는 것은 총론에서 제시된 핵심역량의 함양 방안을 마련함에 있어서도 시사점을 제공할 수 있을 것이다. 이러한 의미에서 본 연구는 국어 교과 역량 측정 도구의 개발 및 타당화를 수행하였다. 본 연구의 구체적인 연구문제는 다음과 같다. 첫째, 국어 교과 역량의 개념 및 하위요인을 분석한다. 둘째, 국어 교과 역량을 측정하는 도구를 개발하고 타당화를 수행한다. 셋째, 학생들의 국어 교과 역량 수준을 배경 변인에 따라 확인하고 국어 교과 역량과 관련 변인의 상관관계를 확인한다. 이를 위해 본 연구는 첫째, 관련된 선행연구를 분석하였다. 선행연구는 역량 및 핵심역량, 교과 역량의 개념 및 특성을 확인하여 측정하고자 하는 대상의 성격을 파악하는 것을 목적으로 이루어졌다. 다음으로는 국어교육이 지향하는 역량 기반 교육의 성격을 이해하고 교육과정이 제시한 성취기준과 역량의 관계에 주목하였다. 이를 통해 파악된 국어 교과 역량의 개념을 바탕으로 각 역량과 관련된 선행연구들을 살펴보며 각 역량의 하위요인을 탐구하였다. 마지막으로는 역량의 측정 및 평가 방안을 확인하고 그중에서도 교과 역량을 측정하거나 평가하는 연구들의 동향을 살펴보았다. 둘째, 선행연구 분석을 통해 각 역량의 하위요인을 구성하고 문항을 개발하여 타당화하였다. 개발된 예비 검사 도구는 총 162명의 학생에게 실시하였으며 그 결과에 대한 타당도 및 신뢰도를 확인하여 총 82문항의 본 검사 도구를 확정하였다. 507명의 학생들을 대상으로 이루어진 본 검사 결과를 대상으로 확인적 요인분석을 실시하였으며 구인타당도와 수렴타당도, 변별타당도를 모두 확인하여 측정도구의 타당화를 실현하였다. 또한 신뢰도 확인을 통해 해당 측정도구가 국어 교과 역량을 측정하는데 있어 신뢰할 수 있는 도구임을 검증하였다. 이와 같이 예비 검사 및 본 검사를 거쳐 타당화된 국어 교과 역량 측정도구는 총 71문항으로 확정되었다. 완성된 측정도구는 비판적·창의적 사고 역량은 ‘분석, 추론, 창의’, 자료·정보 활용 역량은 ‘과제이해, 자료분석·활용, 과제해결·평가’, 의사소통 역량은 ‘이해력, 표현력, 전달력, 매체소통’, 공동체·대인관계 역량은 ‘협력, 존중, 공동체이해’, 문화 향유 역량은 ‘문화이해, 문화수용, 문화생산’, 자기 성찰·계발 역량은 ‘자기점검, 자기성찰, 자기주도성’을 하위요인으로 하고 있다. 셋째, 국어 교과 역량의 수준을 확인한 결과 학생들은 평균 3.81의 수준을 보였으며 가장 평균이 높은 역량은 ‘공동체·대인 관계 역량’인 것으로 확인되었다. 성별에 따른 국어 교과 역량의 전체 수준은 여학생이 남학생보다 통계적으로 유의하게 높은 것으로 확인되었다. 학년별 차이는 국어 교과 역량의 전체 수준에서는 2학년이 가장 높은 것으로 확인되었으며 역량별로 보았을 때는 다양한 양상을 보였으나 비판적·창의적 사고 역량 외에는 통계적으로 유의하게 높은 것은 아님이 확인되었다. 학교 형태별 수준 차이는 남녀공학의 평균이 전체 평균보다 높은 수준인 것으로 확인되었으나 통계적으로 유의하게 나타나지는 않았다. 역량별로 보았을 때는 의사소통 역량과 공동체‧대인 관계 역량만이 여학교 학생들보다 남녀공학 학생들이 유의하게 높은 수준을 가지는 것으로 나타났다. 마지막으로 국어 교과에 대한 정의적 요인과 국어 교과 역량의 관계를 살펴본 결과, 국어 교과 역량과 가장 높은 상관관계를 갖는 것은 국어 교과 효능감인 것으로 확인되었다. 그다음으로는 국어 교과 몰입, 국어 교과 흥미 순으로 관련을 갖는 것이 확인되었으며 국어 교과 가치 인식은 자료‧정보 활용 역량과 의사소통 역량, 문화 향유 역량과는 낮은 상관을 가지는 것으로 나타났다. 본 연구는 다음과 같은 부분에서 의의를 지닌다. 첫째, 기존에는 많이 다루어지지 않았던 교과 역량 측정도구를 개발하고 타당화하는 연구의 방향성을 제시하였다. 그래서 본 연구의 설계를 바탕으로 다른 교과 역량에 대한 연구들도 이어질 수 있기를 기대한다. 둘째, 국어 교과 역량의 하위요인을 탐색하고 국어 교과 역량 전체를 측정할 수 있는 도구를 개발하여 타당화하였다. 특히 본 측정도구가 세부 역량별로 제작되었다는 점에서 개별적인 역량을 독립적으로 측정하는 도구로도 쓰일 수 있다는 의의를 지닌다. 셋째, 본 측정도구를 활용하여 학생들의 국어 교과 역량을 재학 기간 동안 종단적으로 확인하여 국어 교과와 관련된 역량의 변화 양상을 분석할 수 있는 기초자료를 제공할 수 있을 것으로 기대된다. 더불어 국어 교과 역량과 관련된 다양한 측정 및 평가 상황에서 활용이 가능하고 역량 함양 관련 프로그램의 효과성을 검증하는 도구로도 쓰일 수 있다는 점에서 활용성이 높을 것으로 기대된다. 마지막으로 성별, 학년별, 학교 형태별 외에도 전국의 학생들을 대상으로 한 측정 결과를 확인하여 지역별 학생들의 국어 교과 역량에 대한 상호 비교 연구를 위한 도구로 활용할 수 있을 것으로 기대된다. 이러한 본 연구의 의의를 바탕으로 하여 앞으로도 다양한 연구들이 이루어져 우리나라의 역량 기반 교육이 내실화될 수 있기를 바란다. Nowadays, the field of education designed the 2015 revised curriculum for competency education with the vision of ‘Creating creative and convergent future talents with core competencies in the 21st century’. The 2015 revised curriculum was the first competency-based curriculum introduced in Korea korea, and presented core and subject competencies to achieve competency goals, and guided students to cultivate these competencies through teaching, learning, and evaluating presented in the curriculum. However, even though three years have passed since the 2015 revised curriculum was fully introduced, proper competency education has not yet been realized. Teachers who implement classes in practice emphasize that the realization of competency education is bound to face limitations due to the lack of the concept of subject competency. It is very important to measure or evaluate weather education has been done effectively after it has occurred. This is because the assessment can verify the level of learners and provide a basis for devising better educational alternatives at the same time. This study has focused on the measurement methods and analyzed the sub-factors by exploring the meaning suggested by the curriculum in order to prepare a tool to measure subject competency. In addition, actual tests were performed using the measurement tools and variables related to student’s competencies were explored. Korean language subject competency was noted as a subject in this study. Korean language subject competency is of high importance in that it aims at factors directly linked to core competencies and deals with content that is the foundation of all learning. Therefore, providing academic support for cultivating Korean language subject competency can also provide an implication for preparing the methods to cultivate core competency. This study developed and validated the Korean language subject competency measurement method in considerations of these concerns. The research issues to achieve the purpose are as follows. First, the concept and sub-factors of Korean language subject competency are analyzed. Second, it develops and validates tools to measure Korean language subject competency. Third, the level of Korean language subject competency of students is measured according to the background variables, and correlation between Korean language subject competency and related variables is confirmed. Firstly, previous studies were analyzed in this study to achieve the purpose. Previous studies are conducted to identify the characteristics of objects through measuring several competencies. Next, we understood the nature of competency-based Korean language education and paid our attention to the relation between achievement standards and competencies in the curriculum. Based on this concept through the method above, previous studies related to each competency were examined and sub-elements were explored as well. Lastly, we confirmed the measurement and evaluation methods of competency, and we focused on the trends of studies related to subject competency among them. Second, through the review of previous studies, sub-factors of each competency were constructed and items were developed and validated. preliminary-test was conducted on 162 students and the test scale with 82 questions is confirmed by the validity and reliability of the results. Confirmatory factor analysis was conducted on the results of the test performed on 502 students, and the validating of the measurement scale was realized by construct validity and convergent validity and discriminant validity. In addition, it was verified that measurement scale was a reliable scale in measuring the competency of Korean language through reliability verification. In this way, 71 questions were confirmed as the competency measurement scale for Korean language developed and validated through preliminary-test and test. The completed measurement scales are made of critical and creative thinking competency through ‘analysis, inference, creativity’, and data and information utilization competency through ‘task comprehension, data analysis and utilization, task solving and evaluation’, and communication competency through ‘understanding, expression, delivery, media communication capability’ and social and interpersonal relationship competency through ‘cooperation, respect, community understanding’, and cultural enjoyment competency through ‘cultural understanding, cultural acceptance, cultural creation’, self-reflection and development competency through ‘self-inspection, self-reflection, self-leadership’. Third, as a result of the test of Korean language subject competency, students showed an average level of 3.81 and the highest was ‘social and interpersonal relationship competency’. Statistically, female students show significant higher level of Korean language subject competency than male students’. The 2th year shows the highest overall level of Korean language subject competency by grades and no statistically meaningful pattern has been found in other methods except critical and creative thinking competency. The level was differed by school type, but it was not statistically significant. By competency, ‘communication competency’ and ‘social and interpersonal relationship competency’ are the only part that coeducational students shows higher competency level than girls’ school. Finally, korean subject self-efficacy was the most relative factor in Korean language subject competency as a result of examining the relationship between the affective factors and subject competency. Next, it was related in order of immersion and interest in subject competency and value has low correlation with data and information utilization competency, communication competency, and cultural enjoyment competency. This study has meaning in the following areas. First, the direction of research was presented to develop and validate a subject competency measurement scale that has not been dealt with much in the past. Therefore, based on the design of this study suggests, we expect that other subject competency studies can be continued. Second, a tool which can explore sub-factors and measure Korean language competency was developed and validate. In particular, it is meaningful that the scale the study suggests can be used for ideographic competency independently. Third, it is expected that this measurement method will be used to provide basic data to analyze changes in competencies related to Korean language by verifying students’ abilities longitudinally during enrollment. In addition, it is expected to be highly useful In addition, it is expected to be highly useful in that it can be used in various measurement and evaluation situations related to Korean language curriculum competency and can be used as a scale to verify the effectiveness of programs related to competency development. Lastly, it is expected that in addition to gender, grade, and school type, measurement results for students across the country can be checked and used as a tool for mutual comparative research on the Korean language curriculum capabilities of students by region. Based on the significance of this study, it is hoped that various studies will be conducted in the future to enhance Korea's competency-based education.

인성검사 준거설정 방법 비교 연구 : Extended-angoff, rasch, the body of work 방법을 중심으로

이선경 경희대학교 대학원 2017 국내박사

최근 전 세계적으로 21세기 미래사회에 요구되는 주요한 능력으로서 핵심역량(Key Competencies)의 함양과 비인지적 역량 교육의 중요성이 강조되는 추세이다. 특히 우리나라는 ‘인성(character)’을 세계화 시대 경쟁력 제고에 요구되는 역량적 관점에서 이해하고, 국가 차원에서 청소년의 바람직한 인성 함양을 위하여 각별한 관심과 노력을 기울이고 있다. 인성이 학교교육을 통해 달성해야 할 구체적인 교육목표가 됨에 따라 학생 인성을 어떠한 준거에 비추어 평가해야 할 것인지에 관한 연구도 필요하게 되었다. ‘준거설정(standard setting)’은 학생이 알고 있는 것과 할 수 있는 것에 관한 전문가의 판단이 반영되기 때문에, 인성과 같은 비인지적 특성에 관한 평가에도 적용될 수 있다. 다만 검사마다 목적, 내용, 상황이 각기 다르기 때문에 하나의 완벽한 준거설정 방법이라는 것이 정해져 있는 것은 아니며, 청소년의 바람직한 인성에 관한 준거도 아직 개발되지 않은 실정이다. 따라서 본 연구는 세 가지 준거설정 방법(Extended-Angoff 방법, Rasch 방법, The Body of Work 방법)을 적용하여 인성검사에서의 준거설정 방법과 결과를 비교하였다. 각 방법은 모두 검사중심 방법이라는 동일한 범주에 속하면서도 각기 다른 특징의 방법들로써, 세 방법이 하나의 검사에 적용되어 종합적으로 검토된 연구는 본 연구가 처음이다. 본 연구는 각 방법 간 차이를 비교하고, 후속연구에서 준거설정 방법 선택 시 참고할 수 있는 기초자료를 제공하며, 나아가 인성검사에서 성취수준 도달 여부의 판단 근거로 활용할 수 있는 분할점수의 제시 가능성을 검토하고자 하였다. 본 연구에서 설정한 연구문제는 다음과 같다. 첫째, Extended-Angoff 방법, Rasch 방법, The Body of Work 방법에 따른 준거설정 결과(분할점수, 학생 분류 비율, 부정형 문항의 포함 여부)는 어떠한 차이가 있는가? 둘째, Extended-Angoff 방법, Rasch 방법, The Body of Work 방법에 따른 준거설정 결과는 준거설정자의 전문적인 판단없이 규준적으로 학생의 성취수준을 분류한 결과와 어떠한 차이가 있는가? 셋째, Extended-Angoff 방법, Rasch 방법, The Body of Work 방법에 따른 준거설정의 절차적 타당성은 어떠한 차이가 있는가? 본 연구는 연구대상을 중학생으로 한정하고, 현 중학생의 특성을 충분히 이해하고 학생 지도 경험과 식견이 풍부한 현직 중학교 교사 31명을 준거설정자로 구성하였다. 준거설정자 구성 시, 교직경력, 교육학 학위 보유 여부, 담당교과, 학교 소재지 등 교사의 전문성과 기타 특성을 두루 고려하였다. 방법 내 일관성 평가를 위하여 각기 다른 추정방식을 적용한 통계량을 산출하였으며, WINSTEPS(Linacre, 2009), IRT-CLASS(Lee & Kolen, 2006), BB-CLASS(Brennan, 2004) 프로그램을 분석에 이용하였다. 연구문제에 대한 결과는 추정된 분할점수, 학생 분류 결과, 준거설정 평가요소(내적 준거, 외적 준거, 절차적 준거)에 따른 준거설정 방법 평가 결과를 이용하여 제시하였다. 본 연구의 주요 연구결과는 다음과 같다. 첫째, 원 점수 단위에서 직접 비교가 가능한 Extended-Angoff 방법과 BoW 방법 간 분할점수 차이는 4점이고, BoW 방법을 적용할 경우 미성취 집단으로 분류되는 학생이 43명 더 많은 것으로 나타났다. Rasch 방법은 두 방법과 분할점수 단위가 상이하여 직접적인 비교는 불가능하지만, 학생 분류 결과는 BoW 방법과 완벽히 일치하였다. 추후, Rasch 방법에 의한 분할점수와 나머지 두 방법에 의한 분할점수 간 척도변환에 대한 논의도 필요할 것으로 사료된다. 둘째, 본 연구에서 채택한 인성검사는 전체 60문항 중 부정형 문항이 12개 포함되어 있다. Extended-Angoff 방법과 Rasch 방법은 부정형 문항의 포함 여부에 따라 동 방법 내에서도 학생 분류 결과 상 약 40명의 차이가 발생하였고, 부정형 문항이 제외된 경우 미성취 집단으로 분류되는 학생 수가 항상 더 적게 나타났다. 셋째, 준거설정자의 판단이 반영된 세 가지 방법에 따른 준거설정 결과와 준거설정자의 판단을 반영하지 않고 학생을 규준적으로 분류한 결과를 비교하였다. 준거설정자의 전문적 판단이 반영된 Extended-Angoff 방법, Rasch 방법, BoW 방법 간 학생 분류 결과는 방법 간 0명~43명의 차이가 발생하였지만, 준거설정자의 판단을 반영하지 않고 학생을 규준적으로 분류한 방법 간 결과 차이는 857명으로 나타났다. 이를 전체 학생 수에 비교하면, 준거설정자 판단이 반영된 경우는 2% 내외 수준, 그렇지 않은 경우는 55% 내외 수준의 차이에 해당한다. 준거설정자의 판단이 반영되는 경우는 적용된 방법이 각기 다르더라도 결과 간 차이가 비교적 일정한 범위 내에 놓여 있지만, 규준적 분류 방식(Likert 척도의 등간성 가정, 실제 검사자료의 평균값 이용)을 적용할 경우에는 일관된 결과를 얻기 어려운 것으로 나타났다. 넷째, Rasch 방법은 준거설정자가 판단한 숙달수준(mastery level)을 반영해야만 다른 방법들과 높은 일치도를 갖는 결과를 산출하였다. 다섯째, 방법 내 일관성 평가를 위하여 각기 다른 추정방식으로 분류일치도를 추정한 결과, 문항반응이론(Item Responses Theory, IRT)을 적용한 경우의 통계량이 항상 가장 크게 산출되었다. 일치도 지수는 모든 경우 약 .98 이상으로 나타났고, Kappa 계수는 Subkoviak(1976) 방식과 Livingston-Lewis(1995) 방식에 의한 추정치가 대부분 .6 이었던 것에 비해 IRT 방식은 .8 이상의 값이 산출되었다. 여섯째, 각 방법의 타당성을 평가한 결과, 명확성, 실용성 등 대부분의 영역에서 세 방법이 비슷한 수준으로 평가되었다. 다만, 실제 학교현장에서 준거설정 방법을 적용한다면 Rasch 방법을 선택하겠다는 응답이 전체의 약 절반에 해당하는 14명(45.2%)으로 나타났다. 그동안 Rasch 방법에 대한 연구는 다른 준거설정 방법들에 비해 상대적으로 부족하였고, 비교 연구도 주로 Angoff 방법과의 비교에 국한되어 왔다. 그러나 본 연구를 통하여 Rasch 방법이 Angoff 방법 이외의 방법과도 상당히 일치하는 결과를 얻을 수 있고, 준거설정 평가요소에 따른 평가에서도 그 타당성을 확인함으로써 준거설정 방법으로서의 가능성이 경험적으로 재검토되었다. 본 연구는 검사중심 준거설정 방법에 속하는 Extended-Angoff 방법, Rasch 방법, The Body of Work 방법을 중학생용 인성검사 준거설정에 적용해봄으로써 학생의 인성을 두 집단으로 구분할 수 있는 하나의 분할점수를 산출하고, 각 방법과 결과를 비교하였다. 본 연구는 단일 분할점수를 추정하는 초기 단계의 연구이지만 학교교육을 통한 인성역량 함양이 강조되는 추세에 대비하여, 인성평가에서의 준거설정 가능성과 함께 관련 후속연구에서의 준거설정 방법 선택 시 참고할 수 있는 정보를 제공할 수 있을 것으로 기대한다. The development of key competencies and the importance of non-cognitive competence education are emphasized as required for the future society. Particularly, special attention has been paid to enhancing ‘character education’ in terms of global competitiveness. As the character becomes one of key compentnces, it has been necessary to study how standards should be set to decide the level of character. Since ‘standard setting’ reflects experts’ judgment on what students know and what they must know, it can be applied to the evaluation of non-cognitive characteristics like character. However, each test has a different objective, content and situation, and so there is no single perfect standard setting method. Thus, this study applied three standard setting methods (i.e., Extended-Angoff method, Rasch method and the Body of Work (BoW) method) to compare the methods and results of the standard setting methods in character testing. Each method is a test-centered method, which falls under the same category, but has different characteristics, and it is the first study to comprehensively evaluate the three methods, applied in a single test. This study would compare the differences among the methods and provide basic information, which could be used in selecting a standard setting method in the future studies. Furthermore, this study would examine the possibility to propose a cut-off score, which could be used as a basis to judge whether a student reaches the performance level in character testing. The research questions set up in this study are as follows; First, what are the differences in the standard setting results according to Extended -Angoff method, Rasch method and BoW method (e.g., cut-off score, student classification ratio, and including a negatively-worded item or not)? Second, how are the standard setting results of the Extended-Angoff method, Rasch method and BoW method different from the results of the normative classification of the student’s performance level without a panelists’ professional judgment? Third, what are the differences in the procedural validity of standard setting according to the Extended-Angoff method, Rasch method, and BoW method? For this study, a character test was administered to middle school students and the panelists consisted of 31 middle school teachers, who understood students’ characteristics well and had abundant experience and knowledge in student guidance. Their expertise and other characteristics (e.g. teaching career, educational degree, teaching subject, and location of school) were considered. The students’ responses were classified into to performance levels. WINSTEPS program (Linacre, 2009) was used to estimate item difficulty and ability parameter. SPSS 21.0, EXCEL, IRT-CLASS (Lee & Kolen, 2006) and BB-CLASS (Brennan, 2004) were used to analyze basic statistics, intraparticipant consistency, interaparticipant consistency. Three statistics values were estimated by applying different estimation methods in order to evaluate consistency within the method. The standard setting was evaluated by the estimated cut-off score, student classification results, and standard setting evaluation elements (i.e., internal evidence, external evidence and procedural evidence). The main results of this study are summarized as follows; First, the difference in the cut-off score between Extended-Angoff method and BoW method was 4 points. When BoW method was applied, 43 more students were classified as those at ‘Performance Level 0’ as compared to the Extended-Angoff method. Rasch method could not be directly compared with these t o methods because the unit of the cut-off score was different from the other t o methods. However, the results of student classification were completely identical with those of that by BoW method. It would be necessary to discuss the conversion of the scale between the cut-off score by Rasch method and that by the other t o methods. Second, in the character index instrument selected by this study, 12 negatively-worded items were included out of 60 items. Depending on whether negatively-worded items were included, there was a difference of 40 students in the results of the student classification within Extended-Angoff method and Rasch method. When negatively-worded items were excluded, the number of students classified as those at ‘Performance Level 0’ tended to be fewer. Third, the results of standard setting made by the three methods, which reflect the panelists’ judgment were compared with the results of normative classification of students. When the panelists’ judgment was reflected, there were differences of 0 to 43 students in student classification among Extended-Angoff method, Rasch method and BoW method, while there was a difference of 857 students from the result by the method of normative classification of students. In comparison to the total number of students, there was a difference about 2% when the panelists’ judgment was reflected, while there was that of about 55% when their judgement was not. If the panelists’ judgment was reflected, the difference in the results among the three methods remained relatively constant. Fourth, Rasch method produced consistent results with other methods only when the panelists’ judgement for the level of mastery. Fifth, the consistency index  was always higher than .98. Kappa coefficients estimated by Subkoviak method and Livingston-Lewis method were in general 0.6 while those estimated by the IRT method were higher than 0.8. Finally, the three methods showed the similar patterns in the aspects of explicitness and practicability. However, about half of the panelists (14 persons, 45.2%) preferred Rasch method. Consequently, this study could empirically reconsider its possibility as a standard setting method by verifying its validity in the evaluation results according to standard setting valuation elements (i.e., internal evidence, external evidence, and procedural vidence). This study estimated a single cut-off score that could classify tudents’ character broadly into t o groups, applying Extended-Angoff method, Rasch method, and BoW method to the standard setting in character testing.

과학과 예술의 융합지식에 관한 인식론적 신념 측정을 위한 탐색적 연구

홍수진 경희대학교 일반대학원 2015 국내박사

근래에 대학은 교양 교육과정이나 학제간 연구 등을 통해 다양한 형태로 융합의 개념을 받아들이고 있으며, 사회적 요구와 학습자의 수요에 적합한 기초교양교육 프로그램을 개발하고, 개인의 창의성 발현을 위한 융합교육의 시행과 실태를 논의하고 있다. 지식과 학문과 교육의 재구성에 관한 논의가 심화되고, 교육 현장에 적용되고 있는 융합 관련 교육정책들의 성과가 가시적으로 드러나면서 융합의 가치가 한층 부각되고 있는 추세이다. 그러나 융합의 필요성에 대해서는 인정하면서도 융합의 본질에 관한 근본적인 고민이나 이해의 의지는 미흡하며, 개인의 잠재적 특성에 관한 연구가 증가하고 있음에도 이에 관한 객관적인 측정을 통한 탐색은 부족한 실정이다. 이러한 시대적 전개와 요구에 의해 본 연구는 융합지식에 관한 인식론적 신념 척도를 개발하여 융합지식에 관한 인식론적 신념의 측정 가능성을 탐색하고자 수행되었다. 또한 ‘융합 인식론적 신념’과 관련 변인 간의 관계를 파악하여 정의적 특성 함양의 바탕이 될 수 있는 정보를 제공하고자 하였다. 기존의 교육 및 심리측정 분야의 연구들은 학습에 영향을 미치는 개인의 잠재적 특성(latent trait)을 탐색하고 이를 측정하고자 노력해 왔으나, 주로 흥미나 정서와 같은 정서적인 속성을 중심으로 진행된 측면이 있다. 이에 본 연구는 ‘지식과 학습에 관한 개인의 견해 및 관점’으로서 인식론적 신념에 관한 연구의 필요성에 동의하며, 이러한 논제를 구체적으로 논의하고자 다음과 같이 연구문제를 설정하였다. 첫째, ‘과학과 예술의 융합에 관한 인식론적 신념’의 개념을 정의하고, 둘째, ‘과학과 예술의 융합에 관한 인식론적 신념’ 척도의 양호도를 검증하며, 셋째 ‘과학과 예술의 융합에 관한 인식론적 신념’과 관련 변인의 관계를 탐색하고자 하였다. 이러한 연구문3제에 따라 수행된 연구의 결과는 다음과 같다. 첫째, ‘과학과 예술의 융합에 관한 인식론적 신념’은 융합지식에 대한 개인적인 관점이나 견해로, 몇 가지 독립적인 개념으로 구성된 하나의 잠재적인 특성이다. 본 연구에서 탐색한 ‘융합 인식론적 신념’은 크게 ‘융합지식의 본질’에 대한 신념과 ‘융합지식 습득의 본질’에 관한 신념으로 구성되는데, 이는 다시 ‘융합지식의 체계’, ‘융합지식의 가변성’, ‘융합지식의 근원’, ‘융합지식의 정당화’, ‘융합지식 습득방식’, ‘융합지식 습득가치’의 독립적인 7개 신념으로 구분된다. 여기에서 ‘융합지식’은 상반되는 영역으로 간주되어 왔으나 근래에 더욱 활발히 교류가 이루어지고 있는 ‘과학과 예술의 융합’으로 한정하였다. 또한 ‘과학과 예술의 융합지식’의 개념화에 앞서 과학, 예술 각 영역을 개념화하고 구성요소를 탐색하였다. 둘째, 개발된 척도는 대학생의 융합에 관한 인식론적 신념을 측정하는 데 타당한 도구로 검증되었다. 총 2회의 전문가 검토를 거쳤으며 내용타당도 지수 산출 및 내용타당도 검토 내용을 분석한 결과를 토대로 문항의 구조와 내용을 수정 및 삭제하였고 이를 통해 내용타당도를 확보하였다. 탐색된 5개 요인구조가 적합한 측정 모형으로 확인되었고, 수렴타당도와 판별타당도를 산출 및 분석하여 구인타당도를 확보하였다. 셋째, 개인배경 변인, 학습맥락 변인, 창의적 인재 역량과 융합 인식론적 신념과 관계를 분석하였다. 이를 위해 두 독립표본 t-검증, 일원분산분석을 실시한 결과, 뚜렷하고 일관적인 패턴을 나타내지는 않았으나, 변인에 따라 다양한 양상을 확인하였다. 특히 전공계열에 따른 융합 인식론적 신념은 5개 하위요인 모두에서 유의한 차이를 나타냈으며, 전반적으로 인문·자연계열의 신념 수준이 예체능·공학계열에 비해 더욱 정교한 신념 수준을 지닌 것으로 나타났다. 또한 일부 특이한 경우를 제외하면 학점이 좋을수록 인식론적 신념의 수준이 정교한 것으로 판단되었다. 학습맥락 변인에서는 특히 융합교과에서 좋은 성적을 받을 것으로 스스로 판단하는 경우, 융합에 대해 자신만의 개념을 문장 또는 수식으로 도출한 경우에 더욱 정교한 신념 수준을 나타냈다. 또한 창의적 인재 역량 수준이 높을수록 ‘융합지식의 근원’을 제외한 모든 하위영역에서 신념 수준이 정교한 것으로 나타났다. 미래의 대학에서는 융합학문을 공부하고 융합연구를 수행하며 새로운 지식을 전달하게 될 대학생들이 ‘융합지식’이라는 것을 무엇으로 알고 어떻게 받아들이고 있는가? 과학 및 예술의 본질은 무엇이며 이들 간의 융합의 가능한가? 이러한 물음에 대해 학생들은 자신만의 견해를 인식하고 판단하고 있는지에 대한 확인이 더욱 필요해질 것이다. 결론적으로 본 연구는 융합지식 및 인식론적 신념에 관한 개념적·이론적 기초를 토대로 개발된 ‘융합 인식론적 신념 척도’가 개별 학생의 지식 신념 수준을 경험적으로 확인함으로써, 그 결과를 대학 교육과정의 내용과 질, 교수방법을 개선하고, 나아가 대학에서의 융합교육에 유용한 프로그램 및 기초교양교육 강좌를 마련하는 데 활용할 수 있을 것으로 기대한다.

교사의 피드백수행과 수행평가형태가 국어 글쓰기 능력과 창의적 인재 역량 개발에 미치는 영향 연구

선광식 경희대학교 일반대학원 2014 국내박사

지식정보기반의 현대 사회에 접어들면서 미래지향적인 인간상으로의 변화와 함께 학교 교육의 변화가 요구되고 있으며, 변화의 핵심에는 창의적 사고, 협력적 활동, 창의적 지식구성 등이 중요한 키워드로 자리하고 있다. 이러한 교육환경에서는 학생이 무엇을 알고 있다는 것보다 지식의 창출과 문제해결을 위한 창의적 인재 역량 개발이 요구되고 있다. 본 논문은 학교 교육 변화 요구에 대처하기 위한 교사의 형성평가 피드백과 협력과제 기반의 수행평가 방법이 창의적 인재 역량 개발과 어떠한 관계가 있는지를 알아보는 것을 목적으로 하고 있다. 특히, 글쓰기 능력이 모든 교과의 학습에 기반이 된다는 것을 고려하여 초등학교 6학년 국어교과의 사례를 분석하고자 한다. 이에 대한 연구문제는 다음과 같다. 1) 국어교과에서 교사의 피드백 수행 여부는 학생의 글쓰기 능력 향상과 어떠한 관계가 있는가? 2) 국어교과에서 교사의 피드백이 제공되는 상황에서 수행평가 유형(협력형/개별형)은 학생의 창의적 인재역량 개발과 어떠한 관계가 있는가? 연구대상은 서울시내 4개 초등학교 6학년 8개 학급 180명이며, 이 중 2개 학급(실험집단 I)은 교사가 형성평가 피드백을 수행하고 개별과제 기반의 수행평가를 실시하였으며, 3개 학급(실험집단 II)은 형성평가 피드백 수행과 함께 협력과제 기반의 수행평가를 실시하며, 나머지 3개 학급(통제집단)은 형성평가 피드백을 제공하지 않았으며 수행평가도 개별과제로 시행하였다. 학생들의 글쓰기 능력과 창의적 인재 역량 개발에 대한 평가를 하기 위해서 측정도구는 국어과 글쓰기 진단평가 검사지, 창의적 인재 역량 측정도구, 6학년 국어 듣기․말하기․쓰기 교과서 4단원의 글쓰기 평가지를 사용하였다. 자료분석을 위해 첫째, Rasch 측정모형을 적용하여 부적합한 반응을 보이는 학생들을 선별하여 분석에서 제외하였으며, 집단들의 동질성 검증을 위해 창의적 인재 역량과 글쓰기 능력 평가를 위한 사전검사를 실시하였다. 집단별로 창의적 인재 역량과 글쓰기 능력에 어떠한 영향을 미쳤는지를 비교하기 위해 실험처치 이전과 이후에 대한 독립표본 t 검증과 대응표본 t 검증을 실시하였다. 그 결과를 연구문제에 따라 정리하면 다음과 같다. 1) 국어교과에서 교사의 피드백 수행 여부가 학생의 글쓰기 능력 향상과 어떠한 관계가 있는지를 알아보기 위해 두 개 집단(피드백 수행 집단/피드백 수행 안한 집단)에 대해 독립표본 t 검증을 실시하였다. 사전에 두 개 집단에 대한 글쓰기 능력 수준의 동질성을 확인하기 위한 사전검사를 실시하였고, 실험처치 후에 국어교과 글쓰기 능력 평가를 실시하였다. 국어과 쓰기 4단원이 끝난 후 실시한 사후 검사에서는 통제집단의 평균은 20.56, 실험집단Ⅰ의 평균은 26.00으로 집단 간 평균의 차이가 유의도 수준 .01에서 의미 있게 나타났다. 이는 형성평가 피드백이 학생의 글쓰기 능력 향상에 효과가 있었다는 것을 말해준다. 2) 국어교과에서 교사의 피드백이 제공되는 상황에서 수행평가 형태(협력형/개별형)는 학생의 창의적 인재 역량 개발과 어떠한 관계가 있는지를 알아보기 위해 실험처치 전후 점수에 대해 대응표본 t 검증을 실시하였다. 그 결과, 창의적 인재 역량은 개별과제 수행평가보다 협력과제 수행평가를 실시한 경우에 통계적으로 유의한 변화가 일어났다는 것을 알 수 있었다. 특히, 협력과제 수행평가를 실시하였을 때 창의적 인재 역량의 구성영역들 중에서 인지적 영역이 향상된다는 것을 발견하였다. 결론적으로 형성평가 피드백 제공과 협력과제 기반의 수행평가의 효과성에 대해 다음과 같은 결론을 도출할 수 있다. 첫째, 형성평가 피드백의 제공은 초등학교 국어교과의 글쓰기 능력 개선에 효과가 있다. 둘째, 형성평가 피드백이 제공되는 상황에서 협력과제 기반의 수행평가는 학생의 창의적 인재 역량(특히, 인지적 측면) 개발에 긍정적인 영향을 미친다. 대부분의 피드백 선행연구들은 피드백 방법과 심리적 요인과 연계하여 진행되었으나, 본 논문은 형성평가 피드백과 수행평가 과제 형태가 국어과의 글쓰기 능력과 창의적 인재 역량에 미치는 효과성을 검증했다는 점에서 연구의 의의가 있다. 또한 교사의 평가방법 개선을 통한 교수․학습 운영의 질적인 변화를 유도할 수 있다는 점에서 수업 개선에 도움을 줄 수 있을 것이다. 그러나 초등학생을 대상으로 한 연구이기 때문에 중학교나 고등학교상황에서의 효과성에 대한 검증이 필요하며, 국어 교과 이외의 다른 교과에 대한 피드백 제공과 협력수행평가에 대한 후속 연구가 필요하다. As the importance of knowledge and information increases, a change into future-oriented human character and changes in school education is needed. In the core of these changes, creative thinking, collaboration, inventive forming of informations, and so on are their important keywords. In educational environment like this, students are required to develop creative leader competency for creating knowledge and solving problems rather than build up knowledge of something. This paper aims to investigate any connection of teachers' feedback on formative evaluation and forms of performance assessment based on cooperative task―which are required to cope with changes in schooling― with development of creativity. Especially, it is aimed to analyze some examples of Korean language curriculum in 6th grade, elementary school. The subjects for this inquiry are as in the following: 1) In the Korean language curriculum, what kind of connection existed between whether a teacher provided feedback or not and development of students' creative writing skills? 2) In the Korean language curriculum, when feedback is provided by the teacher, what kind of connection existed between forms of performance assessment(cooperative or individual task) and development of creativity of the students? 180 students from 8 classes of 6th grades of 4 elementary schools in Seoul city is subjects for this inquiry, and 2 classes among them (experimental group Ⅰ) performed feedback on formative assessment and performance assessment based on individual tasks; 3 classes (experimental group Ⅱ) conducted performance assessment based on cooperative tasks with performing feedback on formative assessment; the rest 3 classes (control group) were not provided any feedback on formative assessment, and they conducted performance assessment based on individual tasks. We used writing assessment test paper, scale for measuring creative leader competency, and assessment form of a 4th unit of a Korean Listening·Speaking·Writing textbook to evaluate the writing ability and creative leader competency of students. First, to analyze data, we excluded students who showed inconsistent responses from our analysis by applying the Rasch evaluation model, and to test homogeneity between the groups, we conducted a preliminary examination for measuring creative leader competency and writing ability of students. To compare effects on creative leader competency and writing skill of each group, we investigated independent sample t and matching sample t. The results arranged by each of the subjects of this inquiry is below: 1) In the Korean language curriculum, we investigated independent sample t in 2 groups to search the connection between whether a teacher provided feedback or not and improvement of students' writing skills. In advance, we had an examination to check homogeneity in the writing ability level between the two groups, and after completion of experiment, we conducted a writing skill assessment of the 4th unit of the Korean textbook. In a post test which was conducted after the 4th unit of the Korean Writing, the average of control group was 20.56 and 26.00 for experimental group Ⅰ. The gap between average of each group was significant, p<0.01 in significance level. It shows that the feedback on formative assessment has the greatest effect on the development of students' writing skills. 2) In the Korean language curriculum, in the case of feedback is provided by the teacher, we investigated matching sample t on before and after scores of the experiment to search what kind of relationship exists between forms of performance assessment(cooperative or individual task) and development of creative leader competency of the students. As a result, we found that a statistically significant change had occurred in creative leader competency when the students conducted cooperative tasks. Particularly, we found that cognitive domains were enhanced among compositional domains of creative leader competency. In sum, we can draw conclusions from this study on the effectiveness of providing feedback on formative assessment and performance assessment based on cooperative tasks as follows: First, providing feedback on formative assessment is effective in improving writing skills. Second, providing feedback on performance assessment has a positive effect on the development of creative leader competency of students―especially for cognitive side of that―, so it has a development effectiveness for creative leader competency. Although most of the previous studies on feedback were conducted under connection with ways to feedback and psychological factors, this study verified the effectiveness of performance assessment feedback and methods of performance assessment on Korean writing skills and the development of creative leader competency, so it has a significance. Also, it is meaningful because it suggested qualitative changes in teaching-learning operation through improvement in assessment methods of teachers, by its experiments. However, because this study was targeted to elementary school students, the effectiveness is needed to investigated in middle-schoolers or high-schoolers, and further research is required on feedback providing and cooperative performance assessment in other subjects, except in Korean.

중국인 유학생 학업중단의도에 영향을 미치는 학생 및 대학수준 변인의 탐색

김해경 경희대학교 대학원 2016 국내박사

최근 한국을 찾는 외국인 유학생들이 점점 늘어나고 있는 추세이다. 유학생들의 국내유입은 국가 브랜드 상승, 경제적 효과, 국내대학의 국제화 등 장점이 있지만, 유학생 관리가 따라가지 못할 경우 유학생활 부적응, 학업중단 등 문제를 야기할 수 있다. 불법체류 유학생이 8%에 육박하고, 국내 대학에서의 외국인 유학생 학업중단율은 2012년부터 매년 증가추세를 보이고 있음에도 불구하고 외국인 유학생 학업중단에 대한 연구는 부족한 실정이다. 본 연구는 이러한 환경적 변화와 유학생 관리의 필요성에 의해 중국인 유학생들이 한국 대학에서의 학업중단의도 수준을 파악하고 영향을 미치는 학생 및 대학수준의 변인을 탐색하고자 수행되었다. 나아가서 중국인 유학생들의 학업중단을 예방할 수 있는 교육적 대책 마련을 위한 기초자료를 제공하고자 한다. 이에 본 연구에서는 다음과 같이 연구문제를 설정하였다. 첫째, 한국 대학에 재학 중인 중국인 유학생의 학업중단의도 수준은 어떠한가? 둘째, 중국인 유학생의 학업중단의도는 학생 및 대학수준 변인에 따라 차이가 있는가? 셋째, 학생 및 대학수준 변인이 중국인 유학생 학업중단의도에 미치는 영향은 어떠한가? 본 연구의 연구대상은 한국 대학에 재학 중인 중국인 학부생으로 선정하였고, 단기과정으로 한국어연수 혹은 교환학생 과정을 이수하고 있는 학생들은 연구대상에서 제외하였다. 전국 4년제 대학 중 2015년 학위과정 외국인 유학생 재학생 수가 100명이 넘는 대학 중에서 지역을 고려하여 31개 대학을 선정하여 설문을 진행하였다. 각 대학별 50부씩, 총 1,550부의 설문을 배포하였고 최종 1,461부가 회수되었으며 1,416부의 설문지를 분석에 활용하였다. 자료분석은 중국인 유학생의 학업중단의도 수준과 변인에 따른 수준차이를 확인하기 위해 SPSS 21.0 프로그램을 사용하여 빈도분석, 신뢰도분석, t검증(t-test), 일원분산분석(ANOVA)를 실시하였다. 또한 중국인 유학생의 학업중단의도에 영향을 미치는 변인을 학생수준과 대학수준에서 탐색하고자 HLM 6.08 프로그램을 사용하여 2수준 다층모형을 적용한 위계적 선형모형 분석을 실시하였다. 연구의 결과를 요약하면 다음과 같다. 첫째, 중국인 유학생들의 학업중단의도 수준은 보통수준보다 조금 낮게 나타났다. 둘째, 학생 및 대학수준 변인에 따른 학업중단의도의 차이를 분석한 결과, 성별, 학년, 유학생 규모에 따라 통계적으로 유의미한 차이를 보였다. 남학생의 학업중단의도 수준은 여학생에 비해 통계적으로 유의미하게 높았고, 2학년의 학업중단의도 수준은 4학년에 비해 통계적으로 유의미하게 높았다. 유학생 규모가 작은 대학에 다니는 학생의 학업중단의도는 유학생 규모가 큰 대학에 다니는 학생에 비해 유의미하게 높게 나타났다. 셋째, 중국인 유학생 학업중단의도에 영향을 미치는 학생수준 변인들의 영향력을 확인해 본 결과, 심리적 변인 중 문화적응 스트레스는 중국인 유학생의 학업중단의도에 정적(+)인 영향을 미쳤고, 목표몰입과 기관몰입은 부적(-)인 영향을 미쳤다. 대학경험 변인 중 동료관계, 유학생지원 프로그램 참여경험, 대학성적은 중국인 유학생의 학업중단의도에 부적(-)인 영향을 미치는 것으로 나타났다. 대학수준 변인 중 외국인 유학생 규모, 유학지원 프로그램 참가비율은 중국인 유학생 학업중단의도에 부적(-)인 영향을 미치는 것으로 나타났다. 이와 같은 연구 결과를 토대로 중국인 유학생의 학업중단을 줄여주고 학업중단에 도움을 주기 위한 대학의 역할에 대해 다음과 같이 제시한다. 첫째, 대학에서는 학생들의 학업중단의도 수준을 파악하고 잠재적 학업중단자들이 실제 학업중단으로 이어지지 않도록 조기경보체계를 구축할 필요가 있다. 특히 학업중단의도 형성에 가장 중요한 영향을 미치는 시기에 처한 신입생 대상으로 특별한 관심이 필요하다. 둘째, 학생들이 수업진도를 따라가지 못함으로 인해 학습에 흥미를 잃고 학업중단자로 발전되지 않도록 대학에서는 학생의 학업능력 수준을 사전에 파악하고, 학업능력이 부족한 유학생들을 위해서 보충수업 프로그램이나 튜터링을 체계적으로 운영할 수 있도록 지원할 필요가 있다. 셋째, 중국과 한국 학생들이 서로의 문화를 이해하고 문화 충격과 갈등을 조정하고 이해시켜 줄 수 있는 문화체험 활동을 운영하고, 지원을 강화할 필요가 있다. 넷째, 한국 학생 및 교직원 대상으로 국제 학생과 국제 교육 교류의 가치 및 중요성 인식 확산 프로그램을 진행하고, 외국인과 외국문화를 편견 없이 받아들일 수 있도록 환경조성이 필요하다. 다섯째, 유학생 선발단계부터 입학 후 불법이탈이나 학업중단 등의 문제발생 가능성이 적은 학생을 선발할 수 있도록 입학요건 구체화, 입학시험 강화 등 자격을 갖춘 학생 선발 시스템을 구축해야 할 것이다. 본 연구에서는 한국 대학에서 수학중인 중국인 유학생들의 학업중단의도를 파악하고자 했으며, 중국인 유학생 학업중단의도에 영향을 미치는 변인을 확인하고 영향력을 검증하고자 했다. 본 연구의 결과는 중국인 유학생의 학업중단의도를 이해하고, 교육을 통한 외국인 유학생들의 학업중단 감소방안을 탐구하는데 도움이 되며, 나아가 외국인 유학생의 체계적인 관리에 기여할 수 있을 것으로 기대한다. The number of foreign students studying in Korea has been increased recently. The influx of more foreign students leads to the increasing of the korean national brand power, and creates more economic effect while internationalizes Korean universities. However, problems such as maladjustment to a new learning environment and dropout may be caused without managing foreign students in Korea properly. Besides, the rate of foreign students staying in Korea illegally has reached up to 8% at present, and the rate of foreign students dropping out of Korean universities has increased since 2012. Previous studies about dropping out have mainly focused on domestic students, have not been conducted yet on foreign students. It is necessary to comprehend such an environmental changes and to manage foreign students in Korea. This study aims to examine Chinese students’ dropout intention in Korea and finds out individual and organization-level variables which influence their dropout intention in Korea. Ultimately, this study intends to provide basic data which can be used to take educational measures to prevent Chinese students from dropping out in Korean Universities. Research questions of this study have been listed as followed. First, what is the level of Chinese students’ dropout intention in Korea? Second, Were there any differences in Chinese students’ dropout intention between individual and organizational variables? Third, how do individual and organizational variables affect Chinese students’ dropout intention in Korea? As regard to the methods adopted in the research, Chinese undergraduates studying in Korean universities have been selected as the research subjects. This excluded Chinese students taking short-term courses such as Korean language courses and those participated in exchange students programs. 31 four-year universities with more than 100 international undergraduate students were selected. A total of 1,550 copies of the questionnaire were distributed to the 31 universities, 50 copies per university, and a total of 1,461 copies of the questionnaire were collected and used for analysis. For analyzing the difference in Chinese students’ dropout intention, SPSS 21.0 program was used to conduct frequency, reliability analysis, t-test and one-way ANOVA. For estimating the individual and organizational level variables influencing Chinese students’ dropout intention in Korea, HLM 6.08 program was used to conduct Hierarchical Linear Modeling(HLM) analysis. The results of this study can be summarized as bellowed, First, this study found that the level of Chinese students’ dropout intention in Korea was slightly lower than average. Second, as a result of analyzing differences in their dropout intention by variables, that they showed a significant difference in gender, grade, scale of foreigner student. Result showed male student’s dropout intention was significantly higher than that of female students. And sophomore student’s dropout was intention significantly higher than that of senior students. The dropout attention of students in universities with less foreign students was significantly higher than students in universities with more foreign students. Third, as a result of analyzing the influence of individual-level variables affecting Chinese students’ dropout intention, this study found out that among all the psychological variables, cultural adaptation Stress had a positive(+) effect on Chinese students’ dropout intention, while goal commitment and organizational commitment had a negative(-) effect on their dropout intention. Besides, fellowship, experience of participating in a foreign student support program and college GPA were found to have negative(-) effect on Chinese students’ dropout intention out of all the college experience variables, and the number of foreign students and the rate of participating in a foreign student support program had found to have a negative(-) effect on their dropout intention out of all the organization-level variables. Based on the results, this study suggests that Korean universities can reduce Chinese students’ dropout rate with the following roles. First, it is necessary for Korean universities to establish an early warning system that can comprehends the level of foreign students’ dropout intention and prevent potential dropouts from dropping out of college actually. Second, Korean universities need to comprehend the academic achievement levels of foreign students in advance and be able to provide supplementary lessons or tutoring programs systematically, so that foreign students with poor academic performances will not lose interest in learning and not dropping out eventually. Third, it is important to promote cultural experience activities to help Chinese and Korean students understand the culture of each other more and alleviate any cultural shocks and conflicts that a foreign students may face. Fourth, it is necessary to provide proper programs for faculty and Korean students to realize not only the value of international students but also the importance of international education exchanges. So that an environment as such will be able to accept foreigners and foreign cultures without prejudice. Fifth, student selection system with standardized entrance requirements and enhanced entrance examinations system should be established so that Korean universities are able to select foreign students who are less likely to leave school illegally or dropout from college. This study aims to comprehend the dropout intention of Chinese students, who are studying in Korean universities, and examines and verifies the influence of variables affecting Chinese students’ dropout intention in Korea. It is expected that the results of this study will be useful in understanding Chinese students’ dropout intention and will be further seeking plans to reduce foreign students’ dropout through education, and ultimately contributing to manage foreign students systematically. 有关学生及大学因素对在韩中国留学生中断学业意图影响的多层线性模型分析 近年来,赴韩留学的中国学生人数日益增多。留学生人数的增加,在韩国立场上,对于国家声誉的上升,增加经济收入,促进国内大学的国际化等方面具有其重要的意义。不过,由于对留学生的管理跟不上留学生数量的增加,使留学生在适应大学生活及学业方面也面临诸多问题。在韩留学生非法滞留率已达到近8%,在韩国大学就读的外国留学生学业中断率也已达到近5%,并且从2012年开始一直呈现上升趋势。尽管有这么多的问题,留学生学业中断方面的研究,却很不足。基于这种环境变化和对留学生管理的需要,本研究的目的在于了解就读于韩国大学的中国留学生中断学业意图的水平,并确认学生及大学的变量对中国留学生学业中断所产生的影响。进而为预防中国留学生在韩国大学的学业中断而提供教育对策及基础资料。 本研究的研究问题如下。1. 就读于韩国大学的中国留学生的中断学业意图水平如何? 2. 中国留学生中断学业意图水平,在学生及大学的变量存在差异吗? 3. 学生及大学因素对在韩中国留学生中断学业意图的影响如何? 本研究的研究对象为就读于韩国大学本科课程的中国留学生。语学堂学生和交换生除外。综合地区因素的考虑,在韩国的四年制、留学生人数过百的大学中选取了31所大学发放问卷。所发放的问卷为每所大学50份,总计1550份,最终回收了1461份,排除不符合要求的问卷,在本研究中共使用了1416份问卷。为了分析中国留学生中断学业意图水平的变量差异使用SPSS21.0软件,进行了频度分析,信度分析,t检验,方差分析。为了分析学生及大学因素对在韩中国留学生中断学业意图的影响,使用HLM6.08软件,进行了二层线性模型分析。 研究结果表明: 1. 中国留学生的学业中断意图整体上比普通水平略低。 2. 中国留学生的中断学业意图在性别、年级、留学生规模方面存在显著的差异。男生的中断学业意图显著高于女生。在年级变量上,二年级学生的中断学业意图显著高于四年级学生。另外,在留学生规模小的学校就读的学生,中断学业意图显著高于在留学生规模大的学校就读的学生。 3. 在学生层次,对中国留学生学业中断意图影响因素的分析结果如下。心理因素中,文化适应压力对中国留学生学业中断意图有显著的正向预期作用,目标承诺与机关承诺对中国留学生中断学业意图有显著的负向预期作用。大学经验因素中,朋友关系、参加留学生活动的经验、大学成绩对中国留学生中断学业意图有显著的负向预期作用。 4. 在大学层次,对中国留学生学业中断意图影响因素的分析结果,外国留学生规模、参加留学生活动的人数比例对中国留学生学业中断意有显著的负向预期作用。 基于以上研究结果,为了减少在韩国大学就读的中国留学生的学业中断,大学应该做到以下几点: 1. 为了了解学生的中断学业意图水平,不让潜在的学业中断者变成真正的学业中断者,大学有必要构建早期警报机制,重点管理中断学业意图水平较高的学生。需要特别关注一年级学生。 2. 为了不让学生因为跟不上学习进度,对学习失去兴趣,而中断学业,大学应该提前调查学生的学习能力水准,建立对学习能力不足的学生提供补课或学习伙伴的制度。 3. 支持和增加文化体验活动,使中国学生和韩国学生更深入地理解对方的文化,减少双方矛盾。 4. 针对韩国学生及教师提供了解留学生及与留学生交流的教育项目,以改变他们对外国人及外国文化的偏见。 5. 采取具体定制留学生入学条件、加强入学考试等措施,选拔具备一定资格的学生。从入学时开始管理,以减少入学后的非法逃离或学业中断等问题的发生。 本研究希望了解在韩国大学就读的中国留学生的中断学业意图,确认对中国留学生学业中断意图有影响的变量及其影响力。本研究的结果对了解中国留学生的中断学业意图,通过教育减少留学生学业中断的方案的研究起到一定的作用,进而为留学生的管理作出一定的贡献。

기준설정을 위한 패널의 전문성 및 라운딩 규칙 분석 : 원점수방법, Angoff방법, Bookmark방법을 중심으로

주언희 경희대학교 대학원 2013 국내석사

준거참조평가 체제에서 가장 중요한 것은 교수·학습 목표에 근거하여 학생들을 성취수준별로 타당하게 구분할 수 있는 분할점수를 결정하는 것이다. 즉, 기준설정이 타당하게 이루어지지 않으면 학생들의 성취수준에 대한 판단이 제대로 이루어지지 못할 가능성이 높으며, 나아가 준거참조평가에 의한 결과 및 정보 또한 무의미해지게 된다. 그럼에도 불구하고 현재 교육현장에서 일반적으로 사용되는 기준설정 방법은 원점수 방법이다. 원점수 방법은 학교현장에서 간단하고 편리하게 사용될 수 있다는 장점이 있으나 검사지의 난이도에 따라 학생의 성취수준이 다르게 판단될 수 있는 등 안정성이 없기 때문에 타당하다고 보기 어렵다. 따라서 이러한 문제점을 개선하기 위해서는 검사이론에 근거한 다양한 기준 설정 방법을 활용할 필요가 있다. 기준설정방법은 지금까지 여러 학자들에 의해 다양한 방법들이 제안되어 왔으며, 최근 가장 많이 사용되고 있는 방법은 Angoff방법과 Bookmark방법이다. 그러나 지금까지 대부분의 국내 연구에서는 기준설정 방법에 주로 초점을 맞추고 있으며 기준설정에 영향을 미치는 요인에 대해 탐색한 연구는 매우 부족한 실정이다. 따라서 본 연구의 목적은 신뢰롭고 타당한 기준설정을 위해 원점수방법, Angoff방법, Bookmark방법에서 패널의 전문성과 적절한 라운딩 규칙이 무엇인지 분석해보는 것이다. 기준설정 관련 요인으로서 패널 특성과 라운딩 규칙을 분석하는 것은 이 두 가지 요인이 기준설정에 가장 중요한 영향을 미칠 수 있기 때문이다. 이러한 연구목적을 달성하기 위한 연구문제는 다음과 같다. 첫째, 기준설정 방법(원점수방법, Angoff방법, Bookmark방법)에 따라 각 성취수준의 분할점수와 성취수준별 학생 비율은 차이가 있는지 비교한다. 둘째, Angoff방법과 Bookmark방법에서 패널의 전문성에 따라 각 성취수준의 분할점수와 성취수준별 학생 비율은 차이가 있는지 분석한다. 셋째, Angoff방법과 Bookmark방법에서 패널의 전문성에 따라 분류일치도 및 분류정확도에 차이가 있는지 비교한다. 넷째, 원점수방법, Angoff방법, Bookmark방법에서 라운딩 규칙에 따라 성취수준별 학생 비율은 차이가 있는지 비교한다. 다섯째, 원점수방법, Angoff방법, Bookmark방법에서 라운딩 규칙에 따라 분류일치도 및 분류정확도에 차이가 있는지를 살펴본다. 이를 위해, 기준설정에 참여하는 패널집단을 교사집단과 예비교사집단으로 구분하였고, 원점수방법, Angoff방법, Bookmark방법을 사용하여 중학교 3학년 학업성취도평가 수학과 검사 자료를 바탕으로 학생들을 A, B, C, D, E의 5단계 성취수준으로 분류하였다. 패널의 전문성에 따른 기준설정 결과를 비교하기 위하여 두 집단별로 패널 내 분류일치도, 패널 간 분류일치도, 기준설정방법 내 분류일치도 및 분류정확도를 산출하여 분석하였고, 라운딩 규칙에 따른 기준설정 결과를 비교하기 위해 기준설정방법 내 분류일치도 및 분류정확도를 산출하여 그 양상을 비교·분석하였다. 본 연구의 주요 연구결과는 다음과 같다. 첫째, ‘A/B수준’의 분할점수는 원점수방법, Angoff방법, Bookmark방법에서 유사하게 설정되었고, ‘B/C수준’과 ‘C/D수준’의 분할점수는 원점수방법이 가장 높고 Bookmark방법이 가장 낮게 설정되었으며, ‘D/E수준’의 분할점수는 원점수 방법이 가장 높고 Angoff방법이 가장 낮게 설정되었다. 둘째, 패널의 전문성에 따른 분할점수 및 피험자 비율은 Angoff방법에서는 ‘D/E수준’의 분할점수가 모든 평정에서 교사집단이 예비교사집단보다 높게 설정되었으며 특히 ‘E수준’에서 두 집단간의 분류비율 차이가 크게 나타나 하위집단을 고려하는 기준이 현장에 있는 교사와 전문성을 덜 갖춘 예비교사간의 차이가 있었다. 반면 Bookmark방법에서는 상위집단의 피험자 분류비율이 패널의 전문성에 따라 상이한 것으로 나타나 상위집단을 가정하는 기준이 현장에 있는 교사와 그렇지 않은 예비교사간의 차이가 있음을 알 수 있었다. 셋째, 패널의 전문성에 따른 패널의 신뢰성을 확인한 결과 Angoff방법에서는 예비교사집단이 교사집단에 비해 패널 내 분류일치도가 높게 산출된 반면, Bookmark방법에서는 교사집단이 예비교사집단에 비해 패널 내 분류일치도가 높게 산출되었다. 패널 간 분류일치도는 Angoff방법과 Bookmark방법에서 예비교사집단이 교사집단에 비해 더 높게 산출되었으나 초기 시행인 1차 평정에서는 교사집단이 예비교사집단에 비해 더 높게 산출된다. 또한 Bookmark방법이 Angoff방법에 비해 패널의 신뢰성이 더 높음을 알 수 있었다. 넷째, 패널의 전문성에 따른 기준설정방법내 분류일치도 및 분류정확도를 확인한 결과, Angoff방법과 Bookmark방법의 초기 1차 평정에서는 모두 전문성을 갖춘 교사집단이 예비교사집단에 비해 분류일치도 및 정확도가 높게 설정되었고, Angoff방법에서는 모든 평정에서 교사집단이 예비교사집단에 비해 분류일치도가 높게 산출되었다. 즉, 초기 시행에서는 패널의 전문성이 준거설정에 영향을 미친다고 볼 수 있다. 다섯째, 라운딩 규칙에 따른 기준설정 결과를 비교해 본 결과, 원점수 방법에서는 라운딩 규칙에 따른 결과 차이가 없었으나, Angoff방법과 Bookmark방법에서는 정수자리까지 라운딩 할 경우 소수첫째자리와 소수둘째자리까지 라운딩 한 경우에 비해 각 성취수준의 피험자 분류비율에서도 큰 차이를 보이며, 소수둘째자리에서 정수자리로 라운딩을 진행할수록 분류일치도 및 분류정확도가 감소하였다. 따라서 Angoff방법과 Bookmark방법에서는 소수첫째자리 혹은 소수둘째자리로 라운딩 규칙을 제한하고 정수자리까지 라운딩 하는 것을 지양해야할 것으로 사료된다. 마지막으로, 지금까지 기준설정결과의 신뢰성 및 타당성을 평가해 본 결과 패널들의 평정결과에 대한 분포가 고르지 못할 때, Angoff방법에서는 평균값을 분할점수로 설정하고 Bookmark방법에서는 중앙값을 분할점수로 설정하는 것이 더욱 안정적인 결과를 도출하였다. 본 연구는 성취평가제 시행을 비롯하여 향후 준거참조평가가 확대되는 평가 추세에 대비하여 기준설정 방법에 따른 적절한 패널 및 라운딩 규칙을 제시해 줄 수 있을 것이다. 이를 통해, 준거참조평가에서 기준설정의 신뢰도 및 타당도를 확보하는데 기여할 수 있을 것이다. The most important issue in criterion-referenced evaluation system is to establish cut score based on teaching and learning objectives to classify students into their performance level properly. In other words, without the establishment of proper standard, judging students’ performance level will remain to be difficult, and in the future, the information and the results of the criterion-referenced evaluation system will be meaningless. Raw score method, a widely used standard setting method in criterion-referenced evaluation in middle schools in Korea, is simple and convenient, but it has disadvantages in that student’s achievement can be influenced by the difficulty of test since raw score itself is used as the cut score. To solve these problems, it is necessary to use standard setting methods based on test theories. Various standard setting methods have been suggested for setting the cut scores, with the most frequently used methods being Angoff method and Bookmark method. However, most research in Korea has focused on standard setting method and only few studies focused on factors that affect standard setting. Therefore, the purpose of this study is to analyze panelist expertise and rounding rules using raw score method, Angoff method, and Bookmark method in order to establish reliable and valid standard setting. It is important to analyze panelist expertise and rounding rules as factors related to standard setting because previous research has shown that these factors have significant effect on standard setting. In order to attain the above purpose, this study had several aims. First, it aims to compare cut score and the proportion of students in each performance level by standard setting methods (raw score method, Angoff method, Bookmark method). Second, it aims to compare cut score and the proportion of students in each performance level by panelist expertise based on Angoff method and Bookmark method. Third, it aims to compare classification consistency and classification accuracy by panelist expertise based on Angoff method and Bookmark method. Fourth, it intends to analyze the proportion of students in each performance level by rounding rules from raw score method, Angoff method, and Bookmark method. Finally, it aims to compare classification consistency and classification accuracy of raw score method, Angoff method, and Bookmark method by rounding rules. The panelists were divided into two groups; one group consisted of 8 secondary school mathematics teachers and the other group consisted of 8 pre-service teachers who majored in mathematics. The mathematics achievement test of the A institution was used for standard setting, and the students were classified into five performance level (A, B, C, D, E). To investigate the effects of panelist expertise and rounding rules on the results of standard setting methods (raw score, Angoff score, and Bookmark method), intra-participant consistency, inter-participant consistency, classification consistency, and classification accuracy of each method were assessed. The major findings of this study can be summarized as follows. First, the cut score of ‘A/B level’ was set similarly for raw score method, Angoff method, and Bookmark method. The cut scores of ‘B/C level’ and ‘C/D level’ were set to be highest for raw score method and lowest for Bookmark method. The cut score of ‘D/E level’ for raw score method was the highest while it was the lowest for Angoff method. Second, regarding the cut scores and the proportions of students in each level according to panelist expertise, the cut score of ‘D/E level’ were higher in the teacher group than in the pre-service teacher group with Angoff method. Significant difference between the two groups in judging low achieving students was observed particularly at ‘E level’. On the other hand, when considering the Bookmark method, the proportion of students in high level groups seemed to depend on the expertise, showing the difference between the teacher group and pre-service teacher group in judging high achieving students. Third, the reliability of the panel’s expertise using the Angoff method showed that pre-service teacher group was higher intra-participant consistency compared to teacher group, and using the Bookmark method, teacher group showed higher intra-participant consistency compared to pre-service teacher group. The Angoff and Bookmark methods indicated higher inter-participant consistency for pre-service teacher group compared to teacher group, but at the first implementation, inter-participant consistency was higher for teacher group. Furthermore, Bookmark method turned out to be more reliability than Angoff method. Fourth, classification consistency and classification accuracy within the method were higher for teachers with expertise compared to those without expertise in the first round using Angoff method and Bookmark method, and classification consistency showed higher for teachers compared to pre-service teachers for all rounds when using Angoff method. Thus, it can be said that the panelists’ expertise influences the standard setting at the first implementation. Fifth, comparing the results of setting performance standards by rounding rules, there was no difference in the results given by the rounding rules of raw score method. However, when rounding was done to the nearest whole number compared to the nearest one and two decimal places in the Angoff and Bookmark method, significant difference was found in the classification of students at each performance level. Additionally, the classification consistency and accuracy decreased when rounding was done to the nearest whole number. Thus, the rounding to the one or two decimal places in the Angoff method and Bookmark method did not have a large effect on cut score and little effect on the proportion of students above each cut score. Still, rounding up to the nearest whole number had the potential problems, such as producing changes in the proportion of students at each performance level, when setting cut scores. Lastly, according to examining the reliability and validity of cut scores in standard setting methods, when the distribution of the panelists’ result had outliers, or when it was asymmetric, setting the mean as a cut score in the Angoff method and the median as a cut score in the Bookmark method increased the reliability and validity. This study can adduce proper panelist and rounding rule according to standard setting methods in preparation for the trend of the future criterion-referenced evaluation system. Accordingly, implications for finding out the reliability and validity of the standard setting on criterion-referenced evaluation system are provided.

인성교육에 대한 중학교 교사의 인식

안다정 경희대학교 대학원 2019 국내석사

최근 들어 청소년 문제가 급증하면서 인성교육의 중요성 또한 높아지고 있다. 이에 따라 교육현장에서 청소년들을 교육하는 교사가 인성교육에 대해 어떻게 인식하고 있는지가 중요해졌다. 본 연구는 인성교육이 가장 시급한 중학교를 대상으로 인성교육에 대해 교사가 어떻게 인식하고 있는지 알아봄으로써 인성교육의 개선점을 제시하고자 하였다. 이를 위하여 관련 변인이 반영된 기준을 대상으로 중학교 교사들이 얼마나 동의하는지, 실제로는 얼마나 실행하고 있는지를 살펴보았다. 그리고 인성교육에서 우선 개선이 필요한 사항을 영향 요인별로 도출하였다. 본 연구에서 설정한 연구문제는 다음과 같다. 첫째, 인성교육에 대한 중학교 교사들의 인식은 어떠한가? 둘째, 인성교육에 대한 인식에 영향을 주는 환경적 요인에 따른 중학교 교사의 인식은 어떠한가? 본 연구는 연구대상을 중학교 교사로 한정하고, 서울 및 경기지역 중학교 교사 403명을 조사하였다. 평가 기준으로는 미국의 인성교육 대표 기관인 CEP에서 제시하는 11가지 원칙과 선행연구를 바탕으로 하였다. 이후 관련 문항에 동의하는 정도를 중요도로, 문항을 실제로 수행하는 정도를 실행도로 정의하고 IPA 분석을 실시하여 중요도는 높지만 실행도가 낮아 개선이 필요한 항목을 도출하였다. 마지막으로 교사의 개인 변인별 특성에 따라 인식 순위가 높은 항목과 낮은 항목을 찾아보았다. 본 연구의 주요 결과는 다음과 같다. 첫째, 인성교육에 대한 중학교 교사들의 중요도 인식을 살펴보았다. 교사들의 중요도 인식에서는 ‘교사 역량’과 관련된 항목이 상위권을 차지하였다. 하위권에는 평가 및 환류, 교육과정 관련, 수업 관련 내용이 해당되었다. 이는 교사들이 인성교육의 중요성에는 동의하지만 실제 수행방법은 잘 알지 못한다는 선행연구 결과와 일치한다. 둘째, 인성교육에 대한 중학교 교사의 실행도 인식을 살펴보았다. 실행을 잘하고 있다고 교사들이 인식하고 있는 항목은 ‘교사 역량’, ‘바른 공동체 형성’, ‘수업 관련’과 관계된 문항들이었지만, 실행을 잘하지 못하고 있다고 교사들이 인식하고 있는 항목은 ‘평가 및 환류’, ‘교육과정 관련’ 내용이었다. 이는 인성교육과 관련하여 평가 및 환류, 교육과정 개선이 필요하다는 선행연구 결과와 일치한다. 셋째, 인성교육에 대한 중학교 교사의 중요도-실행도 결과를 살펴보면 중요도에 비해 실행도가 크게 차이나는 항목은 성원 협조, 동기 유발, 바른 공동체 형성, 평가 및 환류 관련 항목이었으며, 상대적으로 차이가 적었던 항목은 수업 관련, 평가 및 환류 관련, 교육과정 관련, 바른 공동체 형성 관련 항목이었다. 이는 교사들이 인성교육에 대해서는 중요하게 생각하고 있지만 실행은 잘 하고 있지 못하다는 선행연구 결과와 일치한다. 넷째, 인성교육에 대한 중학교 교사의 IPA 결과를 통해 도출된 개선이 필요한 항목은 성원 협조, 평가 및 환류, 덕목 관련, 교육과정 관련 내용이었다. 다섯째, 인성교육에 영향을 주는 환경적 요인에 따른 중학교 교사의 인성교육 인식 순위를 알아본 결과 교사의 배경 변인 별로 차이가 있었다. 이는 교사마다 인성교육에 대한 요구나 인식이 다름을 조사하였던 선행연구 결과와 일치한다. 본 연구는 인성교육에 대한 개선점을 선별할 수 있는 관련 기준을 바탕으로 인성교육에 대한 인식을 조사하고, 교사의 특성에 맞춰 인성교육에 대한 개선점을 제시하였다. 이를 통해 인성교육 개선에 대한 실질적인 지침을 제시하는데 참고할 수 있는 정보를 제공할 수 있을 것으로 생각한다.

Rasch 모형을 적용한 글로벌 인재 역량 척도 개발

백소영 경희대학교 대학원 2013 국내석사

급변하는 세계상황에서 여러 국가들은 서로 의사소통하며 상호작용을 이루고 있는데 이러한 글로벌화는 앞으로도 계속될 것으로 보여 진다. 이처럼 글로벌화가 점차 심화됨에 따라 세계 각국에서는 글로벌화 상황에 맞게 여러 분야에서 많은 노력을 기울이고 있다. 그 중에서도 가장 중요한 인재양성에 더욱 힘을 쓰고 있는데 이러한 인재 양성의 최종 목표는 글로벌 인재의 양성이다. 이에 따라 글로벌 인재를 키워내기 위한 여러 분야에서의 노력이 이루어지고 있다. 교육과학기술부에서는 글로벌 인재에 관한 포럼을 열었으며 주요 대학에서도 국제교류 및 국제화 프로그램, 해외 대학교와의 자매결연, 글로벌 인재 강의, 문화 교류 등 활발한 프로그램을 운영하고 있다. 하지만 이와 같은 글로벌 인재의 중요성의 인지에도 불구하고 큰 성과를 얻어내지는 못하고 있다. 우리나라 대학들의 경우에도 글로벌 인재를 키우기 위한 여러 프로그램들을 활용하고 있지만 이에 따른 계획이나 실천단계가 거의 초기단계이며 정부 및 기업에서도 제대로 된 시스템을 구축하지 못하고 있다. 글로벌 인재 양성의 중요성을 충분히 알고 있음에도 불구하고 이러한 현상이 발생하는 이유는 첫째, 글로벌 인재에 대한 개념정의가 이루어지지 않았으며 둘째, 글로벌 인재를 측정하는 도구 또한 불분명하기 때문이다. 이러한 상황에 따라 본 연구에서는 글로벌 인재가 무엇이며 글로벌 인재가 갖추어야 할 역량에 대해 살펴보고 이에 따른 객관적인 척도를 개발하여 타당화를 실시하는데 목적이 있다. 따라서 연구목적을 구체적으로 설정하면 다음과 같다. 첫째, 글로벌 인재 역량의 개념화 및 구성 요인을 탐색하고자 한다. 둘째, 글로벌 인재 역량 구인에 기반 한 척도를 개발하고자 한다. 셋째, 개발된 글로벌 인재 역량 척도를 타당화하고자 한다. 넷째, 글로벌 인재 역량과 관련되는 변인들의 특성을 살펴보고자 한다. 이를 위해 서울에 위치한 K대학교 학생들 500명을 대상으로 자가 설문지를 실시하였다. 500명의 선정기준은 성별, 학년에 따라 결과에 대한 차이가 있을 것으로 예상하여 성별과 학년이 골고루 분포되도록 선정하였다. 그 결과 회수된 설문지는 응답이 동일하거나 다수의 문항을 응답하지 않은 학생들 73명을 제외한 총 427명의 설문지로 자료를 분석하였다. 이에 따른 본 연구의 결과는 다음과 같다. 첫째, Rasch 모형에 의한 문항 적합도 검증 및 탐색적 요인분석을 통해 구성요인을 살펴보았다. 그 결과 선행 연구들의 고찰을 통해 만들어진 구성요인인 글로벌 의식(다문화의식, 지구공동체 의식, 국가정체성), 창의적 역량(고차적 사고력, 확산적 사고력, 호기심, 개방성, 감수성, 과제집착력, 협동 및 배려), 리더십(변화촉진, 용기, 조직협력, 가치지향, 대처능력, 비전 지향 및 공유, 자기학습)의 문항 중에서 중복되는 문항을 발견하였고 이에 따라 중복된 문항을 제거한 후 다시 요인분석을 실시하였다. 이에 따라 새롭게 구성된 총 9개의 요인인 다문화의식, 지구공동체 의식, 문제해결력, 창의력, 감수성, 과제집착력, 변화촉진, 조직소속감, 조직과 가치관 ·비전 공유가 발견되었다. 둘째, 앞선 요인분석의 결과에 따라 최종적으로 결정된 총 39개의 문항들로 척도의 적합성 분석을 위해 문항반응범주 곡선을 그려보았다. 그 결과 4점 척도가 더 적합한 문항이 9개, 5점 척도가 더 적합한 문항이 30개로 나타났다. 따라서 9개의 문항이 4점 척도가 더 적합하긴 하지만 하나의 설문지에는 하나의 척도를 적용함이 더 나은 설문지이기 때문에 본 설문지는 5점 척도가 적합한 것으로 나타났다. 셋째, 글로벌 인재 역량을 측정하기 위한 본 연구의 설문지가 신뢰로운지 알아보기 위해 계수를 이용한 SPSS 18.0의 신뢰도 분석을 실시하였다. 그 결과 전체 문항에 대한 신뢰도가 0.938로 매우 높았으며 각 구성 요인의 신뢰도 또한 0.636부터 0.886으로 나타났다. 따라서 본 연구는 신뢰할 수 있는 조사이며 본 설문지가 신뢰로운 도구임을 증명하였다. 넷째, 측정 결과의 문항 및 피험자의 측정치를 알아보기 위해 구성 요인별 기술 통계를 실시하였다. 그 결과 평균값이 가장 높게 나온 구성 요인은 순서대로 다문화의식(M=3.85, SD=0.70), 조직과 가치관·비전 공유(M=3.70, SD:=0.57), 감수성(M=3.63, SD=0.72), 과제집착력(M=3.55, SD=0.74), 문제해결력(M=3.46, SD=0.58), 지구공동체 의식(M=3.44, SD=0.78), 조직소속감(M=3.35, SD=0.65), 변화 촉진(M=3.33, SD=0.76), 창의력(확산적 사고, M=3.10, SD=0.71)이며 각각의 요인별로 큰 점수 차이는 없는 것으로 나타났다. 다섯째, 측정 결과의 피험자 수준 및 문항 수준 분석을 위해 WINSTPES를 이용한 문항-피험자 지도를 그려보았다. 먼저 피험자들의 수준은 -1logit부터 3logit 사이에 분포되어 있으며 문항의 수준은 -1logti에서 1logit 사이에 분포하고 있었다. 따라서 1logit부터 3logit 사이의 피험자들의 수준을 분별할 수 있는 문항이 없었고 이를 위해 1logit 이상의 수준을 가지고 있는 피험자들 측정할 수 있는 좀 더 부정적인 문항을 필요로 하였다. 또한 피험자들에게 가장 부정적으로 나타난 구성요인은 창의력이며 가장 긍정적인 구성요인은 조직과 가치관·비전 공유이다. 여섯째, 배경변인별로 글로벌 인재 역량의 각 문항에 어떠한 영향을 미치는지 알아보기 위해 배경변인 분석을 실시하였다. 그 결과 여학생보다는 남학생, 임원 경력이 있는 학생이 글로벌 인재 역량을 더 많이 가지고 있는 것으로 나타났으며 컴퓨터 사용 능력, 감성 수준, 사회성, 글로벌 인재가 되기 위한 준비 수준이 높음에 따라 글로벌 인재의 역량과 큰 상관이 있었다. 반면, 글로벌 이슈에 대한 교육이나 해외관련 프로그램을 접한 학생들은 글로벌 인재 역량과 상관이 별로 없는 것으로 나타났다. 본 연구는 글로벌 인재를 측정할 수 있는 도구로서의 사용이 가능하며 측정 결과에 따른 수준별 맞춤교육을 실시할 수 있다. 뿐만 아니라 글로벌 인재를 양성하는데 있어서 교육기관 및 정부가 나아가야할 지표를 마련할 수 있다. In today’s rapidly changing world, more and more countries are communicating and interacting. With a view to adapting to this increasing globalization, which is expected to continue well into the future, nations around the world are exerting efforts on various fronts. In particular, they are focusing on human resources development, with the ultimate goal of nurturing global competency. As a result, the Ministry of Education, Science, and Technology has held forums on global competency, and major universities have established various programs such as international exchange and internationalization projects, sister school relationships with universities abroad, lectures to foster global talent, and cultural exchange programs. However, even though the importance of global competency is well recognized, such efforts have not yielded the anticipated results. Korean universities are utilizing many programs to nurture global competency, but their planning or execution is still in the initial stages, and the government and corporations have not yet established a well-functioning system for global competency cultivation. There are two reasons for such unsuccessful results despite the clear recognition of the significance of global competency: First, the concept of global competency has not been defined. Second, it is unclear what tools should be used to assess global competency. Against this backdrop, the purpose of this study is to examine what global competency means and what capabilities are required for global competency and to develop objective measures of such competency and validate them. The specific purposes of the study are as follows: first, to conceptualize global competency and to explore their component factors; second, to develop a scale based on the construct of global competency; third, to validate the scale of global competency; and fourth, to examine the characteristics of the variables related to global competency. For the study, 500 students from K University located in Seoul were asked to fill out a questionnaire. The five hundred students were selected with genders and school years evenly distributed, on the presumption that the gender and school year would not make a difference in the results. Seventy-three students who gave the same answers to all the items in the questionnaire or did not answer a majority of items were excluded, and thus the returned questionnaires of 427 respondents were analyzed. The results of this study from the questionnaires are as follows: First, the study examined the component factors through the analysis of item fit based on the Rasch model and an exploratory factor analysis. While reviewing the component factors from preceding research, some overlapping items were found in the questions regarding Global Awareness (multicultural awareness, global community awareness, and national identity), Creative competency (high-level thinking skills, divergent thinking skills, curiosity, openness, sensibility, task commitment, and cooperation and consideration), and Leadership (promoting change, courage, organization and cooperation, value orientation, coping capabilities, pursuing and sharing a vision, and self-directed learning). The overlapping items were removed, and the factor analysis was then conducted again. As a result, nine factors, namely multicultural awareness, global community awareness, problem-solving capabilities, creativity, sensibility, task commitment, promoting change, a sense of belonging to a group, and sharing values and vision with a group, were found. Second, from a total of 39 final items selected with the results of the aforementioned factor analysis, an item response category curve was drawn to examine the appropriateness of response categories. As a result, 9 items were found to be appropriate for a four-point scale whereas 30 items were found more fitted to a five-point scale. The five-point scale was thus found to be more suitable for the questionnaire because it is better to use a single scale for a single questionnaire. Third, in order to find out how reliable the questionnaire assessed global competency, a reliability analysis was performed using Cronbach's α coefficient. The reliability for the overall items scored as high as 0.938, and the reliability for the component factors ranged from 0.636 to 0.886. Therefore, the questionnaire was found a reliable tool. Fourth, in order to analyze the levels of the subjects and items, an item-subject map was drawn using WINSTEPS. First of all, the levels of the subjects were distributed between -1 logit and 3 logits, and the levels of the items were distributed between -1 logit and 1 logit. Therefore, there was no item that could distinguish the level of the subjects between 1 logit and 3 logits, and more negative items were needed that could measure the subjects ranked 1 logit and higher. The most negative component factor for the subjects was creativity, whereas the most positive one was sharing values and vision with a group. Fifty, background variable analysis was conducted to discover what impact each background variable has on each item of global talent capabilities. The results of the analysis showed that male rather than female students and students with experience in serving an executive role in an organization have more global competency. It also demonstrated that computer skills, the level of sensibility, sociability, and preparedness to become global competency are highly positively correlated with global competency. On the other hand, education on global issues and experience in overseas programs were proven to be not correlated with global competency. This study can be used as a tool to measure the level of global competency, and its results can be used to provide customized educations tailored to students’ levels. It also suggests the direction that the government and education institutions should take to foster global competency.

창의적 인재 역량과 인성 함양을 위한 협력형 수행평가 현장 적용 연구 : 중학교 국어교과 사례

성유미 경희대학교 대학원 2017 국내박사

교수․학습에서 협력적 학습 환경은 구성원들이 상호작용하면서 다양한 지식을 통합하거나 새로운 사고 방법을 익힐 수 있는 기회를 제공한다. 구성원들은 상호작용하는 과정에서 창의성이 발현되고, 활발하게 소통하면서 타인에 대한 배려의 태도를 갖는 인성을 갖춘 창의적 인재로 성장하게 된다. 그러나 아직도 교육 현장은 지필식의 평가가 중심을 이루고 있으며 많은 비중을 차지하고 있다. 수행평가 역시 문제풀이 방식 또는 개별과제 중심으로 실시되고 있다. 평가는 인성 중심의 교육과정 및 교수․학습의 협력적 학습 환경과 불균형을 이루고 있는 것이다. 인성을 갖춘 창의적 인재 양성을 위해서 교수․학습에서만이 아니라 평가에서도 협력적 학습 환경이 이루어져야 한다. 이에 본 연구는 협력형 수행평가가 학교 현장에서 다양한 소통을 통해 문제를 해결하고 적극적인 상호작용 과정을 경험하게 함으로써 인성을 갖춘 창의적 인재 역량을 함양하는 데 어떠한 결과를 나타내는지 중학교 국어교과에서 찾아보고자 한다. 연구의 대상은 중학교 교육목표를 기반으로 협력활동이 활발하게 이루어지고, 지필평가의 비중이 적으며 수행평가 중심으로 평가 활동이 이루어지고 있는 중학교 1학년으로 선정하였다. 본 연구의 목적을 달성하기 위한 연구문제는 다음과 같다. 첫째, 창의적 인재 역량(인지적 차원, 정의적 차원, 사회적 차원) 함양을 위해 중학교 국어교과의 협력형 수행평가를 현장에 적용한 결과는 어떠한가? 둘째, 인성(구성요인에 따라 도덕성, 사회성, 정서성과 교육적 차원에 따라 지식, 태도, 행동) 함양을 위해 중학교 국어교과의 협력형 수행평가를 현장에 적용한 결과는 어떠한가? 본 연구의 대상은 서울 소재 중학교 1학년으로 개별형 수행평가 집단 1개 학급의 학생 31명과 협력형 수행평가 집단 1개 학급의 학생 31명이다. 채점자 5인을 포함한 국어교사 8명으로부터 수행과제에 대한 내용타당도를 검증받고, 5명의 채점자들에게 Pearson의 단순적률상관계수에 의한 채점자간 신뢰도를 확인하였다. 또한 측정도구로 창의적 인재 역량, 인성 검사를 사전-사후 실시하여 대응표본 t-검증을 실시하였으며, 6회에 걸친 수행과제를 통해 창의적 인재 역량 측면과 인성 측면에서의 결과를 분석해 보았다. 그 결과는 다음과 같다. 첫째, 수행과제 채점 결과 5명의 채점자간 상관은 .857에서 .971로 높은 상관을 보여주었다. 채점자들의 수행과제 채점 결과를 살펴보면, 개별형 수행평가 집단의 평균은 86.06점이고, 협력형 수행평가 집단의 평균은 87.6점으로 나타났다. 이러한 결과는 협력형 수행평가 집단의 평균 점수가 개별형 수행평가 집단의 평균 점수보다 1.54점이 높은 결과를 보여주었다. 둘째, 창의적 인재 역량에서는 개별형 수행평가 집단과 협력형 수행평가 집단 모두 학생들의 창의적 인재 역량을 함양하는 것으로 나타났다. 결과를 세부영역에 따라 구체적으로 살펴보면 개별형 수행평가 집단은 학생들의 창의적 인재 역량의 인지적 차원 중 고차적 사고력과 문제해결력, 정의적 차원 중에서는 감수성을 함양하는 것으로 나타났고, 협력형 수행평가 집단은 학생들의 창의적 인재 역량의 인지적 차원 중 문제해결력, 정의적 차원 중에서는 호기심, 개방성, 감수성, 사회적 차원 중 협동 및 배려를 함양하는 것으로 나타났다. 셋째, 인성 검사에서는 개별형 수행평가 집단과 협력형 수행평가 집단의 모든 학생들의 인성과 인성의 지식, 태도, 행동의 구성요인을 함양하는 것으로 나타났다. 먼저, 개별형 수행평가 집단에서는 학생들의 도덕성 중에서 정직 및 정의, 책임과 지식요인이 함양되었고, 사회성은 모든 세부영역과 모든 구성요인이 함양되었으며, 정서성에서는 나타나지 않았다. 그러나 협력형 수행평가 집단은 학생의 도덕성, 사회성, 정서성의 모든 세부영역과 모든 구성요인을 함양하는 것으로 나타났다. 따라서 본 연구는 창의적 인재 역량과 인성의 함양을 위해 중학교 국어교과에서 6회의 수행과제를 실시한 결과, 중학교 국어교과에서의 수행평가 활동이 창의적 인재 역량과 인성을 함양한다는 것을 확인하였다. 일회적이고 단편적인 수행평가 활동으로는 큰 변화를 얻을 수는 없으며 종합적이고 지속적인 수행평가 활동이 이루어져야 한다. 사회에서 구성원들은 협력과 상호작용으로 목표를 달성하고 문제해결을 위해 소통하고 배려하는 협력형 수행평가가 지식적인 측면만이 아니라 태도와 행동도 함양한다는 것에 의의를 지니며, 창의적 인재 역량과 인성을 함양하기 위해 더 나은 변화와 발전이 지속적으로 이루어질 수 있는 협력형 수행평가를 적용해야 할 것이다. The purpose of this study is to investigate the effect of the collaborative performance assessment on creative leader competency and character for the Middle School Korean language subject. The research questions for this study are as the followings. First, how does the collaborative performance assessment affect the development of creative leader competency(cognitive domain, affective domain and social domain) in Korean language subject? Second, how does the collaborative performance assessment affect the development of character(the dimensions of morality, sociality, and emotion and the level of knowledge, attitude, and behavior) in Korean language subject? The students in this study were the Middle School first graders with less weight of paper-based assessment and active performance assessment, and they were divided into two groups. In one group, 31 students were given the collaborative performance assessment and in the other group, 31 students were given the individual performance assessment. Five Korean language teachers evaluated the performance. The content validity of the assessment of the tasks and the scoring rubric were verified by eight Korean language teachers. The measurement tools were the tests of creative leader competency and character, which were given to both of the groups before and after the assessment. The followings are the results of the study. First, there was a high correlation from .857 to .971 between the scoring results of the five evaluators were found. The average score of the tests in the two groups was 86.83. The average score of the group with the collaborative performance assessment was 87.60 and the average score of the group with the individual performance assessment was 86.06. The results showed that the group with the collaborative performance assessment got 1.54 more scores than the group with the individual performance assessment. Second, both the assessments were found to have an effect on improving the creative leader competency. In specific, the individual performance assessment was found have an effect on ‘thinking ability’ and ‘problem solving skills’ in the cognitive domain and on ‘sensitivity’ in the affective domain of the creative leader competency. Meanwhile collaborative performance assessment was found to have an effect on ‘problem solving skills’ in the cognitive domain, on ‘curiosity’, ‘openness’, and ‘sensitivity’ in the affective domain, and on ‘cooperation’ and ‘consideration’ in the social domain of the creative leader competency. Third, both individual performance assessment and collaborative performance assessment were found to have an effect on all the levels of knowledge, attitude, and behavior in the character test. The individual performance assessment had an effect on honesty, justice, and the factors of responsibility and knowledge in the aspect of morality. It also had an effect on all the sub-domains, but no effect on the emotion. On the contrary, the collaborative performance assessment had an effect on all the sub-domains and constituent factors in the aspect of morality, sociality, and emotion. As a result, the collaborative performance assessment and the individual performance assessment in Middle School Korean language subjects had an effect on enhancing creative leader competency and character.