초등학교 실과교과 6학년 「기술의 세계」 영역의 수행평가 도구 개발

한상석 한국실과교육연구학회 2010 實科敎育硏究 Vol.16 No.3

이 연구는 초등학교 실과교과 「기술의 세계」 영역 중 학습자 스스로가 자신의 지식과 기능을 나타낼 수 있도록 산출물을 만들거나, 행동하거나, 답을 작성하도록 요구하는 평가 방식인 수행평가 도구를 개발하여 교육과정-교수·학습 방법-평가로 이어지는 교육의 전체를 일관성 있게 유지시켜주는 지표 구실을 하여 실과 평가 방법의 개선과 실시에 도움을 주고자하는데 목적이 있다. 2007 개정 교육과정의 「기술의 세계」 영역에서 평가 도구를 개발하기 위해 교육 현장에서 기존 평가의 새로운 대안으로 제시되고 있는 수행평가를 선택하여 개선된 방향을 제시하였다. 기존의 모형 및 도구에 관한 선행연구들을 비교 분석하였고 보편타당한 평가 도구 개발 절차 모형에 의거하여 실과 수행평가 도구의 장단점을 보완하였으며 2011년부터 적용되는 실과교과의 수행평가 현장 적용에 도움을 주기 위한 연구의 결과는 다음과 같다. 첫째, 2007 개정 실과 교육과정의 기술의 세계 영역을 분석하여 수업 상황에서 평가 영역을 통합하여 시행할 수 있는 평가와 학습이 통합된 교수·학습 모형을 구안하였다. 둘째, 구안된 교수·학습 모형에 따라 직접 학생 자신의 능력을 드러내 보이는 기회를 제공하도록 실행 중심의 실과 수행평가 도구 개발절차 모형을 구안하였다. 셋째, 6학년 기술의 세계 영역의 적용 가능한 수행평가 기준안 및 학생 활동지를 개발하였다. 실과 수행평가 기준안과 학생 활동지는 여러 문헌과 현장에서의 경험을 토대로 자체 개발하였으며 구안된 평가 도구 개발 절차 모형에 따라 수행평가 가능 단원의 차시에 대하여 개발하였다. The purpose of this study is to develop performance assessment tools for elementary school practical curriculum 「the world of technology」 to make learner themselves behave, make outputs or make answers to show their knowledge and techniques. We expect this tool to be an index that maintains whole education process consistently which is education procedure - teaching and learning methods - evaluation. And this tool will help for assessment and implement ways to improve. This study aims to present a improved plan for the existing assessment to develop an alternative assessment tool in the field of 「world of technology」 in the section of the 7th educational curriculum. I compared former studies about existing models and tools, remedied assessment tool based on the tool developing process model. Details for the study that aimed to help evaluate the performance which begins 2011 are as follows. First, we develop a teaching-learning model that unifies assessment and study by analyzing the 「world of technology」 course that revised in the 7th educational curriculum Second, we develop the practical course performance assessment tool development process model that is based on the teaching- learning model for give chances students to reveal their own abilities. Third, we develop a standard of performance assessment and student activity records that can be applied to the 「world of technology」 class of the sixth grade students. Practical course performance assessment standard and student activity records are developed by ourselves based on several references and experiences in the field. And developed assessment tool development process model and a propose of practicable project work unit on sixth form

과정중심평가 측면에서의 백워드 설계 방식을 활용한 맥락적 수행과제 개발

정수경 한국내러티브교육학회 2017 내러티브와 교육연구 Vol.5 No.3

2015 개정교육과정은 창의융합형 인재 양성을 목적으로 교수․학습 방법의 개선과 더 불어 과정중심평가를 강조한다. 올해부터 2015 개정교육과정이 순차적으로 적용됨에 따 라 현장의 과정중심평가 열기 또한 높아지고 있다. 그러나 정작 과정중심평가를 어떻게 실천할 수 있는지에 대해서는 연구가 미비한 실 정이다. 본 연구는 과정중심평가를 실천하는 한 가지 방안으로 백워드 설계를 통한 맥락 적 수행과제 개발을 제안한다. 먼저 백워드 방식의 평가 설계가 어떻게 과정중심평가의 실천 수단이 될 수 있는지 고찰한다. 그리고 백워드 설계 기반 맥락적 수행과제의 개발 사례를 제시한다. 마지막으로 백워드 설계 기반 맥락적 수행과제를 적용해 본 결과를 통 해 교육 현장에서의 가치를 논한다. 2015 revised national curriculum emphasize process-based assessment as well as improvement of instructional method with the purpose of educating the creative convergent person. However there is a lack of research on how to practice process-focused assessment. This research suggests contextual performance tasks based on backward design as a way to practice process-focused assessment. It considers backward design in its aspect of authentic assessment. And then it represents some examples of developing contextual performance task. At the last section, it discusses the value of contextual performance tasks based on backward design through experience of applying them.

수행평가 적용 프로그램의 현장적용 연구

서지영,김명화,황은희 한국교육평가학회 2010 교육평가연구 Vol.23 No.1

The purpose of this study is to develop a substantial performance assessment application in order to improve the quality of education in Korea. To develop performance assessment application program, the principles and direction of performance assessment which can be more effectively implemented in teaching-learning situations was investigated first. Performance assessment application program has three significant strategies. First, performance assessment application program is to be applied toward clear and suitable goals. Second, performance assessment application program is to be applied to meet the characteristics and attributes of performance assessment. Finally, performance assessment application program is to be applied through the right process and manner. These three points should be considered at the same time for conducting the substantial performance assessment application. After development of performance assessment application program, we examined the feasibility and effectiveness of the program through the trial of application it to schools. The aims are to investigate its possibility of implementation in school, to check its effectiveness and usefulness and to examine the relevance of standards. The results showed that performance assessment application program was effective for checking the application process and requisites of performance assessment, making teachers reflect about their own performance assessment application, and playing a role to guide performance assessment application. 이 연구에서는 학교교육 내실화, 구체적으로 교수․학습이라는 상황을 질적으로 제고하기 위해 수행평가 적용 프로그램을 개발하고 현장에 적용해보았다. 연구에서 제시하는 수행평가의 적용 방안은 ① 수행평가에 적합하고 명확한 목적을 지향해 적용하는 것, ② 수행평가의 특성과 본질에 맞도록 적용하는 것, ③ 타당하고 신뢰로운 절차와 방법으로 적용하는 것으로 내실있는 수행평가의 현장적용을 위해서는 이 세 가지가 모두 고려되어야 한다. 현장적용 프로그램은 수행평가를 내실있고 효과적으로 적용하기 위해 충족시켜야 할 시행 기준들과 실제 수행평가의 적용 상황을 기준에 따라 점검할 수 있는 진단 도구, 그리고 각 기준에 대한 해설로 이루어져 있다. 프로그램의 활용은 프로그램에서 제시하는 수행평가 적용 내실화에 대한 기준 해설 숙지, 연구에서 제안한 세 가지 목적 중 하나로 수행평가 적용 목적 설정, 목적에 맞는 진단 도구를 프로그램에서 제시하는 세 가지 타입 중 선택, 진단 도구 상에 포함된 기준에 따른 시행 및 점검, 그리고 점검 결과 나타난 문제 사항을 중심으로 한 수정․보완 및 그 결과를 점검란에 간략하게 기입하는 순서로 이루어진다. 또한 연구에서 개발된 수행평가 적용 프로그램의 현장적용 가능성과 그 실효성을 점검하기 위해 실제 학교 현장의 평가 상황에 프로그램을 적용해 봄으로써 프로그램의 각 기준 및 도구의 현장적용 가능성 및 적합성을 검토하였다. 현장적용 결과, 수행평가의 적용 절차와 방법에 따른 자기점검 도구로서의 적용가능성이 확인되었고, 수행평가 적용에 대한 전반적인 교사의 반성을 이끌어 낼 수 있었으며, 수행평가 적용에 대한 지침의 역할을 수행할 수 있을 것으로 기대되었다. 그러나 기준에 부합하도록 수행평가를 적용하는 것이 현장 여건에 따라 쉽지는 않기 때문에 관련 문제점들이 해결될 수 있는 방안이 마련될 필요가 있다.

국어교육 정책의 방향 ; 국어과 평가 정책 연구 -수행평가를 중심으로-

최미숙 ( Mee Sook Choi ) 국어교육학회 2009 國語敎育學硏究 Vol.36 No.-

이 논문은 수행평가를 중심으로 하여 국어과 평가 정책에 대해 연구하였다. 국어교육과 관련하여 살펴 볼 때, 수행평가 정책의 문제점은 다음과 같다. 첫째, 수행평가 개념이 분명하지 않아 학교 현장에서 수행평가 방법에 대한 혼란이 발생했다. 둘째, 각 교과의 교육방식이나 고유의 평가 방식을 고려하지 않고 모든 교과에 일괄적으로 적용했다. 셋째, 수행평가 정책의 현장 정착을 위한 각계의 지속적인 노력이 부족했다. 이러한 문제점이 발생한 데에는 평가 정책 시행 초기의 문제점을 발견하고 그것을 극복하기 위한 노력이 뒷받침되었어야 했는데 그러한 노력이 부족했기 때문이라 할 수 있다. 수행평가 정책의 문제점을 극복하기 위해서는 다음과 같은 노력이 필요하다. 첫째, 국어교육의 본질에 맞는 수행평가 도구 개발이 필요하다. 다른 교과교육과 구별되는 국어교육만의 다양한 수행평가 도구 개발이 필요하다. 둘째, 수행평가 현장 정착을 위하여 학교와 국어교육학계의 지속적인 노력이 필요하다. 국어과 수행평가를 발전시키기 위한 학계의 이론 연구뿐만 아니라 수행평가의 최전선이라 할 수 있는 학교 현장에서의 교사의 전문성도 필요하다. 셋째, 평가 정책 간 상호 모순이 없어야 한다. 교과교육에서 필요로 하는 바람직한 평가와 국가 차원에서 이루어지는 평가 정책이 상호 모순되지 않고 보완할 수 있는 체제로 가야한다. 사회가 변하면 평가 정책도 바뀔 수 있다. 하지만 그 경우에도 평가 정책이 국어교육의 발전을 위한 교두보로서의 역할을 할 수 있어야 진정한 의미에서 국어교육의 발전을 가져올 수 있을 것이다. This study examines policy evaluation in Korean language education, focusing on performance assessment. being connected with the Korean language education, we have three points at issue. Firstly, the actual spot of school is in a state of disorder with regard to the method of performance assessment, because the concept of performance assessment is obscure. Secondly, the performance assessment indifferently is appled to every subject while neglecting characteristic education methods and assessment methods in each subject. Thirdly, we don`t make continued effort to establish the performance assessment in Korean language education. We have to do the following three efforts to solve theses problem. Firstly, it is necessary to make the instrument of performance assessment, which is fit for the purpose of Korean language education. Secondly, it is necessary to be made constant efforts in the school as well as the academic world. Thirdly, we must remove the contradictions among policy-evaluations. Policy Evaluation can undergo changes according to social changes. But if such being the case, we must fill the role of establishing the performance assessment in order to develop the Korean language education.

초등 국어과 수행평가의 역동적 실행 방안 고찰

김도남 ( Do Nam Kim ) 서울敎育大學校 初等敎育硏究所 2015 한국초등교육 Vol.26 No.2

이 논의에서는 초등 국어과 수행평가를 역동적으로 실행하기 위한 방안을 검토하였다. 초등학교 국어과 수행평가는 학교에서 많이 활용되고 있지만 그 효과성이 높지 않다. 초등 국어과 수행평가의 효과성을 높이기 위해서는 역동적으로 수행평가를 실행하는 것이 필요하다. 초등 국어과 수행평가가 교수-학습 과정에서 역동적으로 실행될 때 타당성과 효과성이 높아질 수 있기 때문이다. 이 논의에서는 초등 국어과 수행평가의 역동적 실행 요인으로 ‘평가 시행의 적시성’, ‘평가 형식의 유연성’, ‘교사와 학생의 협력성’, ‘평가적 판단을 위한 교사 전문성’, ‘결과 송환의 즉시성’ 등을 제시하였다. 그리고 수행평가의 역동적 실행을 위하여 ‘적시성을 살린 평가 계획’과 ‘평가 상황을 고려한 평가 형식의 준비’가 있어야 한다고 보았다. 이를 바탕으로 교수-학습 과정에서 ‘상호 협력적 평가의 실행과 교사의 평가적 판단’이 이루어져야 하고, 학생의 과제 활동에 대한 ‘평가 결과의 즉시적 송환’이 되어야 한다고 보았다. 초등 국어과 수행평가의 효과를 높이기 위해서는 여러 가지 개선이 필요하지만 먼저 고려할 요인이 역동적 실행이라 할 수 있다. This study examines the dynamic execution of performance assessment in korean language education. The execution is a trait on carrying out performance assessment appropriately in the process of teaching-learning. It contributes to the promoting efficiency of performance assessment. The trait of dynamic execution of performance assessment should be divided into five factors. The first is timing, that is a point of time carrying out assessment appropriately. The second is flexible technique, that is a fitting method and tools for checking learning activity of student. The third is opportune collaboration, that is cognitive assistance in teacher-student or student-student. The fourth is seasonable judgment, that is ascertained the accurate or inaccurate of student``s learning activities by teacher. The fifth is prompt feedback, that is an assistance for the student in difficulty of learning problem solving. In order to the dynamic execution of performance assessment in korean language education should plan for improving the timely execution, prepare for the adaptable assessment method and tools, carry out collaborative activity for problem solving, feed back for the assessment result to student. The dynamic execution of performance assessment in korean language education should be improving the effect of teaching-learning. we must research into the practical dynamic execution of performance assessment in korean language instruction.

문법 수행평가의 실행 양상과 과제: 중학교 국어과 평가 계획을 중심으로

전영주,최은정 한국교육과정평가원 2019 교육과정평가연구 Vol.22 No.4

This study aims to critically analyze the implementation of grammar performance assessments and to explore the tasks related to performance assessments in the grammar domain. For this purpose, the evaluation plan of 384 middle schools in Seoul was used as a research subject, and data were collected to explore aspects of performance evaluation of actual unit schools. For data analysis, basic analysis criteria were prepared based on the performance assessment examples of the student assessment support portal, and then refined the framework and materialized the analysis elements. Accordingly, the current implementation of grammar performance assessments as well as the content and composition of the same were analyzed in both the external and internal dimensions. Based on the result data, this study explored the meaning of grammar performance evaluation in the context of performance assessment and suggested the direction of advanced grammar performance assessment. 본 연구는 문법 수행평가의 실행 양상을 비판적으로 분석하고 문법 영역 차원에서 제기되는 수행평가와 관련한 과제를 탐색해 보고자 하였다. 이를 위하여 서울시 소재 중학교 384개교의 평가 계획서를 연구 대상으로 삼아 실제 단위학교의 수행평가 양상을 탐색하기 위한 자료를 수집하였다. 자료 분석을 위하여 학생평가지원포털의 수행평가 예시 문항을 토대로 기본 분석 기준을 마련한 다음, 틀 정교화 및 분석 요소 구체화 과정을 거쳤다. 이에 따라 문법 수행평가 시행 현황 과 문법 수행평가 문항 내용 및 구성의 양상을 외적 차원과 내적 차원으로 구분하여 분석하였다. 결과 자료를 바탕으로 수행평가의 맥락에서 문법 수행평가 실행 양상의 의미를 탐색하고, 발전적인 문법 수행평가의 방향성을 제안하였다.

수행평가 계획서에 나타난 과제와 채점기준표의 적절성 분석-D광역시 중학교 3학년 국어과를 중심으로-

김수진,김선,반재천 한국교육평가학회 2019 교육평가연구 Vol.32 No.1

The purpose of this study is to investigate the appropriateness of the task and the rubric according to the performance assessment task type, and the suitability of the performance assessment task and the rubric presented in the performance assessment plan. For this study, the performance assessment plan of the 123 middle schools 3rd grade, 2nd semester of Korean literature Course department of D metropolitan city was downloaded from the school information web site. The results of analysis on the research questions are summarized as follow. First, as a result of analyzing the appropriateness of the development of performance assessment task in terms of nine assessment standards, 61% to 66% of the performance assessment plan was suitable for the appropriateness of the educational objectives, and required high-level thinking. Second, the rubric of the performance assessment standards was found to be appropriate as a whole. More than 76% of the scores for the rubric of the performance assessment came out to be “somewhat” or higher. However, 42% of the study data did not have a description of the performance assessment task, and 61% of them didn’t have a rubric. Third, it was found that portfolio was the most frequently used type among the performance assessment types, but ironically it had the least properly developed task and rubric among them all. 본 연구의 목적은 교사들이 작성한 수행평가 계획서에 제시된 수행평가 과제 및 채점기준표가 적절한지, 수행평가 과제와 채점기준표의 적절성이 수행평가 과제 유형에 따라 차이가 있는지를 탐구하는데 있다. 본 연구를 위해 D광역시 123개교 중학교 3학년 국어과의 수행평가 계획서를 학교알리미 웹사이트에서 다운로드 받았다. 연구결과는 다음과 같다. 첫째, 수행평가 과제 개발의 적절성에 대해 9개 평가 기준으로 나누어 분석한 결과, 평가 횟수 및 시기의 명확성, 교육목표와 수행평가 과제 내용의 적합성, 고차적인 사고의 요구 여부에 대해 61%~66%정도만 적절했다. 수행평가 과제를 개발할 때 특히 교육목표와 수행평가 과제 내용의 적합성, 고차적 사고 요구 여부, 과업 지시의 명확성, 여러 가지 교육목표의 측정은 수행평가 과제가 갖추어야 할 기본 요건이라 할 수 있는데, 이러한 부분에 대한 적절성 비율이 44%~63% 정도에 불과했다. 둘째, 수행평가의 채점기준표가 적절한지에 대해 11개 평가 기준으로 분석한 결과, 전체적으로 적절한 것으로 나타났다. 11개 평가 기준에서 ‘다소 그렇다’ 이상으로 판정된 채점기준표의 비율은 76%이상으로 높은 편이었다. 그러나 전체 연구 자료의 42%는 수행평가 과제에 대한 기술이 없었으며, 61%는 채점기준표의 제시 자체가 없었다는 것에 비추어볼 때 많은 채점기준표가 충실히 작성되고 있지 않았음을 시사하고 있다. 셋째, 수행평가 과제 유형 중 포트폴리오(27.4%)는 다른 유형보다 많이 사용되고 있으나 수행평가 과제와 채점기준표의 적절성 기준을 충족하지 못하고 있었다.

중학교 사회과 수행 평가 실행의 교사의 실제적 지식에 관한 사례 연구

김왕근,은지용,박인옥 한국교원교육학회 2005 한국교원교육연구 Vol.22 No.1

본 연구는 현행 수행 평가 정책의 문제점에 대한 내용 분석과 수행 평가의 실행에 관한 사례 교사들의 실제적 지식에 대한 해석을 통해 현실 적합성을 충족하는 정책의 기초 자료를 제공하고자 한다. 먼저, 수행 평가 정책 내용에 대한 분석 결과를 살펴보면, 수행평가 정책의 현실 적합성 결여 문제, 수행평가 정책 내용의 정합성 결여 문제, 수행 평가 기준 문제 등이 지적될 수 있다. 수행평가 실행과 관련된 사례 교사들의 실제적 지식과 수행평가 정책과의 관계를 살펴보면, 정책 수준에서의 처방이 기술적인 지식에 의존하고 있는 반면, 수행평가가 교실 현장에 적용되는 과정에서 교사는 수행평가 실행과 관련된 실제적인 문제들이 복합적으로 작용하는 상황에 대응해야 하는 어려움에 직면한다. 이로 인해 교사는 정책 수준에서 추구되는 수행 평가의 취지보다는 이러한 복합적인 문제에 대응하는 것에 일차적 관심을 갖게 되는 경향을 보인다. 이러한 현상은 수행평가를 실행하는데 제약으로 작용하는 학교의 환경적 여건과 수행평가의 강제적 성격, 지나칠 정도로 객관성과 공정성을 강요하는 지침 등에서 비롯된 것이며, 이로 인해 교사들은 업무를 가중시키는 시책으로서 인식하고 있다. 이러한 연구 결과를 토대로 제언을 하면, 첫째, 현행 수행평가 정책은 평가 정책 자체에 들어 있는 내적인 정합성을 결여하고 있기 때문에 평가 자체의 내적 정합성을 충족하는 평가 정책의 수립이 필요하다. 둘째, 현행 수행평가 정책은 교사의 실제적 지식과 유리되고 있기 때문에 보다 현실 적합성을 확보하는 정책 수립이 우선적으로 필요하다. 셋째, 정책의 실행에 앞서 교사의 전문성과 자율성을 뒷받침하는 조처로서 교사의 평가 전문성 신장을 위한 제도적 뒷받침도 병행되어야 할 것으로 본다.

중학교 국어과의 협력형 수행평가가 집단효능감과 창의적 인재 역량에 미치는 효과

성유미,이선경,지은림 한국교육과정평가원 2015 교육과정평가연구 Vol.18 No.2

본 연구는 협력적 학습 환경의 중요성이 증가하는 추세임을 고려하여 학생이 집단 구성원과 함께 과제를 수행하는 형태의 ‘협력형 수행평가’의 효과를 검증해보고자 했다. 이를 위해 학생이 개인적으로 과제를 수행하는 ‘개별형 수행평가’ 집단과 구성원과 함께 수행하는 ‘협력형 수행평가’ 집단을 구분하여 평가활동 이후, 각 집단별로 국어과 학업성취, 학습흥미도, 학습자신감, 집단효능감, 창의적 인재 역량이 어떠한 변화를 보여주는지를 알아보았다. 중학교 3학년 총 267명을 두 개 집단(개별형 144명, 협력형 123명)으로 구분하여, 수행평가의 형태(개별형/협력형)별로 사전검사를 통해 두 집단의 동질성을 확인하고 2차에 걸쳐 집단별로 다른 형태로 수행평가를 실시해본 후에 각 집단간에 변화 차이를 알아보기 위해 대응표본 t-검증을 실시하였다. 연구결과, 국어과 수행평가의 학업성취, 학습흥미도, 학습자신감에 있어서는 두 개 집단이 모두 향상된 것으로 나타났다. 반면에 집단효능감과 창의적 인재 역량은 협력형 집단에서만 긍정적인 변화가 있었던 것으로 나타났다. 이러한 결과는 학생의 국어과 학업성취, 학습흥미도, 학습자신감 측면에서는 개별형 수행평가를 통해서도 향상될 수 있지만 집단효능감과 창의적 인재 역량을 향상시키기 위해서는 협력형 수행평가를 실시할 필요가 있다는 것을 말해준다. 따라서 창의적·협력적 문제해결력 발달을 중시하는 사회적 요구에 대비하기 위해서는 학생평가에서도 협력형 수행평가를 확대해나갈 필요가 있다. This study aims to examine the effects of collaborative performance assessment on group efficacy and creative leader competency in addition to academic achievement, academic interest, and academic self-confidence. For the study, total 267 3rd grade middle school students from one school were selected and divided into two groups: collaborative performance assessment group and individual performance assessment group. For each group, independent t-tests were done to confirm the homogeneity of groups. After two performance assessments, the paired-sample t-test was done to compare the effects of assessment types. The result of the study revealed that the two groups showed the increase of score for academic achievement, academic interest, and academic self-confidence, while only collaborative group made an increase for group efficacy and creative leader competency.

일개 간호대학에서 4년간 실시한 임상수행력평가

최자윤 ( Ja Yun Choi ) 경희대학교 동서의학연구소 2011 동서간호학연구지 Vol.17 No.2

본 연구의 목적인 시나리오(평가실) 주제, 채점표, 수행평가 점수 및 학생평가를 중심으로 논의하고자 한다. 본 연구에서 CPX의 평가주제와 SP의 역할은 임상과 대학에서 핵심간호수기라고 고려할 수 있는 영역을 선정하였다. 아직까지 OSCE나 CPX의 주제를 다룬 연구가 없어 본 연구결과와의 비교는 어렵지만 대부분의 연구에서 선정된 주제는 문진을 포함한 신체사정이었다(Brown & Robert, 1990; Mukohara et al., 2005). 본 연구에서는 선정 주제 내에 신체사정을 포함하고는 있으나 전적으로 신체사정만을 다룬 주제는 1개였다. 앞으로 OSCE나 CPX의 주제 및 SP의역할에 관한 객관적이고 타당한 평가가 이루어져야 한다고 생각하며, 본 연구의 결과는 이에 대한 보완이 필요하다고 생각된다. 채점표의 신뢰도 측면에서 본 연구에서는 채점표의 내적 일치도를 확인하여 한 개 문항이 다른 문항을 예측할 수 있는 정도를 확인하였다. 그 결과 평균 .719를 보여 신뢰할 수 있는 채점표임을 알 수 있었다. 기존 연구에서는 OSCE의 내적 일치도를 한 개 평가실의 수행점수가 다른 평가실의 수행점수를 예측할 수 있는지의 여부로 확인하였으며, 그 결과 낮은 상관관계를 보였다(Roberts & Brown, 1990; Wessel, Williams, Finch, & Gemus, 2003). 그러나 최근 429명의 의학과 4학년 학생을 대상으로 이루어진 OSCE에서 내적 일치도가 .23-.83을 보였다(Newble, 2004). Newble (2004)은 이 결과를 바탕으로 한개 평가실의 수행점수가 다른 평가실의 수행점수를 예측하기 위해서는 한 평가실의 시험시간이 길어야한다고 제안하였고, Bartfay 등(2004)은 무엇보다도 다양한 주제로 평가실의 수를 많이 확보하는 것이 내적 일치도를 증가시키는 방법이라고 하였다. 본 연구에서 채점표의 내적 일치도가 .6 미만인 시나리오 주제 5개 중 4개가 평균문항수인 17개 미만인 것으로 나타났다. 물론 문항수가 17개 미만인 주제에서도 내적일치도가 높은 경우도 있었으나, 내적 일치도가 낮은 채점표의 경우에는 문항수를 늘여보는 방법도 필요하다고 생각된다. 본 연구에서는 모든 시나리오 주제를 전체 학생이 경험하기는 하였으나 개인 시험형태가 아닌 조별 시험형태를 취하여 1인의학생이 주수행자 역할을 일부 평가실에서 경험하는 방식으로 진행되었기 때문에 평가실 별 점수의 상관성을 확인하지 못하였다. 주수행자의 역량에 따라 평가실 별 점수에 차이가 있을 것으로 판단하였기 때문이다. 추후 연구에서는 평가실 간 신뢰도 확인이 필요하다고 생각된다. 기존연구에서 채점표의 평가분야와 평가차원에 대한 언급이 이루어지지 않아 본 연구와 비교하기는 어렵다. 그러나 기존 문헌을 고찰한 결과(Walsh et al., 2009), OSCE를 간호교육에 활용한 연구 중Roberts와 Brown (1990)의 연구에서 도구의 타당도, 신뢰도 및 상관관계를 보고하였다. 이 연구에서 OSCE는 두 가지 학생 수준을 평가하는데, 낮은 수준에서는 기본 인지운동 기술, 높은 수준에서는 문진, 신체사정, 교육 및 건강증진을 평가한 것으로 나타났다. 본 연구에서는 지식을 주로 평가하는 지필고사와 대별되게 CPX를 통해 평가할 수 있는 영역을 평가분야와 차원으로 확인함으로써 파악하고자 하였다. 그 결과 간호분야 중 수행과 환자교육 분야에 대한 평가가 주를 이루었고, 이를 통해 술기와 의사소통술에 대한 평가가 가장 많이 이루어진 것으로 나타났다. 앞으로 임상수행력평가에서는 평가차원에 대한 연구가 더 필요하며, 신규간호사가 갖추어야 할 핵심성과에 관한 전문가 합의가 필요하다고 생각된다. CPX 점수측면에서 본 연구에서 CPX 점수는 주로 기본간호학이나 성인간호학 분야와 같이 임상실습 시 자주 접할 수 있었던 주제에서 높았다. 성인간호학 분야에서도 수술 후 회복실 간호와 같이임상실습 시 자주 접할 수 없었던 주제의 경우 점수가 낮았으며, 정신간호학 분야 점수들이 대체적으로 낮았다. 따라서 다양한 주제중 점수가 낮은 주제에 대해서는 임상실습 시 어떤 방식으로 보강이 이루어져야 할지에 대한 전략 개발이 필요하다고 생각된다. 본 연구에서 CPX 전후 학생 스스로 인지한 수행력을 평가하였는데, 기존 연구에서는 OSCE 활용 학습이 학생 수행력에 긍정적인 효과를 가져오는 것으로 보고되고 있다(Yoo & Yoo, 2003; Yoo, Yoo, &Son, 2003). 본 연구에서는 통제군을 두지 못하는 평가 상황 때문에 CPX가 학생의 수행력에 미치는 효과를 충분히 검증하기 어려웠고, CPX를 통해 학생의 성장이 반드시 있을 것으로 생각되어 전후 수행력 점수 차이를 비교하는 대신 두 시점의 수행력 점수의 상관성을 확인하였다. 그 결과, 평균 .2 이하로 상관성이 없는 것으로 나타났다. 물론 시나리오 주제에 따라 낮게라도 상관성을 보인 경우도 있었으나 대체적으로 자신이 인지한 CPX 전의 수행력과 CPX 후의 수행력에는 차이가 있었음을 알 수 있었다. 이는 CPX 전의 점수에 무관하게 CPX 후 점수의 향상이 있었던 것으로 해석되며, CPX 전의 실습실 개방(open lab) 연습, CPX 실시 및 디브리핑 등 전반적인 CPX를 통해 학습이 이루어진 것으로 생각된다. 따라서 CPX는 단순히 졸업 전 학생들의 수행력을 평가하는 평가방법으로서 역할만 하는 것이 아니라 졸업 전 학생들에게 자신의 수행력을 마지막으로 점검하고 배울 수 있는 학습의 기회를 제공할 수 있는 전략으로 활용될 수 있을 것으로 생각된다. 본 연구에서는 CPX에 대한 학생 만족도 역시 긍정적인 것으로 나타났다. Choi (2010)의 연구에서도 CPX는 아니었지만 시뮬레이터를 활용하여 중환자간호학을 평가하였는데, 본 연구와 마찬가지로 임상유용성에서 긍정적 응답을 보였다. 간호학은 아니지만, 의학에서 임상수행능력평가를 도입하기 위해 OSCE를 시도한 경험(Lee, Y.,et al., 2001)에 관한 연구에서 각 시험실 내용이 의사로서 반드시 습득해야 할 것인가에 대해 매우 긍정적인 평가(4.77-4.46/5)를 보여주었다. 따라서 기존의 이론 강의와 지필고사에 비해 시뮬레이션 활용 학습과 이를 이용한 평가에 대한 만족도가 높은 것으로 해석하였다. 반면, Lee Y 등(2001)의 연구에서는 OSCE를 다른 과목으로 확대하는 것에 대한 반응으로 50% 미만이 긍정적인 반응을 보였으며, 본 연구에서도 다음에 또 참여할 의사가 있는지에 대한 만족도가 가장 낮은 것으로 나타나, OSCE나 CPX에 대한 학생 스트레스를 줄일 수 있는 방법의 모색이 필요하다고 생각된다. 부수적으로 평가실 운영에 관해 논의해보면, 1968년부터 2001년까지 OSCE를 주제로 연구한 15편의 논문을 분석한 결과 1-20개 평가실(시나리오 주제)으로 4-70분간의 평가가 이루어진 것으로 나타났다(Walsh, Bailey, & Koren, 2009). OSCE의 단점으로 제기되는 시간과 비용문제 때문에 기존 연구에서도 평가실의 수가 많으면 시험시간이 짧았으며, Khattab과 Rawlings(2001)의 연구에서는 시험시간이 70분과 40분의 2개 평가실이 운영되었는데, 이처럼 시험시간이 긴 경우에는 평가실 수가 줄어들 수밖에 없었다. 본 연구에서는 4년 동안 총 23개 평가실이 개발되었고 한 평가실당 15분의 시험시간으로 운영되었다. OSCE의 신뢰도나 타당도 측면에서 보면 평가실의 수나시험시간이 많고 길면 좋겠으나 현실적으로 적정 수와 시간에 대해 합의된 결정은 없는 것으로 보인다. 따라서 신뢰도와 타당도를 유지하면서도 비용과 시간 대비 효율성을 감안한 방법의 개발이 필요하다고 생각된다. 또한, CPX의 신뢰도 측면에서 본 연구에서 4년 간 평균 관찰자 간 일치도는 .699였다. 관찰자 간 일치도는 .8이 표준이라는 주장도 있으나(Sloan, Donnely, Schwartz, & Strodel, 1995), .6 이상이 신뢰할 수 있는 수준으로 고려되고 있기(Nayer, 1993; Schuwirth &van der Vleuten, 2003) 때문에 본 연구의 CPX는 신뢰할 수 있었다고 판단된다. 한명의 평가자의 판단에 의존하는 것이 평가자 편중을 가져올 수 있으므로 한 평가실당 두 명의 평가자를 두는 것을 권하고있다(Humphris & Kaney, 2001). 본 연구에서는 표준화 환자를 환자이면서 동시에 학생 평가자로서의 역할을 수행하게 하여 교수자에 의한 평가 편중을 줄일 수 있었다고 생각된다. 그러나 시나리오에 따라서는 .6의 일치도를 보이지 못한 경우도 있고, 표준화환자가 전문표준화환자가 아니었고, 시나리오나 채점표 개발에 참여한 대학원생으로 이루어졌다는 점은 앞으로 보완이 되어야 할 부분이라고 생각된다. Purpose: The aim of this study was to share the experience of clinical performance examinations (CPXs) using standardized patients, which was to test comprehensive clinical competence of fourth-year nursing students for four years. Methods: The assessment strategies for CPXs were developed. It included clinical scenarios, the roles of standardized patients, and appraisal criteria in the areas of fundamental and comprehensive nursing care. The CPXs were implemented to about 60-70 fourth-year nursing students of C University in G-city, South Korea, during every second semester from the year of 2006 to 2009. Results: The effects of CPXs were measured by 10 or 25-item rating checklist. Internal reliability of the checklists was distributed from .511 to .956 and interrater agreement between faculties and standardized patients was moderate (r=.250-.949). Students` satisfaction level was 4.27 out of 5 points for four years. Conclusion: The use of CPXs was an innovative educational strategy to evaluate nursing students` comprehensive performance ability including knowledge, skills and attitude. Further studies are needed to evaluate the levels of critical thinking and problem solving skills of clinical nurses who were taken CPXs as well as employers` satisfaction.