수학 평가 결과의 분석을 위한 인지 진단 이론의 활용 = Using Cognitive Diagnosis Theory to Analyze the Test Results of Mathematics

다국어 초록 (Multilingual Abstract)

Conventional assessments only provide a single summary score that indicates the overall performance level or achievement level of a student in a single learning area. For assessments to be more effective, test should provide useful diagnostic information in addition to single overall scores. Cognitive diagnosis modeling provides useful information by estimating individual knowledge states by assessing whether an examinee has mastered specific attributes measured by the test(Embretson, 1990; DiBello, Stout, & Rousses, 1995; Tatsuoka, 1995). Attributes are skills or cognitive processes that are required to perform correctly on a particular item. By the results of this study, students, parents, and teachers would be able to see where a student stands with respect to mastering the attributes. Such information could be used to guide the learner and teacher toward areas requiring more study. By being able to assess where they stand in regard to the attributes that compose an item, students can plan a more effective learning path to be desired proficiency levels. It would be very helpful to the examinee if score reports can provide the scale scores as well as the skill profiles. While the scale scores are believed to provide students’ math ability by reporting only one score point, the skill profiles can offer a skill level of strong, weak or mixed for each student for each skill.

국문 초록 (Abstract)

본 연구는 인지 진단 이론을 활용하여 수학 평가 결과를 분석하고 교수․학습에 활용하는 방안을 모색하고자 하였다. 2003～2006년에 실시된 국가수준 학업성취도 평가의 중학교 3학년 수학 검사에서 30개의 선다형 문항을 선정하여 검사지를 재구성하고 검사를 실시하였고 인지 진단 이론의 한 모형인 Fusion Model을 적용하여 평가 결과를 분석하였다. 검사 문항을 통해 학생들이 숙달한 수학적 속성을 판별하고, 학생 전체와 성취수준별로 숙달한 속성과 그 속성의 개수를 분석하였다. 그리고 학생 개개인의 수학적 강점과 약점을 분석하여 교사들에게 학생 개개인의 수학적 능력에 대한 정보를 구체적으로 알려줄 수 있었다. 이 결과는 학생들의 수학 학습에 대한 진단과 처방, 추후 학습 지도에 유용한 정보로 활용될 수 있을 것이다.

참고문헌 (Reference)

1 김선희, "학생평가 전문성을 갖춘 수학교사 양성을 위한 수학학습평가 강좌의 교육 내용과 방법에 대한 제안" 8 (8): 301-326, 2006

2 교육인적자원부, "수학과 교육과정. 교육인적자원부 고시 제 2007 - 79호 [별책 8]"

3 노국향, "문항의 형태에 따른 피험자의 인지적?정의적 반응의 차이에 관한 연구" 13 (13): 181-194, 2000

4 남명호, "다시 생각해 보는 수행평가: 회고와 전망. 교육과정 운영에서의 수행평가의 적용 실태와 개선 방안" 한국교육과정평가원 연구자료 2007

5 이인제, "교사의 학생평가 전문성 신장 모형과 기준" 한국교육과정평가원 연구보고 2004

6 DiBello, L., "Unified cognitive/psychometric diagnostic assessment likelihood-based classification techniques in Cognitively Diagnostic Assessment" Lawrence Erlbaum Associates 361-389, 1995

7 Tatsuoka, K. K., "Toward integration of item response theory and cognitive error diagnoses in Diagnostic monitoring of skills and knowledge acquisition" Lawrence Erlbaum Associates 453-486, 1990

8 Mullis, I. V. S., "TIMSS 2007 Assessment Framework. TIMSS & PIRLS International Study Center, Lynch School of Education" Boston College 2005

9 Hartz, S., "Skills Diagnosis: Theory and Practice in User Manual for Arpeggio software" ETS 2002

10 Tatsuoka, K. K., "Rule space: An approach for dealing with misconceptions based on item response theory" 20 (20): 345-354, 1983

11 Birenbaum, M., "Relationships between learning patterns and attitudes toward two assessment formats" 40 (40): 90-97, 1998

12 Tatsuoka, K. K., "Patterns of Diagnosed Mathematical Content and Process Skills in TIMSS-R Across a Sample of 20 Countries" 41 (41): 901-926, 2004

13 Osterlind, S. J., "Modern measurement: Theory, principles, and applications of mental appraisal" Pearson Education 2006

14 김수진, "Fusion Model에 의한 수학 능력 진단을 위한 Q-행렬의 정교화" 21 (21): 115-139, 2008

15 Embretson, S., "Diagnostic testing by measuring learning processes: Psychometric considerations for dynamic testing in Diagnostic monitoring of skills and knowledge acquisition" Lawrence Erlbaum Associates 453-486, 1990

16 Clarke, D. J., "Constructive Assessment in Mathematics: Practical Steps for Classroom Teachers" Key Curriculum Press 1997

17 McMillan, J. H., "Classroom assessment principle and practice for effective instruction" Allyn & Bacon 2004

18 Thissen, D., "Are Tests Comprising Both Multiple-Choice and Free-Response Items Ncessarily Less Unidimensional than Multiple-Choice Tests? An Anaysis of Two Tests" 31 (31): 113-123, 1994

19 Tatsuoka, K. K., "Architecture of knowledge structure and cognitive diagnosis: A statistical pattern recognition and classification approach in Cognitively Diagnostic Assessment" Lawrence Erlbaum Associates 327-361, 1995

20 Dogan, E., "An international comparison using a diagnostic testing model: Turkish students' profile of mathematical skills on TIMSS-R" 68 (68): 263-272, 2008

21 조지민, "2005년 국가수준 학업성취도 평가 연구 -수학" 한국교육과정평가원 연구보고 2006