Rasch 방법과 Extended-Angoff 방법을 적용한 인성검사 준거설정 비교 연구 = Comparing Rasch Method and Extended-Angoff Method in Standard Setting for Character Test

다국어 초록 (Multilingual Abstract)

This study aims to set the standard(‘the reached’ or ‘the non-reached’) for character testing by Rasch method and Extended-Angoff Method and to compare the results of the two methods. For this study, 1,614 middle-school students were sampled and 31 reviewer teachers participated in the procedure of standard setting. First, the comparison of Rasch method and Extended-Angoff method showed that the two methods were consistent in standard setting; P was .958 and Kappa coefficient was .784. Second, the comparison of the two methods and the method of standard setting by using the mean of raw scores revealed that the standard setting by professional judgments (Rasch method and Extended-Angoff method) would be more valid. Third, it was found that the including the reverse item could influence the standard setting to group ‘the reached’ and ‘the non-reached’, although this finding requires further examinations. Finally, this study implied that the level of possessing desirable characteristics could be agreed by professionals and the standard setting could be made for grouping students although it was considered as improbable to set the standard in testing affective characteristics such as character.

국문 초록 (Abstract)

본 연구는 청소년용 인성검사 준거설정을 위해 Rasch 방법과 Extended-Angoff 방법을 적용하고 그 결과를 비교하였다. 연구대상은 중학생으로 한정하여 총 1,614명의 검사자료를 분석에 이용하였고 현직 중학교 교사 31명을 준거설정 전문가 집단으로 구성하였다. 본 연구에서 사용된 인성검사는 피험자 응답의 진위성을 고려할 수 있는 역문항이 포함된 검사도구를 채택함으로써 비인지적 특성을 측정하는 Likert 척도 심리검사에서 발생 가능한 문항진술방식에 의한 영향력까지 포함하여 결과를 검토하였다. 분석 결과, Rasch 방법과 Extended-Angoff 방법 간 일관성은 일치도 통계량() .958, Kappa 계수 .784로 산출되어 상당히 높은 수준으로 일치하는 것으로 나타났고, 준거설정자의 전문적 판단이 반영되지 않는 방법에 의한 분류 결과는 두 종류의 준거설정방법에 의한 분류 결과와 큰 차이를 보이며 불일치하는 것으로 나타났다. 이는 현행과 같이 단순한 원점수 평균에 의해 학생 인성을 평가하는 것은 적절하지 않을 수 있으며, 향후 학생의 인성수준을 보다 객관적으로 판단하기 위한 타당한 준거설정 연구 수행의 필요성을 시사한다.

참고문헌 (Reference)

1 성태제, "현대교육평가" 학지사 2010

2 현주, "한국 초·중등학생을 위한 인성검사 개발 및 타당화" 한국사회및성격심리학회 29 (29): 83-106, 2015

3 김미예, "학생건강체력평가의 준거설정" 한국체육측정평가학회 10 (10): 59-68, 2008

4 한미영, "학교급에 따른 인성 수준 차이의 원인 탐색:행복과 인성의 관계를 중심으로" 한국교육개발원 43 (43): 73-97, 2016

5 진의남, "학교 교육에서 인성교육의 인식과 개선 요구" 한국실과교육연구학회 18 (18): 145-169, 2012

6 국립국어원, "표준국어대사전"

7 조연순, "초등학교 아동의 특성변화와 인성교육의 요구" 2007

8 현주, "초·중등 학생 인성수준 조사 및 검사도구의 현장 활용도 제고 방안 연구" 한국교육개발원 2014

9 손경원, "초·중·고 학생들의 인성 실태 분석 및 인성교육 개선 방안 연구" 한국윤리교육학회 (33) : 27-52, 2014

10 박성미, "청소년용 통합적 인성 척도 개발" 한국아동교육학회 21 (21): 35-47, 2012

11 김교일, "청소년 체력인증제 검사의 준거지향기준 설정과 타당도 및 신뢰도 검증" 한국교원대학교 대학원 2009

12 정연성, "청소년 체력인증제 검사의 준거지향기준 설정" 한국발육발달학회 15 (15): 277-285, 2007

13 교육과학기술부, "창의와 배려의 조화를 통한 인재 육성. 창의·인성교육 기본방안" 교육과학기술부 2010

14 어윤경, "진로교육에 활용되는 자기보고식 심리검사의 faking-good 탐지기능 분석" 한국교육평가학회 19 (19): 241-264, 2006

15 이윤희, "중학생의 인성에 영향을 미치는 교원 요인에 대한 위계적 분석" 한국교원교육학회 32 (32): 305-325, 2015

16 신준국, "중학교 수학교과에서 인성교육을 위한 교수-학습 자료 개발 연구" 한국교원대학교 대학원 2015

17 양길석, "준거지향평가의 준거 설정 방법 비교-중학교 논술 기초능력 검사를 중심으로-" 13 (13): 107-133, 2000

18 백순근, "준거지향평가 기준 설정을 위한Rasch 방법의 숙달 학습자 판정 일치도-원점수 및 Angoff 방법과의 비교를 중심으로-" 한국교육평가학회 19 (19): 157-178, 2006

19 김석우, "준거지향검사 준거설정방안의 비교 분석" 37 (37): 227-246, 1999

20 Cizek, G. J., "준거설정(Standard Setting)" 학지사 2011

21 지은림, "절대평가 기준 설정을 위한 문항반응이론의 적용" 14 : 155-164, 1998

22 이순묵, "인터넷 중독 진단방식의 전환: 규준참조평가에서 영역참조평가로" 한국임상심리학회 26 (26): 213-238, 2007

23 지은림, "인성측정도구 개발 및 타당화" 한국윤리교육학회 (35) : 151-174, 2014

24 지은림, "인성지수 개발연구" 교육부 2013

25 홍인숙, "인성교육을 위한 수학 교수ㆍ학습에서 고등학생들의 범교과적 인성요소에 대한 인식변화" 대한수학교육학회 26 (26): 607-633, 2016

26 박종덕, "인성교육과 교과교육: 인성교육은 가능하고 필요한가?" 한국도덕교육학회 26 (26): 177-194, 2014

27 교육과학기술부, "인성교육 비전 수립 및 실천 방안 연구" 교육과학기술부 2012

28 교육부, "인성교육 5개년 종합계획(2016~2020)" 교육부 2016

29 정창우, "인성 발달을 위한 상호작용 기반인성교육 실천 방안 탐색" 한국윤리교육학회 (40) : 1-27, 2016

30 김명화, "인성 교육을 위한 정의적 특성 평가 재조명: 교육연구에서 최근 경향" 학습자중심교과교육학회 15 (15): 981-1000, 2015

31 김호영, "유사종단자료를 활용한 학생의 인성 특성에 있어서 중학교의 종단적 변화 양상 및 영향 요인 탐색" 홍익대학교 대학원 2016

32 유성창, "역량기반 교육과정의 근거로서 인지 및 비인지 역량의 관계" 한국교육과정학회 30 (30): 51-69, 2012

33 김선희, "수학에서의 정의적 성취 판단을 위한 기준 점수 설정 및 중2 학생들의 성취 특성" 한국수학사학회 24 (24): 145-163, 2011

34 지은림, "서울교육종단연구 정책연구과제 보고서: 학생의 창의·인성 개발을 위한 교사의 수업·평가 활동 및 조직문화 특성" 서울특별시 교육연구정보원 2011

35 홍세희, "부정문항이 포함된 검사의 요인구조: 자아존중감 검사의 예" 한국교육평가학회 24 (24): 713-732, 2011

36 이윤선, "바롬인성척도 기준점설정 연구" 서울여자대학교 바롬인성교육 연구소 2013

37 장윤선, "문항반응이론에 근거한 Bookmark, Mapmark, Item-Descriptor Matching 준거설정 방법 비교분석" 이화여자대학교 대학원 2008

38 설현수, "문항반응이론 모형에 의한 기준선 설정 방법" 한국교육문제연구소 31 (31): 179-192, 2013

39 김아영, "명시적 부정문항과 암묵적 부정문항이 심리척도의 요인구조에 미치는 영향" 한국교육평가학회 16 (16): 44-59, 2003

40 강혜영, "리커트척도(Likert Scale) 응답 형식 검사의 조건에 따른 기준점설정 방법 비교 연구" 서울여자대학교 대학원 2015

41 최용성, "도덕성 형성에 있어서 인지와 정서의 통합적 관계에 관한 연구" 부산대학교 대학원 2001

42 추병완, "도덕교육의 이해" 백의 2004

43 김명순, "대학생용 유교적 인성 척도 개발" 한국교육학회 50 (50): 27-53, 2012

44 시기자, "국내 절대평가 사례 분석–수능 영어영역 절대평가 도입에 대한 시사점" 한국교육과정평가원 2014

45 한국교육평가학회, "교육평가 용어사전" 학지사 2004

46 장사형, "공교육을 통한 인성교육 강화 방안" 한국교육철학회 (43) : 193-222, 2011

47 김선, "검사동등화를 이용한 앵고프 방법과 북마크 방법의 비교" 한국교육평가학회 22 (22): 1035-1055, 2009

48 Kane, M. T., "Validating the performance standards associated with passing scores" 64 (64): 425-261, 1994

49 Hambleton, R. K., "Using an extended Angoff procedure to set standards on complex performance assessments" 8 : 41-55, 1995

50 Wang, N., "Use of the Rasch IRT model in standard setting: An item mapping method" 40 (40): 231-253, 2003

51 Stone, G. E., "The Construction of Meaning: Replicating Objectively Derived Criterion-Referenced Standards" 1996

52 Fleiss, J. L., "Statistical methods for rates and proportions" John Wiley 212-304, 1981

53 American Educational Research Association, "Standards for educational and Psychological testing" American Psychological Association 1999

54 Grosse, M., "Setting, evaluating, and maintaining certification standards with the Rasch model" 9 : 267-285, 1986

55 Ricker, K. L., "Setting cut-scores: a critical review of the angoff and modified angoff methods" 52 (52): 53-64, 2006

56 Raymond, M. R., "Setting Performance Standards: Concepts, Methods, and Perspectives" Lawrence Erlbaum Associates 119-157, 2001

57 Waples, C. J., "Questionable defeats and discounted victories for Likert rating scales" 3 : 477-480, 2010

58 West, M. R., "Promise and Paradox: Measuring Students' Non-Cognitive Skills and the Impact of Schooling" 38 (38): 148-170, 2016

59 Weems, G. H., "Profiles of respondents who responded inconsistently to positively- and negatively-worded items on rating scales" 17 (17): 45-60, 2003

60 Stone, G. E., "Objective standard setting(of truth in advertising)" 2 (2): 187-201, 2001

61 김나진, "Modified Angoff, Bookmark, Item-Descriptor Matching(IDM) 방법에 의한 진료수행시험(CPX)의 준거설정" 이화여자대학교 대학원 2010

62 백순근, "Likert형 태도 척도의 문항진술방식에 따른 척도 및 문항 특성 비교" 한국교육평가학회 23 (23): 869-886, 2010

63 Busch, J. C., "Influence of Type of Judge, Normative Information, and Discussion on Standards Recommended for the National Teacher Examinations" 27 (27): 145-163, 1990

64 Lee, W., "IRT-CLASS v2.0. [Computer Program]"

65 Barnette, J. J., "Effects of stem and Likert response option reversals on survey internal consistency: If you feel the need, there is a better alternative to using those negatively worded stems" 60 (60): 361-370, 2000

66 Angoff, W. H., "Educational measurement" American Council on Education 508-600, 1971

67 Hambleton, R. K., "Educational Measurement" American Council on Education and Praeger 433-470, 2006

68 Zieky, M., "Cut Scores: A Manual for Setting Performance Standards on Educational and Occupational Tests" Educational Testing Service 2008

69 Morrow, J. R., "Are american children and youth fir? It’s time we learned" 76 : 377-388, 2005

70 Larson, L. A., "An international research program for the standardization of physical fitness tests" 9 : 282-287, 1969

71 Schulz, E. M., "A rational for defining achievement levels using IRT-estimated domain scores" 23 (23): 347-362, 1999

72 Linacre, J. M., "A User’s Guide to WINSTEPS MINISTEP Rasch-model computer program (version 3.68.0)"

73 강선보, "21세기 인성교육의 방향설정을 위한 이론적 기초 연구" 교육문제연구소 (30) : 1-38, 2008

74 교육부, "2015 개정 교육과정 총론 및 각론 확정 발표 보도자료"