대학수학능력시험 「농업 이해」과목의 평가목표 이원분류에 의한 문항 유형 분석 = Analysis of the Item Types by the Two-Dimensional Classification of Evaluative Objectives on the 「Understanding of Agriculture」 of the College Scholastic Ability Test

다국어 초록 (Multilingual Abstract)

The purpose of this study was to analyze the item types by the two-dimensional classification of evaluative objectives on the 「Understanding of Agriculture」of the College Scholastic Ability Test(CSAT) and to identify question trend and main characteristics according to each item type. To achieve the purpose, the researcher analyzed the content and behavioral areas of the 360 items taken 18 times(6 in the CSAT, 12 in the preliminary CSAT) from the 「Understanding of Agriculture」since year 2005, vocational education test was first introduced and implemented in the CSAT, to 2010, and conducted SME group surveys and experts committee to ensure validity of the standards classifying content and behavioral areas of each item developed by researchers.
The major results of this study are as follows; First, after the SME group validity surveys, the items ensured validity were 330 in the content areas and 280 in the behavioral areas with 80% of positive ratio and more than 0.56 of CVR. The main factors of low validity were the intervention by subjective viewpoints according to overlapping learning contents between chapters in contents areas and the general characteristics which classified into various types according to the viewpoints in behavioral areas. Second, after analyzing the item types by the two-dimensional classification of evaluative objectives, integrated lesson units accounted for the majority of content areas with the content system characteristics. 14 types were embodied in behavioral areas, 3 types of Knowledge, Knowledge and Understanding, and Understanding were accounted for 60%. Third, after embodying the item types based on the sub-factors of evaluation in each behavioral area, various types mixed with more than 2 kinds of evaluation factors were found. For example, among the types of measuring a single behavioral area, Knowledge type was embodied into 17 types. The majority of them was the type which measuring the ability of memorizing realistic contents, most taken from the unit of Foreign Farming. Among the types of measuring mixed with more than 2 kinds of behavioral areas, Knowledge and Understanding type was embodied into 31 types. The most of them was the type which measuring the ability of summarizing data at a new point of view by memorizing the contents on the terms and conceptions, most taken from the unit of Task Activities and the unit of Agriculture and Career. As the result, there was identified some different from the item types of behavioral area which measuring each contents area(Units, Chapters).

국문 초록 (Abstract)

이 연구는 평가목표 이원분류를 기준으로 대학수학능력시험(이하 수능) 직업탐구 영역 「농업 이해」에서 출제되었던 문항들의 문항 유형을 분석하고, 각 문항 유형별 출제 경향 및 주요 특성을 파악하는데 그 목적이 있었다. 이를 위해서 이 연구에서는 직업탐구 영역이 처음 수능에 도입․시행된 2005학년도부터 2010학년도까지 한국교육과정평가원 주관의 18회 시험(수능 6회, 모의평가 12회)에서 출제되었던 「농업 이해」의 360문항에 대한 내용영역 및 행동영역을 분석하였고, 연구진에 의해 구안된 개별 문항의 내용영역 및 행동영역 분류 안에 대한 타당성을 확보하는 차원에서 전문가 집단을 대상으로 설문조사 및 전문가협의회를 실시하였다.
이 연구로부터 도출된 결론은 다음과 같다. 첫째, 교과전문가 집단을 대상으로 한 타당성 설문조사에서 긍정률 80%, CVR값 0.56이상으로 타당성이 확보되었던 문항은 내용영역 분류 안 330문항, 행동영역 분류 안 280문항이었다. 둘째, 평가목표 이원분류에 의하면, 내용영역은 입문(入門)적 성격 및 학습내용 중복과 같은 내용체계 특성으로 대단원 간 통합형이 가장 많았다. 행동영역은 14가지 유형으로 구체화되었는데, 이 중 지식, 지식＋이해, 이해 등의 3가지 문항 유형이 전체 분석대상의 60%정도를 차지하였다. 셋째, 각 행동영역에서 측정하고자하는 하위 평가요소를 기준으로 문항 유형을 구체화한 결과, 14가지의 행동영역 유형별로 2개 이상 평가요소가 혼합된 다양한 형태의 문항 유형들이 발견되었다. 이 중 단일 행동영역만을 측정하는 유형 중, 17가지 유형으로 세분된 지식형은 사실적 내용을 기억하는 능력을 측정하는 유형이 가장 많았고, 6가지 유형으로 세분된 이해형은 자료를 새로운 관점에서 요약하고 자료에 내포된 함축적 의미 등을 파악하는 능력을 측정하는 유형이 가장 많았으며, 이 유형의 50%정도는 과제활동의 뜻 중단원 및 대단원 간 통합으로 출제되었다. 2개 이상 행동영역이 혼합된 형태의 유형 중 31가지 유형으로 세분된 지식＋이해형은 용어와 개념에 관한 내용을 기억하여 자료를 새로운 관점에서 요약하는 능력을 측정하는 유형이 가장 많았다. 결과적으로 내용영역(대단원, 중단원)별로 측정하고자하는 행동영역의 유형에는 차이가 있었다.

참고문헌 (Reference)

1 황정규, "학교학습과 교육평가" 교육과학사 1985

2 한국교육과정평가원, "출제 매뉴얼: 언어, 수리, 외국어(영어), 사회탐구, 과학탐구, 직업탐구, 제2외국어/한문 영역" 한국교육과정평가원 2004

3 나현진, "직업탐구영역 정보·컴퓨터 관련 교과들의 ‘탐구’ 영역에 대한 평가준거 개발" 한국컴퓨터교육학회 12 (12): 1-10, 2009

4 박영수, "직업탐구 영역 문항의 난이도 결정 요인에 관한 실증적 연구" 한국상업교육학회 24 (24): 121-138, 2010

5 이무근, "직업교육과정과 평가" 교육과학사 2000

6 오성삼, "실기교육방법론" 학지사 1998

7 박도순, "문항작성방법론: 교육․심리․사회 연구방법론 총서 측정․평가<1>" 교육과학사 2000

8 함승연, "대학수학능력시험 직업탐구영역 공업계열 출제 문항에 관한 고찰" 대한공업교육학회 32 (32): 23-46, 2007

9 김진구, "대학수학능력시험 직업탐구 영역의 평가 틀 개발에 관한 연구" 한국농·산업교육학회 36 (36): 69-87, 2004

10 박영수, "대학수학능력시험 직업탐구 영역의 평가 문항 적합도에 대한 연구-‘상업 경제’ 과목을 중심으로-" 한국상업교육학회 19 : 1-19, 2008

11 윤인경, "대학수학능력시험 직업탐구 영역 문항 분석" 한국직업교육학회 29 (29): 1-21, 2010

12 윤인경, "대학수학능력시험 및 모의평가 직업 탐구 영역 문항 분석 - 가사․실업계열의 인간 발달 과목을 중심으로 -" 한국직업교육학회 28 (28): 1-23, 2009

13 김진구, "대학수학능력시험 「농업 이해」 과목의 문항 난이도 영향 요인 및 주요 특성 분석" 한국농·산업교육학회 41 (41): 1-39, 2009

14 서울대학교 교육연구소, "교육학 용어사전, 전정판" 하우 1994

15 김경배, "교육과정과 교육평가" 학지사 2005

16 김대현, "교육과정 및 교육평가" 학지사 2005

17 한국직업능력개발원, "고등학교 농업 이해" 육인적자원부 2010

18 한국직업능력개발원, "고등학교 농업 이해" 교육인적자원부 2002

19 김진구, "「농업 이해」 과목 교과서 학습 내용의 대학수학능력시험 출제 경향 및 주요 특성 분석" 한국농·산업교육학회 40 (40): 1-32, 2008

20 Marzano, R. J., "The new taxonomy of educational objectives (2nd ed)" Corwin Press 2007

21 Bloom, B. S., "Taxonomy educational objectiveⅠ, cognitive domain" David Mckay Company 1956

22 Haladyna, T. M., "Developing and validating multiple-choice test items" Lawrence Erlbaum Associates Inc 2004

23 Tyler, R. W., "Basic principles of curriculum and instruction" University of Chicago Press 1949

24 Krathwohl, D. R., "A revision of bloom's taxonomy: An overview" 41 (41): 212-264, 2002

25 Lawshe, C. H., "A quantitative approach to content validity" 28 : 563-575, 1975

26 한국교육과정평가원, "2011학년도 대학수학능력시험 대비 학습 방법 안내, 대수능 CAT 2010-6"

27 한국교육과정평가원, "2008학년도 대학수학능력시험 행동 영역별 예시 문항, 대수능 CAT 2007-15-6"

28 이양락, "2008학년도 대학수학능력시험 출제 방안 연구" 한국교육과정평가원 2007

29 이양락, "2007학년도 대학수학능력시험 출제 방안 연구" 한국교육과정평가원 2006

30 남명호, "2005학년도 대학수학능력시험 직업탐구 영역 문항 개발 연구 자료집-직업탐구 영역의 과목별 교육과정 및 교과서 분석 결과" 한국교육과정평가원 2003

31 남명호, "2005학년도 대학수학능력시험 직업탐구 영역 문항 개발 연구" 한국교육과정평가원 2003