증거 중심 설계를 활용한 디지털 리터러시 평가도구 개발 = Development of Digital Literacy Assessment based on Evidence Centered Design

국문 초록 (Abstract)

증거 중심 설계(Evidence Centered Design)는 평가 계획 및 실행의 첫 단계에서부터 타당도를 뒷받침할 수 있는 증거를 다양하게 수집하도록 하는 평가도구 설계 및 개발의 틀로서, 최근 해외의 여러 역량 기반 평가도구 개발에 적용되고 있다. 이에 이 연구에서는 미래사회 핵심역량 중 하나로 논의되고 있는 디지털 리터러시에 주목하여, 디지털 리터러시 평가도구 개발 과정에 증거 중심 설계를 활용함으로써 그 적절성을 평가하고자 하였다. 증거 중심 설계는 평가 영역 분석, 평가 영역 모형화, 개념적 평가틀 정의, 평가 시행, 평가 결과 보고 절차로 구성되어 있으며, 이 연구에서는 대학생 대상 디지털 리터러시 평가도구 프로토타입 문항 개발 과정에 이와 같은 일련의 절차를 구체적으로 적용하였다. 적용 결과, 증거 중심 설계는 디지털 리터러시의 구인을 이루는 핵심 지식, 기능, 역량에 대하여 논증 원리를 만들고 그것을 뒷받침하기 위한 증거를 마련함으로써 보다 타당한 평가도구 개발에 기여함을 확인할 수 있었다. 이 연구의 성과는 향후 디지털 리터러시를 포함한 각종 평가도구의 질적 개선에 긍정적인 영향을 미칠 수 있을 것으로 기대한다.

다국어 초록 (Multilingual Abstract)

As the framework for the design and development of evaluation tools which help gather a variety of evidence that supports the effectiveness of the assessment from the start, Evidence Centered Design is being used to develop competency-based evaluation tools overseas. Consequently, this study evaluated the effectiveness of using Evidence Centered Design to develop evaluation tools for digital literacy, a skill which is being considered as a core competency for future society. Evidence Centered Design is composed of Domain Analysis, Domain Modeling, Conceptual Assessment Framework, Assessment Implementation, Assessment Delivery. This study applied these models to the development process of a prototype for the cognitive domains of a digital literacy assessment for college students. The results showed that Evidence Based Design supports the core knowledge, skills, and competencies of digital literacy and provides support to an efficient development of evaluation tools. The results of this are expected to have a positive impact on the improvement of quality for various competency evaluation tools including digital literacy.

목차 (Table of Contents)

• Ⅰ. 서 론 Ⅱ. 이론적 배경 Ⅲ. 증거 중심 설계를 적용한 디지털 리터러시 평가도구 개발 절차 Ⅳ. 결론 및 제언 참고문헌

참고문헌 (Reference)

1 정현선, "핵심역량 중심의 미디어 리터러시 교육 내용 체계화 연구" 학습자중심교과교육학회 16 (16): 211-238, 2016

2 서수현, "중학생 학습자를 위한 디지털 리터러시 표현 영역 성취기준 연구" 한국작문학회 (41) : 161-190, 2019

3 옥현진, "중학생 학습자를 위한 디지털 리터러시 인지적 영역 성취기준 개발" 국어교육연구소 (41) : 81-112, 2018

4 유상희, "상황 기반 리터러시 평가를 위한 시론: 리터러시 평가에서 ‘상황’을 고려한다는 것은 어떤 의미인가?" 교과교육연구소 22 (22): 264-273, 2018

5 강진숙, "미디어 리터러시 교육과정 운영을 통한 시민역량 제고방안 연구" 교육부 2019

6 박혜영, "디지털 시대, 쓰기 평가의 특징 분석 - 미국 ‘학력평가 2.0’의 쓰기 영역을 중심으로 -" 한국어교육학회 (154) : 199-227, 2016

7 김지연, "디지털 리터러시의 정의적 영역 평가 도구 개발 방향에 대한 탐색적 연구" 국어교육학회 50 (50): 205-230, 2015

8 김종윤, "디지털 리터러시의 인지적 영역 평가도구 개발을 위한 기초 연구" 청람어문교육학회 (62) : 7-39, 2017

9 옥현진, "디지털 리터러시 태도 평가 도구개발 및 타당화 연구" 한국어교육학회 (152) : 251-283, 2016

10 김종윤, "디지털 리터러시 인지적 영역의 평가 요소 개발" 청람어문교육학회 (66) : 133-166, 2018

11 노은희, "교과 교육에서의 디지털 리터러시 교육 실태 분석 및 개선 방안 연구" 한국교육과정평가원 2018

12 Costa, C., "Why does society need media literacy?" 26-30, 2011

13 Arieli-Attali, M., "The expanded evidence-centered design(e-ECD)for learning and assessment systems" 10 (10): 1-17, 2019

14 Mislevy, R. J., "On the structure of assessment arguments" 1 (1): 3-62, 2003

15 OECD, "OECD Future of education and skills 2030 : OECD Learning Compass 2030"

16 이근호, "OECD Education 2030교육과정 조사에 따른 역량 중심 교육과정 비교 연구" 한국교육과정평가원 2017

17 Deane, P., "Key practices in the English language arts(ELA) : Linking learning theory, assessment, and instruction" 2015 (2015): 1-29, 2015

18 Mislevy, R. J., "Implications for evidence-centered design for educational assessment" 25 : 6-20, 2006

19 Mislevy, R. J., "Focus article : On the structure of educational assessments" 1 (1): 3-62, 2003

20 Herman, J., "Evidence-centered design: A summary" University of California, National Center for Research on Evaluation, Standards, and Student Testing (CRESST) 2015

21 Mislevy, R. J., "Evidence-centered design : Layers, structures, and terminology" SRI International 2005

22 Mislevy, R. J, "Evidence-centered assessment design" Educational Testing Service 1999

23 Martens, H., "Evaluating media literacy education : Concepts, theories and future directions" 2 (2): 1-22, 2010

24 Almond, R., "Enhancing the design and delivery of assessment systems: A four process architecture" 1 (1): 3-63, 2002

25 Gilster, P., "Digital literacy" Wiley Computer Pub 1997

26 Martin, A., "Digital literacies: Concepts, policies ad practices" Peter Lang 151-176, 2008

27 National Governors Association Center for Best Practices & Council of Chief State School Officers, "Common Core State Standards for English Language Arts & Literacy History/Social Studies & Science and Technical Subjects"