학습분석학 기반 대시보드에 대한 사용자의 정보지각 측정 연구: 시선추적장치의 활용 = Measuring Information Perception in Learning Analytics Dashboard: Use of Eye-Tracking System

국문 초록 (Abstract)

학습분석학은 학습관리시스템을 비롯한 다양한 시스템을 통해 축적된 학습 데이터를 수집.분석하여, 학습자의 행동을 예측하고 성과 향상을 위한 처방안으로 활용하고자 하는 학문 분야이다. 본 연구는 이러한 학습분석학의 주요 영역 중 처방 영역에서 활용되는 대시보드에 대한 사용자의 정보 지각과 이해정도를 확인하고, 대시보드의 설계와 활용에 대한 시사점을 도출하는 데에 목적이 있다. 특히대시보드는 그래프와 같은 시각요소와 이를 설명하는 텍스트 요소로 나뉘기 때문에, 글과 그래프에 대한 사용자의 시선고정현상이 사용자의 정보 이해도와 어떠한 관련이 있는지를 탐구하였다. 이를 위하여 본 연구는 시선추적시스템(Eye-tracking system)을 도입하여, 대시보드를 탐색하는 학생들의 시각 움직임을 세밀한 수준까지 측정하였다. 피험자는 서울 소재의 E 대학교 학부생 27명으로, 실험 내용은 아이트래킹 실험과 이해도 테스트로 구성되었다. 대시보드의 각 요소에 대한 학습자들의 시각 움직임 데이터를 반복 측정하여 그들 간에 유의한 차이가 있는지 알아보고, 발견된 유의한 차이가 실제 이해도 테스트 점수에 영향을 미치는지 알아보기 위해 다중회귀분석을 실시하였다. 연구 결과 피험자들은 대시보드를 이루고 있는 각 요소들에 대해 서로 다른 관찰 빈도와 관찰 지속시간을 보였음이 확인되었다. 해당 요소들을 텍스트 파트와 그래프 파트로 구분하여 분석한 결과 학습자들은 텍스트 파트를 자주 오래 볼수록 높은 정보 이해도를 보였고, 그래프 파트를 자주 오래 볼수록 낮은 정보 이해도를 보였다. 이러한 연구 결과는 방대한 정보를 효율적으로 제공하기 위해 시각적 처방이 중요한 것은 사실이나 학습자들의 그래프 이해 수준이 낮다면 대시보드를 설계하는 데 있어 설명 글을 보다 전략적으로 활용할 필요가 있음을 시사한다.

다국어 초록 (Multilingual Abstract)

The purpose of this study was to investigate information perception on the Learning Analytics Dashboard(LAD). A LAD is a tool to provide proper learning intervention by monitoring students’ online behavior, analyzing their patterns, and predicting the learning achievement. However, in order for the LAD to be more useful to students, it is necessary to consider how students catch the information on LAD in the meaningful way. For this purpose, an eye-tracking system was employed to measure students’ eye-movement on LAD. Specifically, the duration and frequency of eye fixation were explored and analyzed in terms of how the eye movement causes students’ perceptions on LAD including 7 areas of interest(graph title, graph description, scaffolding questions, X-axis, Y-axis, main graph, and annotation). The participants of this study was 27 college students in E university located in Seoul. The experiment consisted of measuring the eye-movement on LAD and testing participants’ understanding level in regard to their given information. Throughout the repeated measure ANOVA, we found that the students observed each graph’s factors in different frequencies and durations. After that, the factor analysis allowed to reclassify 7 components of LAD into two areas(graph part and text part). Finally, the multiple regression analysis results indicated that those who watched graph parts(X-axis, Y-axis, main graph, and annotation) more frequently and longer had lower test scores. On the other hand, those who watched text parts(graph title, graph description, and scaffolding message) more frequently and longer had higher comprehension scores. The results demonstrate that the graph interpretation ability of students need to be carefully considered when developing and implementing LAD as an learning intervention. Especially, this study highlights the role of text-based additional supports to help students’understanding of graph information.

참고문헌 (Reference)

1 Kang Jeeae Stephanie, "학습분석학적 관점에서 개발한 시각화 대시보드가 학업성취도에 미치는 영향에 대한 탐색적 연구" 이화여자대학교 대학원 2014

2 박연정, "학습관리시스템의 대시보드 설계를 위한 학습자 중심 요구분석: 분석과 설계 도구로서 활동이론의 적용" 한국교육공학회 30 (30): 221-258, 2014

3 박연정, "학습 분석학 기반 대시보드의 설계와 적용" 한국교육정보미디어학회 20 (20): 191-216, 2014

4 Anderson J. R., "인지심리학과 그 응용" 이화여자대학교 출판부 1995

5 김태용, "인쇄광고에 대한 수용자 주의투여에 관한 연구 : 아이트래킹 기법을 활용하여" 한국광고학회 16 (16): 109-135, 2005

6 진성희, "이러닝 학습참여활동 및 상호작용에 대한 대시보드 설계 연구" 한국교육공학회 31 (31): 191-221, 2015

7 이지현, "웹(Web) 3.0 시대 이러닝 교수설계자의 역량에 관한 탐색적 연구" 한국인력개발학회 16 (16): 143-168, 2014

8 임소혜, "아이트래킹을 이용한 게임 인터페이스에 대한 이용자의 시각적 주의 연구" (사)한국컴퓨터게임학회 27 (27): 111-118, 2014

9 이수범, "아이트래킹을 이용한 가상광고 수용자 효과 연구" 한국광고학회 22 (22): 99-125, 2011

10 신종호, "대학교육에서 학습분석 적용에 관한 탐색적 연구: 교수자의 관점을 중심으로" 한국교육공학회 31 (31): 223-252, 2015

11 Yau, N., "Visualize this: the Flowing Data guide to design, visualization, and statistics" John Wiley &Sons 2011

12 Mayer, R. E., "Unique contributions of eye-tracking research to the study of learning with graphics" 20 (20): 167-171, 2010

13 Greller, W., "Translating learning into numbers : A generic framework for learning analytics" 15 (15): 42-57, 2012

14 Laqua, S., "The focus-metaphor approach: a novel concept for the design of adaptive and user-centric interfaces" Springer Berlin Heidelberg 295-308, 2005

15 Cowen, L., "People and Computers XVI-Memorable Yet Invisible" Springer London 317-335, 2002

16 Siemens, G., "Penetrating the fog : Analytics in learning and education" 46 (46): 30-32, 2011

17 Peebles, D., "Modeling the effect of task and graphical representation on response latency in a graph reading task" 45 (45): 28-46, 2003

18 Brown, M., "Learning analytics: the coming third wave"

19 Verbert, K., "Learning analytics dashboard applications" 57 (57): 1500-1509, 2013

20 Elias, T., "Learning analytics : Definitions" 23 : 134-148, 2011

21 Siemens, G., "Learning Analytics The Emergence of a Discipline" 57 (57): 1380-1400, 2013

22 Molenda, H. R., "Instructional media and Technologies for learning" Merrill Prentice Hall 2002

23 Few, S., "Information dashboard design" Analytics Press 2013

24 Jarodzka, H., "In the eyes of the beholder : How experts and novices interpret dynamic stimuli" 20 (20): 146-154, 2010

25 Pistilli, M. D., "In practice : Purdue Signals : Mining real‐time academic data to enhance student success" 15 (15): 22-24, 2010

26 Huang, W., "How people read graphs" Australian Computer Society, Inc. 45 : 51-58, 2005

27 Chen, C. H., "Handbook of data visualization" Springer Science &Business Media 2007

28 Knight, B. A., "Eye tracking and the learning system: An overview. Current trends in eye tracking research" Springer 281-285, 2014

29 최영림, "Eye Tracking 시스템 현황 및 활용" 8 (8): 9-14, 2012

30 김수완, "Eye Tracker를 활용한 페이스북상에서 공감 정도가 사용자 시선에 미치는 영향" 한국디지털콘텐츠학회 15 (15): 387-393, 2014

31 Liu, K., "Emerging Issues in Smart Learning" Springer Berlin Heidelberg 119-122, 2015

32 Canham, M., "Effects of knowledge and display design on comprehension of complex graphics" 20 (20): 155-166, 2010

33 Meyer, K., "Effects of animation's speed of presentation on perceptual processing and learning" 20 (20): 136-145, 2010

34 Park, Y., "Development of learning analytics dashboard to support students' learning performance" 21 (21): 110-133, 2015

35 Ravaja, N., "Contributions of psychophysiology to media research : Review and recommendations" 6 (6): 193-235, 2004

36 Jo, I., "Constructing Proxy Variables to Measure Adult Learners’ Time Management Strategies in LMS" 18 (18): 214-225, 2015

37 Jo, I., "Beyond learning analytics: Educational technology approach toward learning analytics" 2013

38 de Koning, B. B., "Attention guidance in learning from a complex animation: Seeing is understanding?" 20 (20): 111-122, 2010

39 조일현, "Analysis of Online Behavior and Prediction of Learning Performance in Blended Learning Environments" 한국교육공학회 15 (15): 71-88, 2014

40 Boucheix, J. M., "An eye tracking comparison of external pointing cues and internal continuous cues in learning with complex animations" 20 (20): 123-135, 2010

41 Schmidt-Weigand, F., "A closer look at split visual attention in systemand self-paced instruction in multimedia learning" 20 (20): 100-110, 2010