Exploring the effects of narrative visualization story structure on visualization comprehension, engagement and recall = 내러티브 시각화의 스토리텔링 기법이 시각화 이해, 몰입, 회상에 미치는 영향

다국어 초록 (Multilingual Abstract)

Narrative visualization is a series of interactive visualizations sequenced in order to maximize storytelling potential. Although it is being actively produced by journalists and storytellers in various fields, there lack theoretical, empirical studies on how diverse visualization stories affect reading experience. Thus, there is a need for characterizing and analyzing narrative visualization elements through the lens of visual narratives, and investigate the mechanism of the author and reader’s interplay inside the ’visual story’.
This study declares the crucial determinants of narrative visualization story structure to be interactivity and author guidance. This study designs a 2(low/high interactivity)X2(author guided/not guided) between-subject experiment to evaluate the effects of narrative visualization story structure on reading experience, as in comprehension, engagement(in both subjective measures and user behavior) and recall. Also, topic involvement and need for cognition are considered as potential moderators.
In order to realize storytelling elements of narrative visualization, the researcher designed and deployed four different story structures (e.g. in terms of visual, textual, interactive elements and story progression) based on one web-based visualization story. In an online experiment, 79 participants were each asked to read one of the four story structures under a given task, and then dependent variables and moderators were measured.
Results have shown that author guidance and interactivity of visualization stories both affect readers’ comprehension as in retrieving the story’s topic and interpreting visualizations. Author guided and not guided stories also significantly differ in readers’ number of interactions. Evidence also shows that need for cognition has moderating effects on comprehension, for both author guidance and interactivity story conditions. Main effects of the story structures on engagement and recall, and moderating effects of topic involvement all did not show statistical significance.
Studying unique storytelling features of narrative visualization and quantitatively measuring reading experience will provide insight to both visualization story designers and authoring tool developers.

국문 초록 (Abstract)

내러티브 시각화는 데이터 분석으로 도출한 메시지를 효과적으로 전달하기 위해 여러 인터랙티브 시각화 장면을 유기적으로 연결해 만든 이야기이다. 저널리즘과 설득 커뮤니케이션 등의 영역에서 내러티브 시각화가 점차 활발하게 제작되고 있음에도 불구하고, 이러한 유형의 시각화 이야기가 어떠한 독자 경험을 형성하는지에 대한 이론적, 경험적 연구가 부족한 것으로 보인다. 따라서 내러티브 시각화의 이야기 요소를 비주얼 내러티브의 관점에서 구체화, 분석하여 작가-독자 간 상호작용이 발생하는 장으로서 내러티브 시각화를 다루어 볼 필요가 있다.
본 연구는 내러티브 시각화의 이야기를 특징짓는 핵심 요소로서 상호작용성과 작가 주도성을 구성하였다. 시각화의 상호작용성은 시각화 시스템과의 적극적인 대화와 탐색적 행동이 가능한 수준으로 정의하였으며, 작가 주도성은 크게 이야기의 선형성, 독자의 내비게이션 방식, 그리고 텍스트를 통한 멀티 메시징의 세 차원으로 구성하였다. 이에 따라 2 (낮은/높은 상호작용성) X 2 (작가 주도/독자 주도) 피험자 간 실험을 설계하여, 내러티브 시각화의 서로 다른 이야기 구조가 독자 측면의 이해, 몰입, 회상과 사용자 행동(총 사용시간, 상호작용 횟수)에 미치는 영향을 보고자 하였다. 이와 더불어 주제 관심도와 인지욕구의 조절효과가 존재하는지도 살펴보고자 하였다.
내러티브 시각화의 이야기 요소를 실현하기 위해, 본 연구에서는 하나의 시각화 이야기를 서로 다른 네 가지 이야기 구조로 직접 디자인하고 웹사이트로 구현하였다. 그리고 79명의 참여자에게 각자 해당 이야기 구조 중 하나를 이용해보도록 한 후 종속변인과 조절변인 등을 측정하는 온라인 실험을 진행하였다.
실험 결과, 작가 주도성과 상호작용성은 모두 독자가 시각화 이야기의 메시지와 시각화를 해석하는 데에 유의한 영향을 주는 것으로 나타났다. 또한, 작가 주도적 이야기와 독자 주도적 이야기 간 상호작용 횟수의 차이도 유의하게 나타났다. 조절변인 중에서는 인지욕구가 상호작용성과 작가 주도성 조건 모두에서 이해에 유의한 조절효과를 보였다. 그 외 몰입, 회상과 총 사용시간에 대한 주효과, 그리고 주제 관심도에 대한 조절효과는 유의한 결과를 보이지 않았다.
본 연구는 내러티브 시각화의 내재적인 특성을 이야기 구조에서 찾고, 이를 실제 디자인 프로세스를 통해 구체화하여 그 스토리텔링 효과를 정량적으로 측정하고자 시도했다는 점에서 시각화 디자이너와 시각화 툴 개발자에게 함의를 줄 것으로 예상된다.

목차 (Table of Contents)

• 1. Introduction. 1
• 2. Related Work. 5
• 2.1. Narrative visualization. 5
• 2.2. Visualization interpretation and engagement. 23
• 2.3. Moderating variables. 28
• 3. Research questions and hypotheses. 29
• 3.1. Hypotheses on effects of narrative visualization story structure on comprehension, engagement and recall. 29
• 3.2. Research questions on effects of narrative visualization story structure on user behavior, and moderating effects. 31
• 4. Research method. 34
• 4.1. Study design and procedure. 34
• 4.2. Designing the narrative visualization conditions. 38
• 4.3. Measures. 46
• 5. Analysis results. 51
• 5.1. Descriptive statistics and coefficient analysis. 51
• 5.2. Hypothesis test results. 53
• 6. Discussion and conclusion. 64
• 6.1. Summary of study results. 64
• 6.2. Discussion on study results. 65
• 6.3. Implications and suggestions for future research. 69
• Appendix. 74
• References. 79
• Abstract (In Korean). 92