Visualization-Based Analysis Frameworks for Executable Malware Using Behavioral–Performance and Structural Features

김준섭 세종대학교 대학원 2025 국내박사

Traditional cyberattacks were primarily directed at individual users, but in recent years sophisticated targeted attacks against specific organizations and critical infrastructure have become increasingly common. A representative case is the incident in which the operations of the U.S. pipeline company Colonial Pipeline were suspended due to a ransomware attack. This demonstrates that threats caused by malware can paralyze industrial and social infrastructure, far beyond merely affecting individual users. As the nature of attacks evolves in this way, it is becoming increasingly important not only to block attacks but also to accurately identify the malware used in them and to determine who the attacker is and what characteristics the attack has. Executable file analysis is a core technology in cybersecurity and software engineering for malware identification and classification, code similarity analysis, and vulnerability analysis. In particular, malware identification and classification essentially rely on features extracted through traditional static and dynamic analysis. Consequently, attackers employ advanced concealment and evasion techniques to avoid detection and analysis. This makes feature extraction based on conventional analysis increasingly difficult and ultimately degrades the classification performance of machine learning and deep learning models. To overcome these limitations, this dissertation proposes two complementary visualization-based analysis frameworks for executable malware. Both frameworks transform features extracted from executable files into images so that convolutional neural networks (CNNs) can effectively learn discriminative patterns. Although CNNs have already demonstrated excellent performance in general image classification tasks, conventional methods that simply convert packed or obfuscated executables into grayscale images reveal a limitation in that they do not reliably classify malware under realistic conditions. Hyperparameter tuning and the design of new deep learning architectures are also important research directions for improving performance, but this work focuses on a more fundamental challenge—designing robust visualization-based feature representations in which the inherent characteristics of malware remain visible even under various analysis-evasion techniques. Accordingly, the CNN architecture and training configuration are fixed to a standard setup, and only the input representations and visualization schemes are varied in order to systematically analyze their impact on classification accuracy and generalization. First, in the dynamic-analysis domain, we present PerfSight, a behavioral performance visualization framework. PerfSight collects the usage of system resources such as CPU, memory, and I/O as time-series data and converts them into images, thereby extracting features that are robust against analysis-evasion and concealment techniques. Experiments on real-world ransomware show that, even with a simple CNN model, PerfSight achieves a high classification accuracy of at least 98.94%, demonstrating that it provides sufficient performance for ransomware classification. Second, in the static-analysis domain, we introduce BinSight, a kernel density estimation (KDE)-based visualization framework. BinSight addresses the limitation that grayscale image–based visualization cannot adequately express code structure and data distribution. It converts various structural features extracted from executable files into two-dimensional density images via KDE, thereby preserving structural characteristics while providing inputs that are well suited for CNNs. Experiments on Windows PE executables under a rigorous, leakage-controlled protocol show that BinSight achieves a macro F1-score of 97.59% on a challenging code structure–based dataset, compared to 24.90% for the grayscale baseline, corresponding to a 72.69% improvement in performance. On the byte-based dataset, BinSight also yields a consistent macro F1-score improvement of 2.57%. PerfSight and BinSight each clearly overcome the limitations of existing visualization techniques in their respective domains. This dissertation experimentally demonstrates that the performance and stability of visualization-based malware classification strongly depend on how effectively the intrinsic characteristics of executable files are captured in the input representation, and it presents a research direction toward more robust feature extraction and visualization methods for increasingly sophisticated malware. Furthermore, the two frameworks can be combined in a complementary manner to form the basis of an effective integrated analysis pipeline for large-scale automated classification of executable malware and practical deployment in real-world environments. 전통적인 사이버 공격은 주로 개인을 대상으로 이루어졌으나, 최근에는 특정 목표를 대상으로 하는 정교한 표적 공격이 증가하고 있다. 미국의 송유관 회사인 콜로니얼 파이프라인을 대상으로 한 랜섬웨어 공격으로 운영이 중단된 사건이 대표적이다. 이는 악성코드로 인한 위협이 개인에게 영향을 미치는 수준을 넘어 산업 및 사회 기반시설 전체를 마비시킬 수 있음을 보여준다. 이처럼 공격 유형이 변화함에 따라 단순히 공격을 차단하는 것을 넘어서 공격에 사용된 악성코드를 정확하게 식별하여 공격자가 누구인지와 공격의 특성이 무엇인지 파악하는 것이 점점 더 중요해지고 있다. 실행 파일 분석은 악성코드 식별 및 분류, 코드 유사도 분석, 취약점 분석을 위한 사이버보안 및 소프트웨어 공학 분야의 핵심 기술이다. 특히 악성코드 식별 및 분류는 전통적인 정적 및 동적 분석을 통한 특징 추출이 필수적이다. 그렇기 때문에 공격자는 탐지와 분석을 회피하기 위해 고도화된 은폐 기법을 사용한다. 이로 인해 전통적인 분석에 기반한 특징 추출이 어려워지고, 궁극적으로 머신러닝 및 딥러닝 기반 분류 성능이 저하되는 문제가 발생한다. 이러한 한계를 극복하기 위해, 본 논문은 실행 파일 악성코드를 대상으로 하는 두 가지 상호보완적인 시각화 기반 프레임워크를 제안한다. 두 프레임워크는 모두 실행 파일로부터 추출된 특징을 이미지로 시각화함으로써 CNN(Convolutional Neural Network)이 변별력 있는 패턴을 효과적으로 학습할 수 있도록 한다. 일반적인 이미지 분류 문제에서는 CNN의 우수한 성능이 이미 폭넓게 입증되어 있지만, 패킹이나 난독화가 적용된 실행 파일을 단순히 그레이스케일 이미지 등으로 변환하는 기존 방법은 실제 환경의 악성코드를 안정적으로 분류하지 못한다는 한계를 드러낸다. 하이퍼파라미터 튜닝이나 새로운 딥러닝 구조의 설계도 성능 향상에 기여할 수 있는 중요한 연구 방향이지만, 본 연구에서는 보다 근본적인 도전 과제로서 다양한 분석 방해 기술이 적용되더라도 악성코드의 고유한 특징이 드러날 수 있는 견고한 시각화 기반 특징 표현을 설계하는 데 초점을 맞춘다. 이에 따라 CNN 모델과 학습 설정은 표준 구성으로 고정한 상태에서, 입력 표현과 시각화 방식만을 달리하면서 분류 성능과 일반화 능력의 차이를 체계적으로 분석한다. 첫째, 동적 분석 영역에서는 PerfSight라는 행위-성능 시각화 프레임워크를 제시한다. PerfSight는 CPU, 메모리, I/O와 같은 시스템 자원의 사용량을 시계열 데이터로 수집하고 이를 이미지로 변환함으로써, 분석 회피 및 은폐 기법에 강건한 특징을 추출한다. 실제 랜섬웨어를 대상으로 수행한 실험 결과, 단순한 CNN 모델을 사용했음에도 최소 98.94%의 높은 분류 정확도를 달성하였으며, 랜섬웨어 분류에 충분한 성능을 제공함을 보여준다. 둘째, 정적 분석 영역에서는 BinSight라는 커널 밀도 추정 (Kernel Density Estimation, KDE) 기반 시각화 프레임워크를 도입한다. BinSight는 그레이스케일 이미지 기반 시각화가 코드 구조와 데이터 분포를 충분하게 표현하지 못하는 한계를 해결하고자 한다. 이 프레임워크는 실행 파일로부터 추출한 다양한 구조적 특징을 KDE를 통해 2차원 밀도 이미지로 변환함으로써, 구조적 특성을 보존하면서 CNN에 최적화된 입력을 제공한다. 엄격한 유출 통제 환경에서 Windows PE 실행 파일을 대상으로 수행한 실험 결과, BinSight는 난이도가 높은 코드 구조 기반 데이터셋에서 매크로 F1-score 97.59%를 달성하여 그레이스케일 베이스라인 24.90% 대비 72.69% 향상된 성능을 보였으며, 바이트 기반 데이터셋에서도 매크로 F1-score 기준 2.57%의 일관된 성능 향상을 달성하였다. PerfSight와 BinSight는 각각의 영역에서 기존 시각화 기법이 갖는 한계를 명확하게 극복한다. 본 논문은 실행 파일의 고유한 특성을 얼마나 효과적으로 반영하는지에 따라 시각화 기반 악성코드 분류의 성능과 안정성이 영향을 받는다는 것을 실험적으로 규명한다. 또한 고도화된 악성코드 위협에 맞서기 위한, 보다 견고한 특징 추출 및 시각화 연구 방향을 제시한다. 이러한 프레임워크들은 상호보완적으로 결합되어, 대규모 실행 파일 악성코드에 대한 자동 분류 및 실무 환경에 적용 가능한 효과적인 통합 분석 파이프라인의 기반을 제공한다.

Development of cell- and protein-based optical methods of odorant detection for visualization of smell

오은해 서울대학교 대학원 2014 국내박사

인간의 후각 시스템은 수천 가지의 냄새물질을 매우 낮은 농도까지 감지 및 구별할 수 있다. 냄새의 감지는 비강 후면의 후각 상피에 다수 포진하는 섬모 표면의 후각 수용체가 냄새 물질을 인지하는 데서 시작된다. 인간의 후각 수용체는 390여 가지에 달하며, 하나의 후각 신경세포가 하나의 후각 수용체를 발현하는 것으로 알려져 있다. 후각 수용체가 냄새분자와 결합하면 후각 수용체의 구조 변화가 일어나고, 여기서 비롯된 세포 내 신호 전달 기작에 의해 발생한 전기생리학적 신호가 뇌로 전달된다. 한 가지의 후각 수용체 단백질은 여러 종류의 냄새분자와 결합할 수 있고, 또한 한 가지의 냄새 분자는 여러 가지의 후각 수용체와 결합할 수 있는데, 인간은 후각 수용체와 냄새 분자간의 다양한 결합 패턴을 통하여 냄새를 구별하게 된다. 따라서 후각 수용체와 냄새 분자의 결합 패턴에 관련된 데이터 확보는 인간이 냄새를 인지하는 방식을 이해하기 위해 매우 중요하다. 후각 수용체의 기능을 밝히기 위해 전 세계의 많은 연구자들이 칼슘 이미징 및 CRE 리포터 어세이 등 인공 후각세포 기반의 스크리닝 시스템을 개발해 왔다. 하지만 많은 단계를 거쳐야 하는 스크리닝 실험의 특성상 대부분의 후각 수용체의 기능은 여전히 밝혀지지 않고 있는 상태이다. 본 연구에서는 후각 수용체와 냄새 분자간의 결합을 광학적 측정기술을 활용하여 시각화함으로써 후각 수용체의 기능 및 냄새물질과의 반응 패턴을 분석하는 시스템을 개발하였다. 후각 수용체 단백질이 포함된 인공 후각세포를 냄새 측정 시스템의 1차 변환기로 활용하였고, 표면 플라즈몬 공명 (SPR) 장비, 형광 현미경, 형광 이미지 스캐너 등을 2차 변환기로 활용하였다. 후각 수용체 단백질은 대장균 발현 시스템을 통해 대량으로 확보하였고, 정제 및 리폴딩 과정을 거쳐 SPR 기반의 냄새 측정 시스템에서 1차 변환기로 이용하였다. 또한 고속 대량 스크리닝 시스템 및 냄새 측정 시스템의 시각화를 위하여 인공 후각세포를 소자로 활용하였다. 소형화된 플랫폼을 제작하기 위하여 Polyethylene glycol (PEG) 마이크로웰을 제작하였고, 역 형질주입 기술을 도입하여 다양한 후각 수용체를 마이크로웰 상에서 동시에 발현시킴으로써 고속 대량 스크리닝이 가능하도록 하였다. 또한 세포 내 신호 전달 기작을 조작하여 냄새 분자가 후각 수용체에 결합하면 녹색 형광 단백질이 발현되어 형광현미경으로 측정 가능하도록 함으로써 냄새 반응을 시각화하였다. 기존에 널리 이용되어 온 칼슘 이미징 방법은 후각 수용체를 한 종류씩 세포에서 발현시켜야 하고 칼슘 측정용 염색약을 세포 내에 주입하여 냄새를 측정하기 때문에 대량 스크리닝이 용이하지 않았던 반면, 본 연구는 다양한 후각 수용체의 동시 발현 및 형광 단백질을 활용한 시각화로 인해 안정적인 냄새 측정 및 고속 대량 스크리닝이 가능하다는 장점이 있다. 하지만, 형광 단백질을 통해 냄새 측정이 이루어지기 때문에 단백질 발현 시간이 소요된다는 단점이 있는데, 이를 극복하기 위하여 후각 수용체의 구조 변화를 이용하여 실시간으로 냄새를 측정 및시각화하는 연구를 진행하였다. 실시간으로 냄새를 측정하기 위하여, 후각 수용체와 칼륨 이온 채널을 연결하여 후각 수용체가 냄새 분자와 결합했을 때 발생하는 구조적 변화로 인해 칼륨 이온 채널이 물리적으로 열리도록 하였다. 열린 칼륨 이온 채널을 통해 유입된 칼륨 이온을 막전위 측정용 염색약를 이용하여 측정함으로써 실시간 이미징이 가능하게 되었다. 이온 채널이 연결된 후각 수용체를 냄새 측정 시스템의 소자로 활용하게 되면 세포 내 신호 전달 기작에만 의존하던 기존 연구 방식으로부터 벗어나 후각 수용체의 구조적 변화를 이용할 수 있기 때문에, 세포의 상태가 야기하는 불안정성으로부터 자유로울 수 있다. 본 연구에서는 여러 후각 수용체 단백질들을 이온채널과 연결하여 냄새를 실시간으로 측정하고 이미징하는 냄새 측정 시스템을 개발함으로써 다양한 냄새의 패턴을 시각화하였다. 냄새 측정 시스템의 광범위한 활용을 위해서는 기체 상태의 냄새 물질을 측정하는 것이 중요하다. 따라서 본 연구에서는 마이크로 플루이딕 시스템과 polycarbonate (PC) 멤브레인을 활용하여 기체 상태의 냄새 분자와 후각 수용체의 반응을 시각화하는 연구를 수행하였다. PC 멤브레인에 인공 후각세포를 배양하여 마이크로 플루이딕 시스템에 거꾸로 삽입한 후, 멤브레인 상부에 기체상태의 냄새분자를 주입함으로써 멤브레인을 통과한 냄새 분자가 후각 수용체와 결합하여 신호를 발생시키도록 설계하였으며, 발생된 신호는 칼슘 이미징을 통해 시각화하였다. 본 연구에서는 후각 수용체와 냄새 분자의 결합 패턴을 다양한 플랫폼과 측정 기법을 활용하여 시각화하였고, 고속 대량 스크리닝 시스템 및 패턴 분석 도구로써의 활용 가능성을 제시하였다. 냄새 반응의 시각화 기술은 인간이 인지하는 냄새의 패턴을 제시할 수 있으며, 냄새에 코드를 부여하여 표준화하는 연구에 활용될 것으로 기대한다. Human olfactory system can detect and discriminate numerous odorant molecules with high sensitivity and selectivity using olfactory receptor (OR). Human has about 390 ORs and each OR can bind to various odorant with different affinity and one odorant molecule can also bind to various ORs. The smell is recognized through the various combination of bindings between OR and odorants. Many researchers have developed highly efficient odorant detection system by mimicking natural olfactory system. The artificial olfactory cells or OR protein have been used as a sensing material. However, up to now, only few ORs have been characterized because of the lack of effective screening tool. Thus the characterization of many orphaned ORs via new high-throughput system and the pattern analysis of odorant responses are inevitable for further applications of ORs. In this thesis, the function of ORs and their response patterns in the presence of various compounds were analyzed visually via various optical analysis systems. Using ORs and artificial olfactory cells as sensing material, the odorant binding event or the cellular response upon odorant stimulation was detected and visualized. The ORs, which were expressed in E. coli system with large quantity, were used as effective sensing materials in surface plasmon resonance (SPR)-based system after the purification and refolding steps. And for the high-throughput screening and visualization of various odorant responses, the artificial olfactory cells were used as sensing materials. The polyethlyenglycol (PEG) microwell was constructed as a miniaturized screening platform, and various ORs were expressed on the microwell using reverse transfection technique. The odorant response was visualized by CRE reporter assay system which expresses fluorescence protein as a reporter. The conventional odorant screening system has a limitation for high-throughput format because of the complicated experimental steps, while the PEG microwell-based system combined with a reverse transfection technique has advantages; various ORs can be expressed simultaneously and the imaging odorant response is stable and effective. However, this system requires a time for protein expression, thus a different approach to immediately detect and visualize the odorant response was also conducted. For the real time detection and visualization of odorant response, ORs were linked to the potassium ion channel. The conformational change of OR by the odorant binding induces the ion channel physically opened. The odorant response was immediately visualized using membrane potential dye by detecting the potassium influx through the ion channel. In this study, various ORs were coupled to the ion channel for the visualization of various odorant response patterns. The odorant detection using ion channel-coupled OR was majorly dependent on the conformational change of the physically linked-protein rather than intracellular transduction pathway. Based on this mechanism, it was demonstrated that the ion channel-coupled OR can be used as an effective protein-based odorant detection material for the real time visualization of odorant response. Natural olfactory system detects the odorant in gaseous phase, thus, in this study, the detection of gaseous odorant is very important. In this study, the detection and visualization system of gaseous odorant was also developed using polycarbonate (PC) membrane and the microfluidic system. The OR-expressing cells were cultured on the PC membrane and placed in the PDMS chamber in the inverted format. Then the gaseous odorant was injected in the upper side of the chamber so that the cells could be exposed to the gas through the pores of the membrane. The odorant response was visualized using calcium imaging method. The visualized odorant response can be used as a code for smell. The visualized patterns of smell can be used not only for understanding human olfactory system but also for various purposes in medical and industrial applications. This study offers various protein- and cell-based optical methods for the visualization of smell in high-throughput screening platform.

Understanding Visualization Idioms Through Deep Visualization

김원재 서울대학교 대학원 2018 국내석사

Visualization (vis) idioms define the way visual representations are created and manipulated. Well-known vis idioms include familiar charts such as bar charts and pie charts. Vis research and applications require thorough understanding of vis idioms. As a medium to understand vis idioms, I suggest a novel approach that employs deep visualization. Deep visualization is a collective name of methods for visualizing the characteristics of neurons in deep neural networks by generating their preferred stimuli (images). In this paper, I present two neural networks, one classifying the type of vis idioms, and one generating images of given idiom type. By applying deep visualization on the neural classifier through the neural generator, I examine how deep visualization can help vis researchers understand diverse aspects of vis idioms in novel ways and potentially derive unexplored idioms.

Integrating Visualization Grammars with the Task Language of Data Analysts

Pu, Xiaoying ProQuest Dissertations & Theses University of Mich 2022 해외박사(DDOD)

Creating visualizations is an integral part of data analysts' work. Often based on the Grammar of Graphics, visualization grammars, such as ggplot2 and Vega-Lite, provide elegant abstractions for visualization specification. Even though visualization grammars have consistent syntax and promote the exploration of visualization design space, we have a limited understanding of how data analysts interact with visualization grammars. There is a semantic distance between analysts' task language and visualization grammars. Data analysts may have friction in executing their task language, e.g., probability distributions, and data operations, using visualization grammars. Alternatively, analysts may have trouble evaluating whether visualization outputs achieved their analytic goals. In this thesis, I explore integrating visualization grammars with analysts' task language to understand and reduce the semantic distance between them.As an example of executing visualizations, data analysts need to inspect and communicate uncertainty. However, visualizing probability distribution, such as P(A|B), remains convoluted and error-prone in visualization grammars. I designed a Probabilistic Grammar of Graphics (PGoG), an extension to ggplot2. By making expressions such as P(A|B) data objects in the grammar, PGoG enables analysts to systematically create and iterate on a variety of probabilistic visualizations, including icon arrays, product plots, and stacked density plots. PGoG reduced the edit distance between plot designs and avoids creating plots with misleading proportions. Overall, PGoG helps analysts execute visualizations by introducing probability distributions into a visualization grammar.In the direction of evaluation, I designed Datamations, a framework that helps people understand data analysis pipelines. A pipeline consists of a sequence of data operation functions (verbs) such as group_by and summarize, with the results of one verb piped to the next. Pipeline outputs (i.e. plots and tables) are not straightforward to interpret because the semantic concepts of data and analysis verbs are not directly visible. Datamations turn these semantic concepts into an animated explanation by leveraging the state-transition abstraction in analysis pipelines. It translates data operation verbs into animated transitions, and intermediate data states into static keyframes. I showed that Datamations helped laypeople understand Simpson's paradox better in a crowd-sourced experiment, which suggested the potential for analysts to use Datamation.PGoG and Datamations are solutions that reduce the semantic distance. As retrospection, I investigated the semantic distance itself---how do real-life analysts adapt to a visualization grammar during analysis? I conducted a qualitative study where I recruited participants (N=6) from TidyTuesday, a data science community. Through reflexive thematic analysis, I described how participants executed plots centered on analysis tasks and how plots looked, in addition to concepts in the visualization grammar. Participants had trouble evaluating their analyses due to the tight coupling between visualization and analysis specifications. By understanding how analysts have adapted to visualization grammars, we can identify more ways to reduce the semantic distance between them.Based on my three projects, I discuss ways visualization grammars can be more practical for data analysts. We can center analysts' language, the need for customization, and visual templates. Analysts can evaluate their analysis better by having visualization-analysis integration that maintains consistency and increases transparency. Computational notebooks can be a productive environment to promote this integration. Integrating visualization grammars and analysts' task language has more potential to shape and support analysts' work.

Exploring the effects of narrative visualization story structure on visualization comprehension, engagement and recall

권영진 서울대학교 대학원 2021 국내석사

Narrative visualization is a series of interactive visualizations sequenced in order to maximize storytelling potential. Although it is being actively produced by journalists and storytellers in various fields, there lack theoretical, empirical studies on how diverse visualization stories affect reading experience. Thus, there is a need for characterizing and analyzing narrative visualization elements through the lens of visual narratives, and investigate the mechanism of the author and reader’s interplay inside the ’visual story’. This study declares the crucial determinants of narrative visualization story structure to be interactivity and author guidance. This study designs a 2(low/high interactivity)X2(author guided/not guided) between-subject experiment to evaluate the effects of narrative visualization story structure on reading experience, as in comprehension, engagement(in both subjective measures and user behavior) and recall. Also, topic involvement and need for cognition are considered as potential moderators. In order to realize storytelling elements of narrative visualization, the researcher designed and deployed four different story structures (e.g. in terms of visual, textual, interactive elements and story progression) based on one web-based visualization story. In an online experiment, 79 participants were each asked to read one of the four story structures under a given task, and then dependent variables and moderators were measured. Results have shown that author guidance and interactivity of visualization stories both affect readers’ comprehension as in retrieving the story’s topic and interpreting visualizations. Author guided and not guided stories also significantly differ in readers’ number of interactions. Evidence also shows that need for cognition has moderating effects on comprehension, for both author guidance and interactivity story conditions. Main effects of the story structures on engagement and recall, and moderating effects of topic involvement all did not show statistical significance. Studying unique storytelling features of narrative visualization and quantitatively measuring reading experience will provide insight to both visualization story designers and authoring tool developers. 내러티브 시각화는 데이터 분석으로 도출한 메시지를 효과적으로 전달하기 위해 여러 인터랙티브 시각화 장면을 유기적으로 연결해 만든 이야기이다. 저널리즘과 설득 커뮤니케이션 등의 영역에서 내러티브 시각화가 점차 활발하게 제작되고 있음에도 불구하고, 이러한 유형의 시각화 이야기가 어떠한 독자 경험을 형성하는지에 대한 이론적, 경험적 연구가 부족한 것으로 보인다. 따라서 내러티브 시각화의 이야기 요소를 비주얼 내러티브의 관점에서 구체화, 분석하여 작가-독자 간 상호작용이 발생하는 장으로서 내러티브 시각화를 다루어 볼 필요가 있다. 본 연구는 내러티브 시각화의 이야기를 특징짓는 핵심 요소로서 상호작용성과 작가 주도성을 구성하였다. 시각화의 상호작용성은 시각화 시스템과의 적극적인 대화와 탐색적 행동이 가능한 수준으로 정의하였으며, 작가 주도성은 크게 이야기의 선형성, 독자의 내비게이션 방식, 그리고 텍스트를 통한 멀티 메시징의 세 차원으로 구성하였다. 이에 따라 2 (낮은/높은 상호작용성) X 2 (작가 주도/독자 주도) 피험자 간 실험을 설계하여, 내러티브 시각화의 서로 다른 이야기 구조가 독자 측면의 이해, 몰입, 회상과 사용자 행동(총 사용시간, 상호작용 횟수)에 미치는 영향을 보고자 하였다. 이와 더불어 주제 관심도와 인지욕구의 조절효과가 존재하는지도 살펴보고자 하였다. 내러티브 시각화의 이야기 요소를 실현하기 위해, 본 연구에서는 하나의 시각화 이야기를 서로 다른 네 가지 이야기 구조로 직접 디자인하고 웹사이트로 구현하였다. 그리고 79명의 참여자에게 각자 해당 이야기 구조 중 하나를 이용해보도록 한 후 종속변인과 조절변인 등을 측정하는 온라인 실험을 진행하였다. 실험 결과, 작가 주도성과 상호작용성은 모두 독자가 시각화 이야기의 메시지와 시각화를 해석하는 데에 유의한 영향을 주는 것으로 나타났다. 또한, 작가 주도적 이야기와 독자 주도적 이야기 간 상호작용 횟수의 차이도 유의하게 나타났다. 조절변인 중에서는 인지욕구가 상호작용성과 작가 주도성 조건 모두에서 이해에 유의한 조절효과를 보였다. 그 외 몰입, 회상과 총 사용시간에 대한 주효과, 그리고 주제 관심도에 대한 조절효과는 유의한 결과를 보이지 않았다. 본 연구는 내러티브 시각화의 내재적인 특성을 이야기 구조에서 찾고, 이를 실제 디자인 프로세스를 통해 구체화하여 그 스토리텔링 효과를 정량적으로 측정하고자 시도했다는 점에서 시각화 디자이너와 시각화 툴 개발자에게 함의를 줄 것으로 예상된다.

Bridging the Gap Between Theory and Practice Through Data- and Task-Based Visualization Recommendation Systems

Pandey, Aditeya ProQuest Dissertations & Theses Northeastern Unive 2022 해외박사(DDOD)

Data visualization plays a critical role in data analysis and information dissemination. An essential step in the data visualization pipeline is mapping data and task requirements to appropriate visualization techniques. However, this step is prone to errors because it requires visualization creators to be familiar with a substantial body of visualization design guidelines and best practices. This dissertation aims to mitigate the challenges associated with the visualization design process by building systems and curating design guidelines that can support visualization practitioners in choosing appropriate visualization techniques based on their data and task requirements.This dissertation is composed of four parts. The first part of the dissertation presents two visualization design studies: CerebroVis and Portola. These studies led to the creation of tree and network visualizations that solve critical domain problems in medical diagnosis and cybersecurity. Through these studies, the dissertation motivates the need for resources to help visualization creators in mapping data and task requirements to visual encodings. The second part of the dissertation contributes a task abstraction framework for tree visualizations which supports visualization designers to more specifically abstract the goals of their users and better understand their data analysis needs. The framework also enables visualization researchers to systematically and exhaustively curate task-based design guidelines for tree visualizations. The third part of the dissertation contributes visualization design guidelines for glyph visualizations, timelines, and tree visualization. In addition to the guidelines, this part also discusses the challenges of curating design guidelines from existing empirical research and potential ways to overcome the challenges. Finally, the last part of the dissertation presents three data- and task-based visualization recommendation systems which put the theory into practice: GenoREC, NESTED, and MEDLEY. GenoREC is a domain-specific visualization recommendation system designed to support genomics analysts. GenoREC uses a knowledge-based approach to recommend domain-specific genomics visualization based on the common data formats and analysis tasks in genomics. NESTED supports visualization creators by recommending the appropriate tree visualization technique, corresponding interaction, and supporting widgets to analyze hierarchical data. Finally, MEDLEY presents a mixed-initiative interface that assists in dashboard composition by recommending dashboard collections (i.e., a logically grouped set of views and filtering widgets) that map to specific analytical intents. Contributions of this thesis pave the way for future work that can extend information visualization theory and bridge the gap between theory and practice by providing users with visualization recommendation tools and systems.

A Study on the Impact of Scent Imagery Visualization in Packaging Graphic Design on Chinese Consumer Purchase Intentions Based on Crossmodal Correspondences : Focused on the Graphic Design of Traditional Chinese Incense Products Packaging

LI SIHAO 세종대학교 대학원 2025 국내박사

In recent years, the global consumer landscape has undergone profound changes, giving rise to the “olfactory economy” as a new consumption trend that is rapidly gaining momentum in the Chinese market. As consumer culture and sensory economics increasingly converge, scent, as a non-verbal and emotionally charged symbol, is becoming a vital perceptual medium in brand communication and product design. Traditional Chinese incense, with its deep cultural roots and distinctive sensory qualities, is emerging as a key growth sector within this trend. With a history spanning centuries, Chinese incense culture permeates various aspects of life, embodying aesthetics, spirituality, and cultural identity. Its unique scent imagery fosters multisensory connections and emotional resonance. In the post-pandemic era, consumers’ growing demands for emotional healing, physical and mental well-being, and personalized experiences have made traditional incense products, with their unique olfactory experiences and cultural significance, well-positioned to meet the pursuit of “self- pleasure” value and quality of life, demonstrating significant market potential. This is particularly evident under the influence of the revival of national cultural trends and the widespread adoption of wellness concepts, which have brought traditional incense products back into the public eye, positioning them as key vehicles for emotional marketing and olfactory consumption. However, despite the notable cultural value and market potential of traditional incense products, they still face numerous challenges in market promotion. Many incense brands lack distinctive marketing strategies, which results in product homogenization and diminished consumer interest. Packaging design, as a vital medium connecting products with consumers, plays an essential role in influencing purchasing decisions through visual communication. Nevertheless, current packaging for incense products tends to prioritize superficial aesthetics, without establishing a systematic visual language that reflects olfactory qualities. Consequently, the packaging often fails to accurately convey the sensory attributes of the scent, leading to a disconnect between visual design and the actual olfactory experience. This misalignment not only affects consumer decision-making but also hinders the broader development and market expansion of traditional incense products. Crossmodal correspondences, an emerging focus in perceptual psychology and design, provide a theoretical framework for addressing this challenge. This theory suggests that there exists a stable tendency for associations between different sensory channels, such as linking specific scents with colors, shapes, or textures. These associations are shaped by cognitive and emotional mechanisms, as well as by cultural, semantic, and individual perceptual factors. By visualizing scent imagery through design, it is possible to enhance consumer perception, foster deeper emotional engagement, and strengthen brand identity. Although existing research has confirmed the existence of such correspondences, particularly between the senses of scent and vision, most studies remain at a theoretical level and lack practical design strategies or analytical models for understanding consumer behavior. This gap is particularly evident in the field of traditional Chinese incense, where the cultural metaphors, emotional imagery, and aesthetic cognition embedded in scents constitute a highly promising design resource. There is an urgent need to visualize and structure these elements through interdisciplinary approaches and integrate them into modern packaging design processes. In this context, this study aims to systematically explore the associations and mapping mechanisms between the scents of traditional Chinese incense products and visual elements, based on the theory of crossmodal correspondences. It seeks to develop a design method for scent imagery visualization and empirically validate its impact on consumer satisfaction and purchase intention, thereby optimizing sensory experiences, enhancing the market competitiveness of traditional incense products, and addressing the research gap in this field. To achieve the objectives, this study first conducted a literature review to systematically examine theories related to crossmodal correspondences, the crossmodal relationship between olfaction and vision, and packaging design and consumer behavior. This process clarified the association patterns between scents and visual elements as well as their influencing factors, and through case analysis, identified five methods for expressing scent imagery visualization, laying a theoretical foundation for subsequent design. Secondly, the study employed focus groups and questionnaire surveys to construct a scent evaluation language system for traditional Chinese incense, analyzing the dimensions of scent imagery perception evaluation for traditional Chinese incense. Thirdly, experiments were conducted to evaluate the scent imagery of ten representative scent types, exploring the crossmodal correspondences between different scent types and colors, shapes, and associated imagery. Fourthly, a consumer survey was conducted to assess the purchase intention for the existing packaging designs of 10 sample products, identifying the target for optimization. Subsequently, based on the experimental results and scent visualization strategies, five design proposals were developed for the optimization target. Finally, based on the S-O-R model, research hypotheses were proposed, and a questionnaire survey was conducted. Structural Equation Modeling (SEM) and repeated measures analysis of variance were used to validate the impact of the optimized designs on consumer satisfaction and purchase intention. The main findings based on the research questions are as follows. Firstly, the study confirms the existence of stable crossmodal correspondences between scents and visual elements (including color, shape, and associated imagery), which are influenced by multiple factors such as perceptual consistency, emotions, cultural background, and individual experiences. Through case analysis, the study identifies five methods for expressing scent imagery visualization: realistic representation, abstract symbols, abstract graphics, situational imagery, and cultural symbol integration. These methods not only provide theoretical guidance for the packaging design of traditional incense products but also offer new perspectives for the diversified application of crossmodal design strategies. Secondly, through literature review, it was found that visual elements in packaging design significantly influence consumers’ sensory experiences and purchasing behavior through crossmodal correspondences and emotional resonance. This study, based on the S-O-R model, validates the positive impact of color, graphics, and font style in packaging design on consumer satisfaction and purchase intention, while also revealing the partial mediating role of satisfaction. This indicates that visual elements not only directly shape purchasing decisions but also exert an indirect influence through emotional responses. This finding deepens the understanding of the role of packaging design in sensory marketing and provides a new theoretical perspective for consumer behavior research. Thirdly, targeting consumers in northern China, the study evaluated the scent imagery perception of traditional Chinese incense, covering three dimensions: color, shape, and associated imagery. The experimental results reveal significant differences in visual elements across different scent types. Specifically, there is a non-random correspondence between scent types and color hues and tones. Fruity type, creamy type, and osmanthus-scented type correspond to high-brightness warm tones; oceanic type is associated with low-brightness cool tones; cypress-scented type, grassy type, tea- scented type, and woody type align with natural colors such as green; powdery type is often linked to purple, purple-red, and yellow, while herbal type exhibits warm but darker tones. Unlike previous studies, this research also measured the matching of scents with achromatic colors. Additionally, the study found significant gender differences in scent-color matching. On the other hand, different scent types also exhibit stable crossmodal correspondences in the shape perception dimension. Scents of fruity type, creamy type, osmanthus-scented type, and powdery type are more associated with rounded shapes, whereas herbal type, woody type, grassy type, and tea-scented type correspond to angular shapes. The oceanic type and cypress-scented type show no distinct shape preference. Furthermore, the correspondence between scent and shape is influenced by emotions, with more pleasant scents often linked to rounded shapes and stronger scents associated with angular shapes. Moreover, the scents of different types can evoke diverse and specific imagery, including natural imagery, cultural symbols, concrete objects, and abstract emotions, reflecting the uniqueness of consumer perceptions in the Chinese cultural context. Fourthly, the analysis revealed that existing traditional incense packaging often exhibits a “perceptual disconnect.” Through a consumer survey, the study found that among the 10 sample products, the incense packaging of “Jinwanglai·Hui’an Chenxiang” (woody type) ranked the lowest in scent association, satisfaction, and purchase intention, indicating an urgent need for optimization. Based on this, the study proposed a comprehensive visualization strategy to improve the design. Finally, the results of the market consumer questionnaire survey show that the five optimized design proposals, based on scent imagery visualization, significantly enhanced consumer satisfaction and purchase intention. Among them, the strategies of cultural symbol integration and situational expression performed the best. The optimized designs, through multidimensional integration of visual elements, successfully strengthened scent association and emotional resonance, validating the effectiveness of the scent visualization design approach. This study not only deepens the application of crossmodal correspondence theory in sensory marketing but also constructs a systematic scent visualization design method through interdisciplinary integration, providing scientific guidance for innovative packaging design of traditional incense products and offering valuable insights for industry development and sensory marketing research.

프랙탈 트리를 활용한 실내 공기질의 종합적 시각화

최명환 서울과학기술대학교 대학원 2020 국내석사

실내 거주자의 삶의 질에 영향을 끼치는 실내 공기질 정보는 다차원적이다. 실내 공기질을 이루는 구성 요소는 온도, 습도, 미세먼지 등으로 다양하다. 이에 더해, 이들 구성요소는 위치와 시간에 따라 유의미한 차이를 보인다. 다차원적인 실내 공기질을 표현하는 기존의 방법들은 대부분 분석적으로 표, 그래프, 수치 등을 활용하고 있다. 최근 들어, 다차원적인 정보의 시각화의 중요성이 대두되면서, 실내 공기질을 표현하는데 데이터 시각화와 같은 기법들을 활용하기 위한 연구들이 시도되고 있다. 본 연구는 다차원적인 실내 공기질을 시각화하기 위한 연구로, 데이터 시각화와 미디어 아트 중 프랙탈 트리 기법을 활용하여 실내 공기질의 종합적 시각화 방안을 제안하고자 한다. 이를 위해 본 연구에서는 데이터 시각화에 대해 분석하였으며, 데이터 시각화 요소와 시각화 방안을 바탕으로 실내 공기질 시각화 가이드라인을 설정하고 프랙탈 트리를 활용한 시각화 알고리즘을 실내 공기질의 종합적 시각화 방안으로 선택하였다. 프랙탈 트리를 활용한 시각화 알고리즘은 미디어 아트 등에서 활용되는 프로세싱 언어를 활용해 구현하였다. 프랙탈 트리를 활용한 시각화 알고리즘을 구현하기 위해 실내 공기질을 매개변수화 하였으며, 프랙탈 트리의 시각적 요소들을 매개변수화 하였다. 매개변수화 된 실내 공기질을 프랙탈 트리에 맵핑하여 프랙탈 트리를 활용한 시각화 알고리즘을 구현하였다. 한편 프랙탈 트리를 활용한 시각화 알고리즘의 적정성을 확인하기 위하여 실험을 진행하였다. 실험결과, 시각화 알고리즘으로 생성한 시각화 결과물을 통해 실내 공기질을 적절하게 유추하는 경향성을 보였다. 다만 몇몇 경우에 있어 예외가 발생하였기 때문에 이를 보완하는 과정 또한 필요할 것이다. 본 연구를 통해 제안한 실내 공기질 시각화 방안은, 다차원적인 실내 공기질 정보를 거주자가 종합적으로 파악하는 데 도움을 줄 것이다. 시각화 방안을 만들기 위해 제시한 프랙탈 트리 시각화 알고리즘은, 실내 공기질 뿐만 아니라 다양한 분야의 시각화에서 활용될 수 있을 것으로 기대한다. 또한 실내 공기질을 활용한 미디어 아트를 제작하는 데 있어 본 연구를 활용할 수 있을 것으로 기대한다. Indoor air quality (IAQ) consists of various factors such as temperature, humidity, and micro dust, which varies depending on location and time. The IAQ is multi-dimensional information that is mainly represented analytically using tables, graphs, and figures. Recent studies have attempted to apply data visualization and media art techniques to effectively represent multi-dimensional information. This study proposes a comprehensive visual representation rather than analytical representations to express IAQ. The proposed visual representation uses fractal trees, and employs data visualization and media art techniques for effective visualization.   To this, this study analyzes data visualization. Based on the data visualization elements and visualization methods, IAQ visualization guidelines were set, and a visualization algorithm using fractal trees was selected as a comprehensive visualization method for IAQ.   Visualization algorithm using fractal tree is implemented by using processing language. To implement algorithm, this study parameterized IAQ and fractal tree, and mapping them. Experimental results show that a significant association between the IAQ and user's response to visualization.   The proposed IAQ visualization method will help residents to comprehensively grasp multidimensional IAQ. The fractal tree visualization algorithm proposed to make the visualization is expected to be used not only for IAQ but also for various fields of visualization. It is also expected that this research can be used to produce media arts using IAQ.

(A) Study on Data Visualization Utilizing Tree Structure in 3D Space

Kirisci, Daghan 서울대학교 대학원 2019 국내박사

Speculative visualization combines both data visualization methods and aesthetics to draw attention to specific social, political and environmental issues. The speculative data visualization project proposed in this work explores electronic waste trade and the environmental performance of various nations. Illegal trading of electronic waste without proper disposal and recycling measures has a severe impact on both human health and the environment. This trade can be represented as a network data structure. The overall environmental health and ecosystem vitality of those trading countries, represented by their Environmental Performance Index (EPI), can also give greater insight into this issue. This EPI data has a hierarchical structure. This work explores methods to visualize these two data sets simultaneously in a manner that allows for analytical exploration of the data while communicating its underlying meaning. This project-based design research specifically focuses on visualizing hierarchical datasets with a node-link type tree structure and suggests a novel data visualization method, called the “data garden”, to visualize these hierarchical datasets within a spatial network. This draws inspiration from networks found between trees in nature. This is applied to the illegal e-waste trade and environmental datasets to provoke discussion, provide a holistic understanding and improve the people’s awareness on these issues. This uses both analytical data visualization techniques, along with a more aesthetic approach. The “data garden” approach is used to create a 3D interactive data visualization that users can use to navigate and explore the data in a meaningful way while also providing an emotional connection to the subject. This is due to the ability of the “data garden” approach to accurately show the underlying data while also closely mimicking natural structures. The visualization project intends to encourage creative professionals to create both visually appealing and thought-provoking data visualizations on significant issues that can reach a mass audience and improve awareness of citizens. Additionally, this design research intends to cause further discussion on the role of aesthetics and creative practices in data visualizations. 사변적 시각화(speculative visualization)는 데이터 시각화 방법과 미학을 결합하여 특정한 사회, 정치 및 환경 문제에 관심을 유도하는 것입니다. 제안한 사변적 데이터 시각화 프로젝트를 통해 다양한 국가의 전자 폐기물 거래와 환경 성과를 살펴봅니다. 적절한 처리와 재활용 조치가 이뤄지지 않은 전자폐기물의 불법 거래는 환경과 인간에 심각한 영향을 미칩니다. 이 거래는 네트워크 데이터 구조로 표현할 수 있습니다. 환경성과지수(EPI)를 통해 이 거래에 참여하는 국가들의 전반적인 환경 보건과 생태계 활력을 살펴보는 것은 이 문제에 더 깊은 통찰력을 제공할 수 있습니다. 이 환경성과지수는 계층 구조로 되어 있습니다. 이 연구는 데이터를 분석적으로 탐구할 수 있도록 하는 방법을 통해 두 가지 데이터를 동시에 시각화하고, 이를 통해 표면에 드러나지 않는 데이터의 의미를 전달하는 방법을 탐구합니다. 본 연구는 프로젝트를 기반으로 하는 디자인 연구로, 노드 링크 유형 트리 구조를 통해 계층적 데이터를 시각화하는 것에 중점을 두고 있습니다. 자연에서 발견할 수 있는 나무 간 네트워크에서 영감을 얻어 공간 네트워크에서 계층적 데이터 세트를 시각화합니다. “데이터 정원”이라고 하는 이 새로운 데이터 시각화 방법을 불법 전자 폐기물 거래와 환경 데이터에 적용하여 토론을 유발하고 전체적인 이해를 제공하며 이러한 문제에 대한 사람들의 인식을 개선하고자 합니다. 이는 보다 미적인 접근과 분석적 데이터 시각화 기술을 모두 사용합니다. “데이터 정원”을 통한 접근으로 삼차원 대화형 데이터 시각화를 만들 수 있습니다. 이 시각화를 통해 사용자는 데이터를 의미 있는 방식으로 살펴보는 동시에 주제와 감성적인 연결을 받을 수 있습니다. 이는 “데이터 정원” 방법이 데이터를 정확하게 보여주는 동시에 자연 구조를 면밀하게 모방하기 때문입니다. 본 시각화 프로젝트는 창의적인 전문가들이 중요한 문제에 대해 시각적으로 매력적이고 생각을 자극하는 데이터 시각화를 만들어 대중에게 도달하고 시민들의 인식을 향상할 수 있도록 권장합니다. 또한, 본 디자인 연구는 데이터 시각화에서 미학과 창조적인 실천의 역할에 대한 더 많은 논의를 유도하고자 합니다.

동적 데이터 시각화에 대한 상호 작용 및 애니메이션의 시너지 효과 탐구에 관한 연구 : 정보 전송 및 사용자 경험에 미치는 영향을 중심으로

ZHANG BONING 국민대학교 테크노디자인전문대학원 2023 국내박사