Prediction of multiple sources of mental workload under time pressure using ACT-R

다국어 초록 (Multilingual Abstract)

Mental workload is the most critical element in the design of new systems or interfaces because it heavily influences the overall performance of operators. Due to its complexity, direct measurement is challenging. Prediction models offer an alternative solution, enabling proactive adjustments to interfaces and training procedures before real-world deployment. Despite their advantages, current prediction models may not adequately address all major sources of mental workload. Also, they might fail to capture the impact of time pressure on information processing and workload.
This study proposes a mathematical method for quantitatively computing multiple sources of workload and reflecting the effect of time pressure with a cognitive architecture, Adaptive Control of Thought Rationale (ACT-R). Specifically, mathematical equations were developed to quantify each subscale of the National Aeronautics and Space Administration task load index (NASA-TLX) and the time pressure effect on information processing speed.
The proposed method not only successfully predicts each subscale of the NASA-TLX but also models the change of human performance and workload by time pressure. This study compared predicted values with actual performance times and subjective ratings from the NASA-TLX, gathered from participants in two experiments. The first experiment focused on task-related sources of mental workload using simple laboratory tasks, such as menu selection and visual-manual tasks. The second experiment expanded on the first by considering all sources of mental workload and incorporating the effect of time pressure using the Kanfer-Ackerman Air Traffic Control (KA-ATC) task.
In practical application, the proposed method offers a cost-effective alternative to traditional operator-in-the-loop assessments during the early stages of system design. It uses computer simulation, eliminating the need for prototypes and trained operators. Additionally, the method identifies specific workload bottlenecks within the operator. This allows for targeted interface adjustments. Furthermore, the method meets key criteria for mental workload measures, demonstrating sensitivity, diagnosticity, selectivity, and reliability.

국문 초록 (Abstract)

정신적 작업 부하는 작업자의 전반적인 성능에 큰 영향을 미치기 때문에 새로운 시스템이나 인터페이스 설계 시 가장 중요한 요소입니다. 하지만 정신적 작업 부하는 복합적이고 다양한 요소에 의해 영향을 받기에 직접적으로 측정하기 어렵습니다. 예측 모델은 이러한 문제에 대한 대안의 해결책이 될 수 있으며, 다양한 시나리오에 적용되어 실제 사용 환경에 투입되기 전에 시스템 및 인터페이스를 개선할 수 있는 기회를 제공합니다. 그럼에도 불구하고 현재 대부분의 예측 모델은 작업자의 정신적 작업 부하에 영향을 미치는 주요 속성들을 충분히 다루지 못하거나, 정보 처리 및 정신적 작업 부하에 큰 영향을 미치는 시간 압박의 영향을 제대로 반영하지 못합니다.
본 연구에서는 Adaptive Control of Thought Rationale (ACT-R) 인지 아키텍처를 사용하여 여러 작업 부하 원인을 정량적으로 계산하고 시간 압박의 영향을 반영하는 수학적 방법을 제안합니다. 구체적으로, National Aeronautics and Space Administration task load index (NASA-TLX)의 각 하위 척도와 정보 처리 속도에 대한 시간 압박 효과를 정량적으로 예측하기 위한 수학적 방정식을 개발했습니다.
실험을 통해 제안된 방법이 NASA-TLX의 각 하위 척도를 성공적으로 추정할 수 있을 뿐만 아니라 시간 압박에 따른 작업 수행시간과 정신적 작업 부하의 변화를 예측할 수 있다는 것을 보여주었습니다. 이 방법을 검증하기 위해 두 가지 실험을 수행했습니다. 첫 번째 실험은 단순 실험실 환경의 작업을 통해 정신적 작업 부하의 작업 관련 속성에 대한 검증에 중점을 두었습니다. 두 번째 실험은 Kanfer-Ackerman 항공 교통 관제 (KA-ATC) 작업을 사용하여 정신적 작업 부하의 모든 속성과 시간 압박 효과를 포함했습니다.
실용적인 측면에서, 본 연구에서 제안된 방법은 초기 시스템 설계 단계에서 전통적인 작업자 참여 평가에 대한 비용 효율적인 대안을 제공합니다. 컴퓨터 시뮬레이션을 기반으로 하여 프로토타입이나 훈련된 피험자가 필요하지 않습니다. 또한, 작업자의 정신적 부하가 어디에 집중되는지를 파악할 수 있으며, 이를 통해 인터페이스 조정 및 디자인 개선을 가능하게 합니다. 더불어, 제안된 방법은 민감도, 진단성, 선택성, 신뢰성과 같은 정신적 작업 부하 측정 지표의 주요 기준을 충족합니다.

목차 (Table of Contents)

• ABSTRACT i
• 국문 초록 iii
• ACKNOWLEDGMENTS vi
• TABLE OF CONTENTS vii
• LIST OF TABLES x
• LIST OF FIGURES xi
• CHAPTER 1. INTRODUCTION 1
• 1.1 Prediction models of mental workload 2
• 1.1.1 Advantages of prediction models 2
• 1.1.2 Requirements of prediction models 3
• 1.2 Previous prediction models of mental workload 5
• 1.3 Objective of this study 7
• 1.4 Structure of the remainder of the paper 8
• CHAPTER 2. LITERATURE REVIEW 9
• 2.1 ACT-R cognitive architecture 9
• 2.2 Theoretical accounts for predicting mental workload 12
• 2.2.1 Mathematical model of mental workload with ACT-R 12
• 2.2.2 Multidimensional nature of mental workload: NASA-TLX 14
• 2.2.3 Time pressure effects of performance and mental workload 18
• CHAPTER 3. MATHEMATICAL MODELS OF MULTIPLE SOURCES OF MENTAL WORKLOAD AND TIME PRESSURE EFFECT 20
• 3.1 Theoretical assumptions 20
• 3.2 Mathematical model 21
• 3.2.1 The average workload of each ACT-R module 21
• 3.2.2 Task-related sources of mental workload 22
• 3.2.3 Subjective sources of mental workload 23
• 3.2.4 Time pressure effect 25
• CHAPTER 4. EXPERIMENT 1 27
• 4.1 Participants and apparatus 27
• 4.2 Experimental design 28
• 4.2.1 Menu selection task 29
• 4.2.2 Visual-manual task 32
• 4.3 Procedure 34
• 4.4 Results and discussion 35
• 4.4.1 Performance time 35
• 4.4.2 Mental workload 38
• CHAPTER 5. EXPERIMENT 2 41
• 5.1 Participants and apparatus 41
• 5.2 Experimental design 42
• 5.3 ACT-R model 47
• 5.3.1 Moving task 48
• 5.3.2 Landing task 50
• 5.3.3 Parameters 55
• 5.4 Procedure 56
• 5.5 Results and discussion 58
• 5.5.1 Performance time 58
• 5.5.2 Mental workload 61
• CHAPTER 6. GENERAL DISCUSSIONS 64
• CHAPTER 7. CONCLUSION 68
• REFERENCES 69
• APPENDICES 77
• A. Menu selection task 77
• A.1 Three menus for a single alphabet 77
• A.2 Six menus for mental arithmetic 79
• B. Visual-manual task 82
• B.1 Three buttons without numbers 82
• B.2 Six buttons with numbers 83
• C. Kanfer Ackerman Air Traffic Control (KA-ATC) task 85
• C.1 Moving 85
• C.2 Landing 91