멀티모달 인터페이스 개발을 위한 휴먼-컴퓨터 인터랙션 설계

국문 초록 (Abstract)

멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다.
멀티모달 인터페이스는 인간과 컴퓨터 인터랙션 과정에서 동시 여러 모달리티의 입출력을 허용하며 다수의 모달리티의 조합과 입력 신호 통합해석 등을 통해 상호 의사교환을 한다. 모달리티(Modality)란 인터랙션 과정에서 사용되는 커뮤니케이션 채널을 의미한다.
현재 시스템에서 휴먼-컴퓨터 인터랙션은 한 번에 한 가지 사용자 입력을 허용하기 때문에 하나의 오브젝트가 활성화되면 다른 오브젝트들은 모두 비활성화되어 두 개 이상의 오브젝트의 동시적 입력이 불가능하다. 그러나 멀티모달 인터페이스에서는 청각이나 촉각 등의 모달리티 입력은 동시 입력이 가능하여 여러 프로세스의 동시적 제어가 가능하다.
본 연구에서는 멀티모달 병렬입력을 효율적으로 설계하기 위해 Dual-Task 및 병렬 정보 처리와 관련한 인간의 주의(attention) 작용에 대해 살펴보고 생리학적, 인지학적, 심리학적 관점에서 고려해야 할 멀티모달 인터페이스 요구사항에 대해 살펴본다.
또한 W3C(월드와이드웹컨소시엄)와 ETSI(유럽표준화기구)에서 발표한 표준화 문서들을 바탕으로 멀티모달 인터랙션 프레임워크에서 고려되어야 할 시스템적 요구사항과 관련 기술들을 분석하고 입출력 모달리티들에 대한 특징들을 조사한다. 그리고 표준화 내용을 바탕으로 멀티모달 인터페이스와 관련한 모달리티 결합방법과 입력문법, 동기화 방법, 멀티모달 메타포, 화면 출력 형식 등을 설계한다. 멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다.
멀티모달 인터페이스는 인간과 컴퓨터 인터랙션 과정에서 동시 여러 모달리티의 입출력을 허용하며 다수의 모달리티의 조합과 입력 신호 통합해석 등을 통해 상호 의사교환을 한다. 모달리티(Modality)란 인터랙션 과정에서 사용되는 커뮤니케이션 채널을 의미한다.
현재 시스템에서 휴먼-컴퓨터 인터랙션은 한 번에 한 가지 사용자 입력을 허용하기 때문에 하나의 오브젝트가 활성화되면 다른 오브젝트들은 모두 비활성화되어 두 개 이상의 오브젝트의 동시적 입력이 불가능하다. 그러나 멀티모달 인터페이스에서는 청각이나 촉각 등의 모달리티 입력은 동시 입력이 가능하여 여러 프로세스의 동시적 제어가 가능하다.
본 연구에서는 멀티모달 병렬입력을 효율적으로 설계하기 위해 Dual-Task 및 병렬 정보 처리와 관련한 인간의 주의(attention) 작용에 대해 살펴보고 생리학적, 인지학적, 심리학적 관점에서 고려해야 할 멀티모달 인터페이스 요구사항에 대해 살펴본다.
또한 W3C(월드와이드웹컨소시엄)와 ETSI(유럽표준화기구)에서 발표한 표준화 문서들을 바탕으로 멀티모달 인터랙션 프레임워크에서 고려되어야 할 시스템적 요구사항과 관련 기술들을 분석하고 입출력 모달리티들에 대한 특징들을 조사한다. 그리고 표준화 내용을 바탕으로 멀티모달 인터페이스와 관련한 모달리티 결합방법과 입력문법, 동기화 방법, 멀티모달 메타포, 화면 출력 형식 등을 설계한다.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구 배경 1
• 제2절 기존 연구 5
• 제3절 연구 목표 10
• 제2장 멀티모달 인터랙션과 인지구조 모델링 12
• 제1절 멀티모달 인터랙션 모델링 12
• 제2절 인간 정보 처리 모형 17
• 제3절 생리심리학적 분석 20
• 제4절 병렬 작업과 관련한 지각과 주의 작용 31
• 제3장 멀티모달 인터페이스 시스템 구조 설계 37
• 제1절 멀티모달 인터페이스 시스템 프레임워크 37
• 제1항 Input Components 38
• 제2항 Output Components 41
• 제3항 Interaction Manager 42
• 제4항 Session Component 42
• 제5항 System & Environment Component 43
• 제2절 멀티모달 인터페이스 관련 기술 정의 45
• 제3절 멀티모달 인터페이스 설계 요구사항 47
• 제1항 일반 요구 사항 47
• 제2항 입력 모달리티 요구사항 47
• 제3항 출력 모달리티 요구사항 49
• 제4장 멀티모달 인터페이스 사용자 입력 설계 50
• 제1절 입력 모달리티 분석 50
• 제2절 입력 모달리티의 결합 55
• 제3절 이중 작업과 이중 부호화 57
• 제4절 멀티모달 입력 문법 61
• 제5절 다자간 커뮤니케이션 모형 66
• 제6절 입력 통합 및 동기화 69
• 제1항 입력 통합 69
• 제2항 Dual-Prompt 70
• 제3항 Multi-Layered Input 71
• 제4항 통합 패턴과 동기화 레벨 71
• 제7절 에러방지와 입력 모달리티 전환 72
• 제5장 멀티모달 인터페이스 화면 출력 설계 73
• 제1절 출력 모달리티 분석 73
• 제2절 출력 모달리티 전환 74
• 제3절 대화형 인터페이스 76
• 제4절 멀티모달 인터랙션 스타일 77
• 제6장 3D 오브젝트 기반 멀티모달 인터페이스 프로토타입 설계 81
• 제1절 설계 프로세스 81
• 제2절 정보 설계 81
• 제3절 인터랙션 설계 84
• 제4절 프레젠테이션 설계 86
• 제5절 입력 설계 88
• 제7장 토론 및 향후 연구 89
• 제1절 멀티모달 인터페이스 사용성 평가 89
• 제2절 인터랙션 매니저 89
• 제8장 참고 문헌 90