단서와 표적 자극의 의미적 일치성이 양상 변화 효과에 미치는 영향 = Influences of Semantic Congruence of Cue and Target Stimuli on Modality Shift Effect

다국어 초록 (Multilingual Abstract)

The study examined the effects of semantic congruence of cue and target stimuli on modality shift effect(MSE). We measured the correct response time of target when digits 1, 2, 3, and 4 were presented as visual and auditory cues and targets. The results showed that in both Experiment 1 and 2 with different ISI between cue and target, the visual dominance effect was revealed, while the modality shift effect changed according to different ISI and semantic congruence of cue and target. In condition of short ISI, the modality shift effect was found when cue was congruent with target semantically, but the reverse modality shift effect was found when cue was incongruent with target semantically. In condition of long ISI, however, the modality shift effect took place in the semantically congruent condition but in the semantically incongruent condition, the modality shift effect disappeared. It was suggested that the visual information would be dominant over auditory information and that the original and reverse modality shift effect could be modulated by the semantic congruence conditions of cue and target stimuli. Besides, if cue was congruent with target semantically, modality shift effect remained in spite of ISI, no matter how ISI was short or long.

국문 초록 (Abstract)

본 연구는 단서와 표적 자극의 의미적 일치성이 양상 변화 효과(modality shift effect)에 미치는 영향을 살펴보고자, 1부터 4까지 네 개의 숫자를 각각 시각 또는 청각 단서 및 표적 자극으로 구성하여 표적 자극에 대한 정확 반응 시간을 측정하였다. 그 결과, 단서와 표적 자극의 ISI를 달리한 실험 1과 실험 2에서 모두 표적 자극의 시각 우세성 효과는 동일하게 나타났으며, ISI와 의미적 일치성에 따라 양상 변화 효과는 서로 다른 결과가 제시되었다. 즉 ISI가 짧은 경우에 단서와 표적 자극이 의미적으로 일치하는 조건에서는 양상 변화 효과가, 불일치하는 조건에서는 역 양상 변화 효과가 나타났다. 또한 ISI가 긴 경우에 단서와 표적 자극이 의미적으로 일치하는 조건에서는 동일하게 양상 변화 효과가 나타났으나, 불일치하는 조건에서는 양상 변화 효과가 나타나지 않았다. 이러한 결과는 시각 정보가 청각 정보에 비해 우세하며, 단서와 표적 자극의 의미적 일치성이 양상 변화 효과와 역 양상 변화 효과를 조절함을 시사한다. 또한 단서와 표적 자극이 의미적으로 일치하면 두 자극의 ISI가 길어지더라도 양상 변화 효과가 지속된다는 것을 시사한다.

참고문헌 (Reference)

1 김보성, "자극과 반응양상 부합성이 선택적 대상-기반 주의에 미치는 영향" 한국자료분석학회 10 (10): 819-831, 2008

2 김보성, "시각과 청각 정보의 의미적 일치성에 따른 시각 우세성 효과의 변화" 한국인지과학회 20 (20): 109-124, 2009

3 민윤기, "대상- 및 공간-기반 주의가 작업기억에 미치는 영향" 한국인지과학회 19 (19): 125-142, 2008

4 정진옥, "단서의 감각양상에 따른 시각탐색과제 수행의 차이" 한국자료분석학회 9 (9): 2521-2531, 2007

5 김보성, "다중 정보 제시 상황에서 공간, 시각, 청각 정보의 정보 양상 우세성 관계: 디스플레이와 제어장치 설계를 위한 함의" 한국인지및생물심리학회 20 (20): 95-107, 2008

6 Posner, M. I., "Visual dominance: An information -processing account of its origins and significance" 83 : 157-171, 1976

7 Sinnett, S., "Visual dominance and attention: The Colavita effect revisited" 69 : 673-686, 2007

8 Roadway,P, "The modality shift effect and the effectiveness of warning signals in different modalities" 120 : 199-226, 2005

9 Koppen, C., "Semantic congruency and the Colavita visual dominance effect" 184 : 533-546, 2008

10 Laurienti, P. J., "Semactic congruence is a critical factor in multisensory behavioral performance" 158 : 405-414, 2004

11 Egeth, H. E., "On the locus of visual dominance" 22 : 77-86, 1977

12 Spence, C., "On measuring selective attention to an expected sensory modality" 59 : 384-403, 1997

13 Turatto, M., "Nonspatial attentional shifts between audition and vision" 28 : 628-639, 2002

14 Molholm, S., "Multisensory visual-auditory object recognition in humans: A high-density electrical mapping study" 14 : 452-465, 2004

15 Gondan, M., "Modality shift effects mimic multisensory interactions: An event-related potential study" 182 : 199-214, 2007

16 Spence,C, "Audiovisual multisensory integration" 28 : 61-70, 2007

17 Boulter,L.R, "Attention and reaction times to signals of uncertain modality" 3 : 379-388, 1977

18 Moore, J. J., "Attention and processing capacity in auditory recognition" 99 : 49-54, 1973