IA-BERT : context-aware sarcasm detection by incorporating incongruity attention layer for incongruity feature extraction

다국어 초록 (Multilingual Abstract)

Sarcasm is a form of figurative language that has been widely used to implicitly convey an opinion or for humorous purposes. Preliminary research has constantly tried to identify the sarcasm lying in a text directly from tokens within the text. However, it is insufficient because sarcasm does not have specific vocabularies as in polarized sentences. Especially in threads or discussions, sarcasm can be identified after getting the context information from previous replies or discussions. To this end, I propose IA-BERT, a classifier architecture that considers contextual information to identify incongruity features in sarcastic texts. IA-BERT is embedded with an incongruity attention layer that combines features extracted from the response alone and interactive features obtained from the context and the response sequence. The model leverages BERT pre-trained embedding and yields a performance improvement over the standard fine-tuned BERT classifier. IA-BERT also outperforms the sophisticated architecture of LCF-BERT in the accuracy and F1-score.

국문 초록 (Abstract)

빈정거림은 불쾌한 발언을 암묵적으로 전달하기 위해 널리 사용되어 온 비유적 언어의 한 종류이다. 이전 연구에서는 문장 내 단어 기반으로 빈정거림을 식별하는 연구가 활발히 진행되었지만, 빈정거림 문장은 불쾌한 특정 어휘를 포함하고 있지 않기 때문에 단어 기반으로 빈정거림을 분류하기에는 어려운 문제가 있다. 빈정거림을 판단하기 위해서는 이전 대화나 답변에서 문맥 정보를 파악해야 한다. 이를 위해 본 연구에서는 빈정거림 문장에 있는 부조화 특징을 파악하기 위해 문맥적 정보를 고려하는 분류 모델, IA-BERT를 제안한다. IA-BERT는 응답 문장에서 추출한 특징과 문맥 및 응답에서 추출한 대화적 특징을 결합한 부조화 주의 계층이 포함되어 있다. IA-BERT는 기존 fine-tuned된 BERT 분류기에 비해 성능이 향상 된다. 또한 IA-BERT는 정확도와 F1-Score에서도 LCF-BERT보다 성능이 향상 된다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1. Sarcasm as a figurative language 1
• 1.2. Motivation and contribution 2
• 1.3. Organization 5
• Chapter 2. Literature Review & Background 6
• 2.1. Literature review 6
• 2.2. Background 10
• 2.2.1 Preliminary study on the task 10
• 2.2.2 Token embedding 12
• 2.2.3 Attention mechanism 16
• Chapter 3. Proposed Method 21
• 3.1. BERT embedding layer 22
• 3.2. Response attention layer (RA) 22
• 3.3. Context-response attention layer (CRA) 24
• 3.4. Incongruity attention layer (IA) 25
• 3.5. Prediction layer 26
• Chapter 4. Experiments 27
• 4.1. Datasets and hyperparameters 27
• 4.2. Results and analysis 29
• 4.3. Qualitative analysis 33
• Chapter 5. Conclusion 37
• References 38