http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
- 中文 을 입력하시려면 zhongwen을 입력하시고 space를누르시면됩니다.
- 北京 을 입력하시려면 beijing을 입력하시고 space를 누르시면 됩니다.
RISS 인기검색어
- 검색키워드
- 주제어 : 문서 기반 응답 생성 (검색결과 2 건)
- 무료
- 기관 내 무료
- 유료
-
SCA: Cross-Attention 지도 학습에 기반한 문서기반 응답 생성 모델의 성능 향상
최형준,나승훈,홍범석,한영섭,전병기 한국정보과학회 2024 정보과학회논문지 Vol.51 No.4
문서 기반 응답 생성은 소비자 상담이나 보험 설계와 같이 정확한 사실에 기반한 근거가 되는 문서를 검색한 후, 해당 문서를 통해 대화 응답을 생성하는 작업을 의미한다. 이번 연구에서는 응답 생성 모델이 입력된 문서로부터 답변 생성에 필요한 부분을 찾아내어 반영하는 능력을 향상시키기 위해 Supervised Cross-attention을 제시했다. 이는 디코더의 Cross-attention에 대해 Attention Supervision을 적용하는 것으로, 입력 문서 중 실제 답변 생성에 포함되어야 하는 정보인 레퍼런스에 해당하는 부분에 Cross-attention 가중치가 집중되도록 지도학습 과정을 추가하는 것이다. 이 방법과 추가적인 성능 향상 방법을 도입한 결과 기존 SOTA 대비 F1 지표에서 1.13의 성능 향상을 확인하였고, Supervised Cross-attention을 통해 0.25의 성능 향상이 있었음을 확인했다. Document-grounded response generation is the task of aiming at generating conversational responses by “grounding” the factual evidence on task-specific domain, such as consumer consultation or insurance planning, where the evidence is obtained from the retrieved relevant documents in response to a user’s question under the current dialogue context. In this study, we propose supervised cross-attention (SCA) to enhance the ability of the response generation model to find and incorporate “response-salient snippets” (i.e., spans or contents), which are parts of the retrieved document that should be included and maintained in the actual answer generation. SCA utilizes the additional supervised loss that focuses cross-attention weights on the response-salient snippets, and this attention supervision likely enables a decoder to effectively generate a response in a “saliency-grounding” manner, by strongly attending to the important parts in the retrieved document. Experiment results on MultiDoc2Dial show that the use of SCA and additional performance improvement methods leads to the increase of 1.13 in F1 metric over the existing SOTA, and reveals that SCA leads to the increase of 0.25 in F1.
-
역번역 프로세스를 통한 문서 기반 대화 데이터셋 노이즈 축소 방법
김담린,김보은,장영진,김학수 한국정보과학회 2024 정보과학회논문지 Vol.51 No.1
Document Grounded Conversation is a conversation between two or more speakers based on a given document. Document-based dialogue systems are tasks that generate responses to the last utterance of dialogue, and various document-based dialogue datasets in English have been released and actively studied. Notably, There is no active research in Korean that has been conducted due to the absence of a document-based conversation dataset in Korean. While KoDoc2dial, which translates the English document-based conversation dataset Doc2dial into Korean, was recently released, it contains the noise generated during the translation process. The noise in the KoDoc2Dial should be reduced because noise-containing datasets can negatively affect training and system consistency aspects. In this paper, we propose a method for reducing the noise contained in the KoDoc2Dial through filtering using the reverse translation process. The results of the experiments showed that the method proposed in this paper had a performance improvement of about 3.6%p in SacreBLEU compared to before filtering.
연관 검색어 추천
이 검색어로 많이 본 자료
활용도 높은 자료
