물체 간 연관 관계 학습을 통한 문장으로부터 장면 생성 = Scene Generation from a Sentence by Learning Object Relation

다국어 초록 (Multilingual Abstract)

In communication between humans and machines, location information is crucial.
However, it is sometimes omitted. While humans can infer omitted information, machines cannot.
Thus, certain problems can occur when generating scenes from sentences. In order to solve this problem, previous studies have found an explicit relation in the sentence, then inferred an implicit relation by using prior probability. However, such methods are not suitable for Korean, as it has morphologically productivity. In this paper, we suggest a scene-generation method for Korean. Frist, we find an explicit relation by using an RNN-based artificial neural network. Then, to infer implicit information, we use the prior probability of relations. Finally, we prepare a scene tree with the obtained information, then generate a scene using that tree. In order to evaluate the scene generation, we measure the accuracy of the model dealing with the relationship and assign a human score to the generated scene. As a result, the method is proven to be effective with excellent performance and evaluation.

국문 초록 (Abstract)

사람과 기계가 소통할 때 위치 정보는 중요한 역할을 하지만, 때때로 문장에서 생략되어 나타난다. 사람은 생략된 정보를 배경 지식을 통해서 알 수 있지만, 기계는 그렇지 않은 경우가 많기 때문에 문장으로부터 장면을 생성한다면 올바른 장면을 생성하지 못 한다. 이러한 문제를 해결하기 위해 기존의 연구들은 주어진 문장에서 구분 분석 방식을 통해 명시적인 위치 관계를 추정하고 사전 확률들을 이용하여 생략된 정보를 복원하여 장면을 생성하였으나, 이는 형태론적 생산성과 자유로운 어순 등 구문 분석방식을 사용하기에 여러 문제가 있는 한국어 문장에 적용하기에는 많은 어려움이 있다. 따라서 본 논문에서는 한국어 문장으로부터 장면을 생성하는 방법을 제안한다. 먼저 주어진 문장에 명시적으로 나타난 물체 및 위치 관계를 추정하기 위해 RNN 기반의 신경망을 이용한다. 그 다음 물체 간 연관 관계에 대한 사전확률 값들을 학습하여 문장에서 생략된 정보를 추정한다. 추정된 물체 및 위치 정보를 사용하여 장면 트리를 구성하고 이를 통해 장면을 생성한다. 장면 생성에 대한 평가를 위해서 문장에 존재하는 연관 관계를 다루는 모델의 정확도를 측정하고 생성한 장면에 대한 평가를 수행하였다. 그 결과 구문 분석 기반 방식보다 약 25%의 성능 향상이 있어 제안한 방법이 효과적임을 증명하였다.

참고문헌 (Reference)

1 B. Coyne, "WordsEye : an automatic text-to-scene conversion system" 487-496, 2001

2 X. Mao, "Unpaired multi-domain image generation via regularized conditional GANs" 2553-2558, 2018

3 R. Zhang, "Split-brain autoencoders : Unsupervised learning by cross-channel prediction" 1 (1): 1058-1067, 2017

4 O. Vinyals, "Pointer Networks" 2674-2682, 2015

5 S. Reed, "Learning what and where to draw" 217-225, 2016

6 A. Chang, "Learning spatial knowledge for text to 3D scene generation" 2028-2038, 2014

7 P. Eunjeong, "KoNLPy: Korean natural language processing in Python" 2014

8 Shrout, "Intraclass correlations : uses in assessing rater reliability" 86 (86): 420-428, 1979

9 S. Hong, "Inferring semantic layout for hierarchical text-to-image synthesis"

10 I. Goodfellow, "Generative Adversarial Nets" 2672-2680, 2014

11 T. Chung, "Factors affecting the accuracy of Korean parsing" 49-57, 2010

12 M. Fisher, "Example-based synthesis of 3D object arrangements" 31 (31): 2012

13 L. Ma, "Disentangled person image generation" 99-108, 2018

14 T. Xu, "Attngan: Fine-grained text to image generation with attentional generative adversarial networks"