Explicit neural modeling of feature context for image restoration and compression

김준혁 Graduate School, Yonsei University 2022 국내박사

우리는 이미지들로 가득 찬 세상에 살고 있으며, 따라서 그것들은 더 가치 있는 방식들로 표현될 필요가 있다. 최근, 딥러닝 기술 덕분에 사람이 이미지를 보고 해석하는 데 도움을 주는 기술(예를 들어, 이미지 복원)과 이미지의 원활한 저장과 통신을 위한 기술(예를 들어, 이미지 압축)이 크게 발전하고 있다. 이미지 처리 기술에서 이미지의 국소 영역별 효과적인 표현이 중요하다는 걸 감안해보면, 이러한 성공의 핵심 중 하나는 국소적 특징 추출에 특화된 구조를 갖는 컨볼루션 신경망의 도입이다. 그러나 역설적으로, 그러한 구조적 편향은 문맥 정보를 활용한 국소적 특징의 적응에 한계를 갖는다. 본 학위논문은 컨볼루션 신경망의 한계를 보완하기 위해 신경망을 통한 특징 문맥의 명시적 모델링에 대해 제안한다. 제안된 방법은 1) 국소적 및 전역적 문맥을 함께 고려한 문맥의 충분한 활용과 2) 서로 다른 국소적 기능들이 서로 다른 문맥을 활용하는 적응적 문맥 활용이라는 두 목표를 위해 특별히 설계된다. 구체적으로, 세부 정보를 추론하는 이미지 복원 및 이미지 내의 중복되는 정보를 줄이는 이미지 압축의 두 가지 문제가 다뤄진다. 첫째, 효과적인 학습 기반 이미지 초해상도를 위해 새로운 구조인 MAMNet이 제안된다. 향상된 국소적 특징들을 추출하기 위해서, MAMNet은 컨볼루션 특징들로부터 세 가지 유형의 정보를 활용함으로써 명시적으로 특징 문맥을 모델링한다: 1) 전역적 분산 풀링에 의해 요약된 채널별 전역적 문맥, 2) 채널 간 종속성, 그리고 3) 채널별 컨볼루션을 통한 채널별 국소적 문맥. 실험에 따르면 MAMNet은 상대적으로 적은 수의 매개 변수로 대부분의 최신 방법들을 능가한다. 둘째, 효과적인 학습 기반 이미지 압축을 위해 Informer라는 새로운 엔트로피 모델이 제안된다. 그것은 엔트로피 코딩에 사용될 국소적 특징들의 확률값을 정확하게 예측하기 위해서 특징 문맥을 명시적으로 모델링한다. 세 가지 유형의 정보가 컨볼루션 특징들로부터 포착된다: 1) 주의 메커니즘을 이용해 요약된 전역적 문맥, 2) 5x5 컨볼루션을 통한 이미 디코딩된 특징들로부터의 국소적 문맥, 그리고 3) 1x1 컨볼루션들로 추출된 모든 공간 위치에서의 채널 간 종속성. 실험에 따르면 Informer는 다양한 크기의 이미지들에 대해서 낮은 계산 복잡도를 가지면서 최신 방법들에 비해 더 좋은 압축 성능을 보인다. We live in a world full of images, and thus images need to be represented in more valuable ways. Recently, image processing technologies for human viewing and interpretation (e.g., image restoration) and for storage and communication (e.g., image compression) have made significant progress thanks to deep learning. Given the importance of effective representation for each local area in image processing, one of the keys to the success is the introduction of convolutional neural networks whose structure is specialized for extracting localized features due to its nature of local connectivity and weight sharing. Paradoxically, however, the structural biases also have limitations in adapting the localized features by utilizing their feature context, which is information contained in features of a larger spatial area than the local area of interest. This dissertation studies explicit neural modeling of feature context for complementing the limitations of convolutional neural networks. The proposed methods are specifically designed for two desired goals: 1) full utilization of contextual information by considering convolutional features across whole image area, and 2) adaptive utilization of contextual information, i.e., different localized features utilize different context. Two tasks are addressed: image restoration, inferring missing information and image compression, reducing redundant information. First, a novel multi-path adaptive modulation network (MAMNet) is proposed for learned image super-resolution. To extract improved localized features, MAMNet explicitly models feature context by capturing three types of information from convolutional features: 1) channel-specific global context summarized by global variance pooling, 2) inter-channel dependencies, and 3) channel-specific local context via a depth-wise convolution. As a result, MAMNet outperforms state-of-the-art methods with a relatively small number of parameters. Second, a novel entropy model called information Transformer (Informer) is proposed for learned image compression. It explicitly models feature context to accurately predict probability of localized features for entropy coding. Three types of information are captured from convolutional features: 1) global context summarized using an attention mechanism, 2) local context from previously decoded features via a 5x5 masked convolution, and 3) inter-channel dependencies at every spatial locations extracted by 1x1 convolutions. As a result, Informer improves compression efficiency over state-of-the-art methods with lower computational complexity for images of various sizes.

한국어 교육용 대화 시스템 개발을 위한 화행 판별 자질 연구

한지윤 연세대학교 대학원 2018 국내석사

The aim of this paper is to classify the dialogue act of user response utterances for the development of a dialogue system for Korean language education and to select what features are appropriate for efficiently discriminating such utterances. This paper proposes a dialogue tag set that classifies the learner's utterance intent to develop a chat bot dialog system designed to enable Korean learners to practice Korean conversation. In order to classify the utterances automatically according to these tag set, I examine what features are suitable for the conversation system made for Korean education among the discriminant features used in the previous research. For this purpose, a corpus for Korean language education was collected to annotate the discriminant features and dialogue act. Based on the annotated corpus, we selected the dialogue act tags that can be used in the dialogue system for Korean language education. Rather than the traditional linguistic works, the discriminant features were chosen for practical use in the dialogue system for practicing Korean conversation. In case of the discriminant features, the features that can be commonly used in both rules base – d automatic classification and statistics-based automatic classification are selected and analyzed. The first chapter presents the purpose and background of this study. After examining the discussions related to the speech, second chapter the scholarly works on the automatic classification method. Furthermore, this chapter analyze the corpus used in the previous research after summarizing the discriminant features used in the study. The third chapter provides the design and collection of dialog corpus to be used in the dialogue system for Korean language education. The fourth chapter analyses the collected response speech data. The conclusion part gives the results of this study and future issues. 본고의 연구 주제는 한국어 교육 목적의 대화 시스템 개발을 위하여 사용자 응답 발화의 화행을 분류하고, 이러한 화행을 효율적으로 판별하는 데 적합한 자질이 무엇인지를 선별하는 것이다. 본고는 한국어 학습자들이 한국어 회화를 연습할 수 있도록 고안된 챗봇 대화 시스템에 입력된 학습자의 발화 의도를 파악하고 분류하는 화행 표지 체계를 제안한다. 또한, 이러한 화행 표지에 맞춰 발화를 자동으로 분류하기 위하여 기존에 화행 자동 분류 연구에서 이용된 화행 판별 자질 중 한국어 교육 목적 대화 시스템에 적합한 자질이 무엇인지 검토한다. 이를 위하여 한국어 교육용 대화 말뭉치를 구축하여 화행과 화행 판별 자질을 주석하였다. 주석된 말뭉치를 바탕으로 한국어 교육 목적의 대화 시스템에서 활용 가능한 화행 표지를 선정하였고, 화행 판별 자질과 화행 간의 연관도를 검토하여 각 화행별로 유의미한 화행 판별 자질을 추출하였다. 화행 표지는 전통적인 언어학에서의 화행과는 별개로 한국어 회화를 연습하기 위한 대화 시스템에서 실용적으로 활용할 수 있는 표지를 선택하였다. 화행 판별 자질의 경우 규칙 기반 자동 분류 모델과 통계 기반 자동 분류 모두에서 공통으로 활용할 수 있는 자질을 선정하여 그 특성을 분석하였다. 서론에서는 본 연구의 목적과 배경, 의의에 대해서 논한다. 관련 연구에서는 화행과 관련된 논의를 살펴본 후, 화행 자동 분류 방식에 대한 연구의 흐름에 대해서 탐구하면서 이러한 연구에서 활용된 화행 판별자질에 대하여 정리한 뒤 기존의 연구에서 활용된 말뭉치에 대하여 분석한다. 3장에서는 한국어 교육 목적의 대화 시스템에서 사용될 대화 말뭉치의 설계와 구축에 대하여 논의하고 4장에서는 수집된 응답 발화 데이터를 분석하여 화행별로 유의미한 화행 판별 자질을 선별한다. 결론에서는 본 연구의 성과와 추후 과제에 대하여 논한다.

국립대학법인화 추진과정의 한·일간 비교연구

이문정 서울대학교 행정대학원 2006 국내석사

IA-BERT : context-aware sarcasm detection by incorporating incongruity attention layer for incongruity feature extraction

Ida Ayu Putu Ari Crisdayanti Sungkyunkwan university 2021 국내석사

Sarcasm is a form of figurative language that has been widely used to implicitly convey an opinion or for humorous purposes. Preliminary research has constantly tried to identify the sarcasm lying in a text directly from tokens within the text. However, it is insufficient because sarcasm does not have specific vocabularies as in polarized sentences. Especially in threads or discussions, sarcasm can be identified after getting the context information from previous replies or discussions. To this end, I propose IA-BERT, a classifier architecture that considers contextual information to identify incongruity features in sarcastic texts. IA-BERT is embedded with an incongruity attention layer that combines features extracted from the response alone and interactive features obtained from the context and the response sequence. The model leverages BERT pre-trained embedding and yields a performance improvement over the standard fine-tuned BERT classifier. IA-BERT also outperforms the sophisticated architecture of LCF-BERT in the accuracy and F1-score. 빈정거림은 불쾌한 발언을 암묵적으로 전달하기 위해 널리 사용되어 온 비유적 언어의 한 종류이다. 이전 연구에서는 문장 내 단어 기반으로 빈정거림을 식별하는 연구가 활발히 진행되었지만, 빈정거림 문장은 불쾌한 특정 어휘를 포함하고 있지 않기 때문에 단어 기반으로 빈정거림을 분류하기에는 어려운 문제가 있다. 빈정거림을 판단하기 위해서는 이전 대화나 답변에서 문맥 정보를 파악해야 한다. 이를 위해 본 연구에서는 빈정거림 문장에 있는 부조화 특징을 파악하기 위해 문맥적 정보를 고려하는 분류 모델, IA-BERT를 제안한다. IA-BERT는 응답 문장에서 추출한 특징과 문맥 및 응답에서 추출한 대화적 특징을 결합한 부조화 주의 계층이 포함되어 있다. IA-BERT는 기존 fine-tuned된 BERT 분류기에 비해 성능이 향상 된다. 또한 IA-BERT는 정확도와 F1-Score에서도 LCF-BERT보다 성능이 향상 된다.

A Study on the Development of Mathematical Modeling for Context-Aware System in Smart Space : A Study on the Development of Mathematical Modeling for Context-Aware System in Smart Space

후마윤 광운대학교 2016 국내박사

A smart space is deployed with several components that enable the sensing and control of the environment. We can classify smart space components in three categories: Measuring device (i.e. sensors), Controlled device (i.e. actuators, appliances) and Controller (i.e. server, gateway). In a smart space, users generally interact with various controlled devices according to their needs, and these interactions can be considered a dynamic-process state in controlled device side. The next states of the controlled devices can be described using the information of the current states of the controlled devices and information from the measuring devices; in terms of the smart space, its situation can be described according to the current states of controlled device. The characteristic of smart space including the infrastructure can be described by mathematical model. This mathematical model represents the environment of the smart space in response to the changes of the states of controlled device and inputs from measuring device. To design a controller and to provide services in smart space we need mathematical modeling. Mathematical modeling can be classified as deterministic model and probabilistic model based on the type of outcome they predict. In this paper, two different types of modeling for smart space are presented. Firstly, we will present a linear model based on state-space method. Secondly, two-layer probabilistic model based on Hidden Markov Model (HMM). In linear model a smart space is presented using a state equation, where the two coefficient matrices C and H need to be defined to model the smart space, and the coefficient matrix C is used to determine the states of the devices; similarly, the situation of the smart space is determined using coefficient H. There is always an element of chance or uncertainty involved in smart space which implies that there are possible alternate solutions. Probabilistic models (Bayesian network, Conditional Random Field (CRF), Hidden Markov Model (HMM), and Hidden Semi-Markov Model (HSMM)) are powerful tools for the representation and reasoning about the uncertainty. The proposed two-layer probabilistic model can handle the uncertainty in smart space. This model consists of two layers and is based on HMM. In two-layer Hidden Markov Model first layer switches one of the distributions among the available distributions from second layer based on the maximum joint probability. The performance of the proposed two-layer HMM are evaluated in terms of the activity recognition by using three real datasets, and the results are compare to those obtained with three well-known models: Naïve Bayes, CRF, and HMM. According to the results it is assumed that the proposed models achieve a significantly better recognition performance than the other three well-known models. An example of smart space is presented using linear model. The experimental results show that the outcomes using this linear model are same as logic rules. Using state-space based linear model the problem of the smart space is translated into linear algebraic equation which can be easily solve. In addition, control can be done easily using linear model by manipulating the matrix elements. Moreover, if the infrastructure of smart space is changed then it can be easily adopted because environmental factors are represented by matrix elements and the relation between every variable is expressed by the coefficient matrix.

지리적 관계를 이용한 공간데이터 셋의 객체매칭 방법론

김정옥 서울대학교 대학원 2011 국내박사

Multi-scale Texton 히스토그램을 이용한 DRF 기반의 물체 탐지 및 분류 기법

최형민 서울대학교 대학원 2009 국내석사

지리적 관계를 이용한 객체 매칭 프로세스의 개선 방안 연구

박재준 서울대학교 대학원 2011 국내석사

용어의 문맥 활용을 통한 자동 분류 성능 향상에 관한 연구

송성전 연세대학교 대학원 2012 국내석사

Risk-freemium : the bidirectional role of zero-price on consumer perception

박상규 Graduate School, Korea University 2016 국내석사

Freemium strategy has been the new dot-com of digital markets over the past decade. Many companies offer a free version with limited features of the product they are selling in an effort to generate trial and eventually convert free users in to paying customers. Despite the growing number of literature on the effectiveness of feature-limited freemium models, most of the research focused on the bottom line economic consequences at the aggregate level. The current article fills this gap by investigating the effect of the presence of a feature-limited free version on consumers’ judgments of the focal, paid version of the product and the cognitive processes underlying the influence. Specifically, offering a free option is proposed to have a bidirectional influence such that it can have either a positive influence on judgment by signaling safeness and confidence of its premium product, or a negative influence by deteriorating the uniqueness and audacity of its paid option. Five experiments provide converging evidence of the bidirectional influence, and also show that its directionality is determined primarily by risk perceptions and that the effect is mediated by anticipated regret. The results parallel the general consensus that the freemium strategy is beneficial, but they also identify an important sacrifice in value the company has to suffer and conditions in which going free may not be a panacea. 기능이 제한된 무료 버전의 제품을 제공하는 프리미엄 (Freemium) 전략은 디지털 시장에서 소비자를 매혹시키는 수단으로 빈번히 이용되어 왔다. 기업들은 이 전략을 통해 궁극적으로 고급화된 유료 제품 구매를 유도하는 데 초점을 맞추어 왔고, 기존 문헌 또한 계량적 접근을 근간으로 프리미엄 (Freemium) 전략의 경제적 효과를 검증하고자 노력하였다. 그러나 현재까지의 연구는 기업 이윤이라는 경제성에 주로 논점을 두어, 무료 제품이 소비자의 인식에 어떠한 영향을 미치는가에 대한 이해는 부족한 실정이다. 따라서 본 연구에서는 무료 제품의 존재 자체가 유료 제품 평가에 어떠한 영향을 미치는가를 입증하고자 한다. 본 연구는 총 다섯 개의 실험 연구를 통해 무료 제품의 제공이 기업의 유료 제품, 즉 본 제품에 양방향적 효과를 도출할 수 있다는 사실을 입증하였으며, 이 효과는 지각된 위험의 유무에 따라 조절될 수 있다는 사실 또한 도출되었다. 보다 구체적으로, 이 결과는 무료 제품의 존재가 본 제품에 대한 기업의 자신감 (confidence)을 통해 적은 위험도를 암시할 수 있다는 긍정적인 효과를 가져올 수 있는 반면, 본 제품의 독창성과 희소성이 감소할 수 있다는 부정적인 효과를 유발할 수 있다는 두 가지 인지 과정에 의한 것으로 밝혀졌다. 이와 같은 연구 결과를 통해 본 연구는 무료 제품의 존재가 기업의 궁극적 이윤뿐만 아니라 소비자의 인지와 제품 정보 처리에 영향을 미친다는 사실을 밝혀 기존의 무료 제품에 관련된 문헌 확장에 기여하였을 뿐 아니라, 이 효과의 조절변인 또한 입증하였다는 데 그 시사점이 있다.