한국어 교육용 대화 시스템 개발을 위한 화행 판별 자질 연구

한지윤 연세대학교 대학원 2018 국내석사

The aim of this paper is to classify the dialogue act of user response utterances for the development of a dialogue system for Korean language education and to select what features are appropriate for efficiently discriminating such utterances. This paper proposes a dialogue tag set that classifies the learner's utterance intent to develop a chat bot dialog system designed to enable Korean learners to practice Korean conversation. In order to classify the utterances automatically according to these tag set, I examine what features are suitable for the conversation system made for Korean education among the discriminant features used in the previous research. For this purpose, a corpus for Korean language education was collected to annotate the discriminant features and dialogue act. Based on the annotated corpus, we selected the dialogue act tags that can be used in the dialogue system for Korean language education. Rather than the traditional linguistic works, the discriminant features were chosen for practical use in the dialogue system for practicing Korean conversation. In case of the discriminant features, the features that can be commonly used in both rules base – d automatic classification and statistics-based automatic classification are selected and analyzed. The first chapter presents the purpose and background of this study. After examining the discussions related to the speech, second chapter the scholarly works on the automatic classification method. Furthermore, this chapter analyze the corpus used in the previous research after summarizing the discriminant features used in the study. The third chapter provides the design and collection of dialog corpus to be used in the dialogue system for Korean language education. The fourth chapter analyses the collected response speech data. The conclusion part gives the results of this study and future issues. 본고의 연구 주제는 한국어 교육 목적의 대화 시스템 개발을 위하여 사용자 응답 발화의 화행을 분류하고, 이러한 화행을 효율적으로 판별하는 데 적합한 자질이 무엇인지를 선별하는 것이다. 본고는 한국어 학습자들이 한국어 회화를 연습할 수 있도록 고안된 챗봇 대화 시스템에 입력된 학습자의 발화 의도를 파악하고 분류하는 화행 표지 체계를 제안한다. 또한, 이러한 화행 표지에 맞춰 발화를 자동으로 분류하기 위하여 기존에 화행 자동 분류 연구에서 이용된 화행 판별 자질 중 한국어 교육 목적 대화 시스템에 적합한 자질이 무엇인지 검토한다. 이를 위하여 한국어 교육용 대화 말뭉치를 구축하여 화행과 화행 판별 자질을 주석하였다. 주석된 말뭉치를 바탕으로 한국어 교육 목적의 대화 시스템에서 활용 가능한 화행 표지를 선정하였고, 화행 판별 자질과 화행 간의 연관도를 검토하여 각 화행별로 유의미한 화행 판별 자질을 추출하였다. 화행 표지는 전통적인 언어학에서의 화행과는 별개로 한국어 회화를 연습하기 위한 대화 시스템에서 실용적으로 활용할 수 있는 표지를 선택하였다. 화행 판별 자질의 경우 규칙 기반 자동 분류 모델과 통계 기반 자동 분류 모두에서 공통으로 활용할 수 있는 자질을 선정하여 그 특성을 분석하였다. 서론에서는 본 연구의 목적과 배경, 의의에 대해서 논한다. 관련 연구에서는 화행과 관련된 논의를 살펴본 후, 화행 자동 분류 방식에 대한 연구의 흐름에 대해서 탐구하면서 이러한 연구에서 활용된 화행 판별자질에 대하여 정리한 뒤 기존의 연구에서 활용된 말뭉치에 대하여 분석한다. 3장에서는 한국어 교육 목적의 대화 시스템에서 사용될 대화 말뭉치의 설계와 구축에 대하여 논의하고 4장에서는 수집된 응답 발화 데이터를 분석하여 화행별로 유의미한 화행 판별 자질을 선별한다. 결론에서는 본 연구의 성과와 추후 과제에 대하여 논한다.

한국어 이유 표현의 유사 문법 교육 방안 연구

김정효 부산대학교 대학원 2024 국내박사

본 연구는 한국어 학습자가 이유 표현 유사 문법을 상황 맥락에 맞게 변별하여 사용할 수 있도록 교육 방안을 설계하는 것에 목적을 둔다. 한국어 이유 표현 중에서 ‘-아/어서’, ‘-(으)니까’, ‘-기 때문에’는 초급 단계에 연이어 제시되는 문법 항목으로서 중·고급 단계까지 사용 빈도가 높다. 하지만 변별적 차이를 밝히는 데 어려움이 많은 문법 항목이기 때문에 유사 문법 교육의 당위성을 갖는다. 이에 본 연구는 ‘-아/어서’, ‘-(으)니까’, ‘-기 때문에’를 대상으로 한국어 교재와 학습자 오류를 분석하고 집합적 사례 연구를 실시하여 유사 문법 교육 방안을 구축하고자 하였다. 한국어 교재 분석은 한국어 통합 교재 4종과 분리 교재 3종을 선정하여 유사 문법 교육의 측면에서 교재 내용을 검토하였다. 교재 분석의 결과, 다양한 담화 상황을 제시하여 문법적 쓰임을 익히고 유의미적 활동을 통해 변별적 차이를 학습할 수 있도록 교재를 구성하는 것이 필요하다. 그리고 유사 문법의 변별적 기준이 되는 문법적 특성을 명시적으로 설명해야 하는데 특히 화용적 특성에 대한 설명이 보완되어야 한다. 아울러 유사 문법의 차이를 교육할 수 있는 용례를 제시하여 교수·학습의 용이성을 도모할 필요가 있다. 학습자 오류 분석은 국립국어원의 학습자 오류 주석 말뭉치에서 ‘-아/어서’, ‘-(으)니까’, ‘-기 때문에’의 용례를 추출하여 대치 오류를 분석하였다. 그리고 학습자 언어권과 급수별로 오류 결과와의 연관성을 살피고 교육 방안을 제안하였다. 오류 분석의 결과, 중국어권, 영어권, 베트남어권, 일본어권 학습자의 오류 빈도가 높게 나타났다. 유사 문법 교육과 관련하여 중국어권 학습자에게는 유사 문법의 관용적 표현과 공손성, 화용적 특성을 중점적으로 교육해야 한다. 영어권 학습자에게는 격식성에 대한 교육이 필요하고 초급 단계부터 표현 문형을 인식하고 사용할 수 있도록 해야 한다. 베트남어권 학습자에게는 한국어 연결어미의 기능과 중요성에 대해 언급하고 연결어미 사용에 대한 교육을 적용해야 한다. 일본어권 학습자에게는 ‘-(으)니까’의 무분별한 사용을 지양하도록 하고 문어보다는 구어를 중심으로 ‘-아/어서’의 쓰임을 교육해야 한다. 집합적 사례 연구는 오류 빈도가 높게 나타난 언어권의 학습자를 대상으로 하였다. 유사 문법에 대한 참여자의 인식 양상을 살피고 참여자 과제, 진위형 판단 테스트, 선다형 담화 완성형 테스트1·2의 문항을 구성하여 면담을 진행하였다. 이를 통해 유사 문법을 변별하는 데 있어서 선택 기제가 되는 요인을 통사·의미·화용적 특성으로 나누어 살펴볼 수 있었다. 유사 문법 교육을 위해서는 문장 유형 제약과 선어말어미 제약에 대한 규칙성을 명확하게 전달해야 하고 연구자의 의견과 차이를 보였던 정보 초점성에 대해 교육할 필요가 있다. 그리고 관용 표현, 담화 참여자의 관계, 자주 호응하여 쓰이는 종결어미 등과 관련한 교육을 담화형 용례를 통해 할 수 있다. 사례 연구의 면담 결과를 바탕으로 본 연구는 나선형 교육과정과 플립 러닝(flipped learning) 수업 방식을 적용하여 초급과 중급 단계의 유사 문법 교육 방안을 설계하였다. 이는 학습자가 주도적으로 수업에 참여하여 유사 문법의 변별적 차이를 발견하고 의사소통 상황에서의 문법 사용을 직접 경험해 볼 수 있기 때문에 유사 문법을 변별하고 사용하는 것에 대한 내재화 작업이 이루어질 수 있다. 본 연구는 유사 문법 교육의 관점에서 한국어 교재를 조명하고 유사 문법 사용에 대한 오류 양상을 파악하여 오류 빈도가 높은 언어권 학습자의 유사 문법 변별 과정과 선택 기제를 도출하였다는 점에서 의의를 갖는다. 아울러 플립 러닝 수업 방식을 적용하여 초급과 중급 단계의 유사 문법 교육 내용을 제시하고 학습자 중심의 수업을 구안했다는 점에서 연구의 의의가 있다. 이와 더불어 유사 문법 교육을 위한 앞으로의 과제는 다음과 같다. 첫째, 학습 단계별 유사 문법 교육 내용이 본 연구의 면담 결과에 한정된 것이기 때문에 교육 내용의 위계화가 체계적으로 정립되기 위해서는 정교화된 검증의 과정이 필요하다. 둘째, 교육 내용의 체계화를 통해 목표 문법과 유사 문법을 교육할 수 있도록 명시적인 설명과 용례 제시가 집약적이고 조직적인 형태로 한국어 교재에 반영될 필요가 있다. 이를 위해서는 유사 문법을 교육할 수 있는 용례 작성의 원리가 구축되어야 할 것이다. 셋째, 상황 맥락에 맞는 적절한 의사소통을 위해서 유사 문법의 화용적 특성에 대한 방법적인 측면을 연구하고 교육을 확대할 필요가 있다. 넷째, 유사 문법을 변별하는 과정에서 문장 종결형과의 호응 관계가 영향을 주었는데 이에 대한 교육적인 적용 방안에 대해서는 심도 있는 후속 연구가 필요할 것으로 보인다. 다섯째, 유사 문법 교육을 위한 본 연구의 설계가 실제 교육 현장에 적용되지 못했기 때문에 교육의 효과를 검증하는 과정이 실현되어야 할 것이다. 이러한 점들은 유사 문법 교육과 관련한 앞으로의 지속적인 연구를 통해 해결될 수 있기를 기대한다. The purpose of this study is to design educational methods that enable Korean language learners to discriminate and use similar grammar expressions appropriately in various situational contexts. Among Korean reason expressions, ‘-aseo/eoseo’, ‘-(eu)nikka’, and ‘-gi ttaemune’ are grammar items frequently introduced at a beginner level and utilized fairly often up to intermediate and advanced levels. However, these grammar items pose challenges in distinguishing their differences, making it imperative to develop effective teaching methods for similar grammar. To address this, the study will construct effective educational methods for teaching these similar grammar structures by analyzing Korean language textbooks and learner errors related to ‘-aseo/eoseo’, ‘-(eu)nikka’, and ‘-gi ttaemune’ and researching collective case studies. The analysis of Korean textbooks involved reviewing the content of four integrated Korean textbooks and three separate textbooks from the perspective of similar grammar education. Based on the analysis of textbooks, it is necessary to structure the textbooks by providing various discourse situations to familiarize learners with grammatical usage and to learn discriminative differences through meaningful activities. It is also important to explicitly explain the grammatical features that serve as discriminative criteria, especially further enhancing explanations regarding pragmatic features. Furthermore, it is necessary to provide examples that illustrate the differences between similar grammatical structures to facilitate teaching and learning. The analysis of learner errors focused on extracting examples of ‘-aseo/eoseo’, ‘-(eu)nikka’, and ‘-gi ttaemune’ from the Korean Learners' Corpus Search Engine’s error- annotated corpus and replacement errors were analyzed. The study then examined the association between error results and learners' language backgrounds and proficiency levels, proposing educational strategies accordingly. The analysis revealed that learners from Chinese-speaking, English-speaking, Vietnamese-speaking, and Japanese-speaking backgrounds showed a high frequency of errors. For instance, regarding similar grammar education, Chinese-speaking learners should be prioritized for instruction on the idiomatic expressions, politeness, and pragmatic characteristics of similar grammar. English-speaking learners require education on formality, and they should be instructed to recognize and use sentence patterns from the beginner stages. Vietnamese-speaking learners should be informed about the function and importance of Korean connective endings, and educated on how to use them effectively. Vietnamese-speaking learners should be acquainted about the functions and importance of Korean connective endings, and instruction on those grammar points should be applied. Japanese-speaking learners should be cautioned against indiscriminate use of ‘-(eu)nikka’ and educated on the use of ‘-aseo/eoseo’ with a focus on spoken language rather than written language. A collective case study targeted learners from language backgrounds where error frequencies were observed to be high. Participant perceptions of similar grammar were examined, and interviews were conducted using participant tasks, "true/false" questions, and multiple choice discourse completion test 1 and 2. Through this, factors influencing the selection mechanism for discriminating similar grammar were categorized into syntactic, semantic, and pragmatic characteristics. For effective education on similar grammar, it is essential to clearly convey the regularities in constraints in sentence types and pre-final word endings. Additionally, it is crucial to provide guidance on determining the focus of information within a sentence, particularly which clause should be put information focus on, especially where there seem to have discrepancies from current researchers' studies. Furthermore, education related to idiomatic expressions, discourse participant relationships, and frequently used sentence endings in correspondence can be conducted through discourse-based examples. Based on the interview results of the case study, this study designed educational plans for similar grammar education at the beginner and intermediate levels by applying a spiral curriculum and flipped learning method. This approach allows learners to actively participate in the class, discover discriminative differences in similar grammar, and experience using grammar in communication situations, facilitating the internalization of similar grammar discrimination and usage. This study holds significance in shedding light on Korean language textbooks from the perspective of similar grammar education, and identifying patterns of errors in the use of similar grammar to derive the discriminative process and selection mechanism of learners from language backgrounds where error frequencies are high. Additionally, the study's significance lies in presenting educational content for similar grammar at the beginner and intermediate levels through the application of a flipped learning method and devising a learner-centered class. Thus, the future tasks for similar grammar education are as follows. First, since the educational content for similar grammar at different learning stages is limited to the interview results of this study, a meticulous validation process is necessary for systematic establishment of the hierarchical structure of educational content. Second, explicit explanations and examples to enable the instruction of target grammar and similar grammar should be integrated into Korean textbooks in a concise, organized manner through the systematization of educational content. Third, in order to facilitate appropriate communication within the situational context, there is a need to explore the methodological aspects of the pragmatic features of similar grammar and expand education in this area. Fourth, during the process of distinguishing similar grammar, the interaction with sentence-ending forms played a significant role. Therefore, in-depth follow-up research is deemed necessary to develop educational application strategies in response to this interaction. Fifth, since the design for teaching similar grammar has not yet been implemented in actual educational settings, it is crucial to establish a process for validating the effectiveness of education. These points highlight the importance of ongoing research in the field of similar grammar education to address these challenges.

Unsupervised 3D representation learning via part-whole contrast

이준협 Graduate School, Yonsei University 2022 국내박사

최근 3차원 포인트 클라우드에서 포인트별 주석을 부여하는 상당한 노력이 필요하 다는 점, 또는 충분히 큰 규모의 데이터셋이 없다는 문제점들을 해결하기 위해, 일반화된 3차원 특징 표현을 도출하기 위한 많은 시도들이 제안되었다. 특히, 이 문제를 해결하기 위해, 인스턴스 차별 기반 비지도 학습이 활용되고 있다. 이는 주석의 도움 없이 하나의 인스턴스에서 두 개의 서로 다르게 변형된 모습들을 비교하는 방식으로 사전학습에 활 용되며, 이렇게 학습된 모델을 다운스트림 단계에서 미세조정하여 성능을 향상시키는 방법이다. 하지만, 일반적으로 3차원 포인트 클라우드는 2차원 영상의 질감과 같은 다양 한 특징이 없다고 알려져 있다. 이러한 이유로, 대부분의 3차원 포인트 클라우드를 위한 딥러닝 네트워크 구조는 포인트들의 좌표 정보에 기반한 지질학적 정보를 특징점으로 활용한다는 한계점이 존재한다. 따라서, 포인트 클라우드로부터 일반화된 3차원 특징 표현력 또는 풍부한 특징 표현력을 생성하기 위해, 포인트 클라우드의 구조에 기반한 의미론적 정보를 내포할 수 있도록 하는 것이 요구된다. 이 목표를 위해, 사람들은 포인 트 클라우드의 일부가 가려져 있는 경우에도 객체 구조를 통해, 의미론적 분류를 유추할 수 있다. 따라서, 본 논문에서는 하나의 인스턴스로부터 생성된 서로 다른 시점에서의 특징점들을 비교하는 부분-전체 대비하는 방법을 제안한다. 이 논문에서 제안된 부분전체 대비 방법론은 ShapeNetCore55, ShapeNetPart, 그리고 ModelNet40 과 같은 데이터셋을 활용하여 검증한다. Recently, many attempts have been proposed to derive generalized 3D feature representations by avoiding dataset issue, such as considerable labor for point-wise annotation on point cloud, or lack of large-enough dataset. Specifically, instance discrimination-based unsupervised learning has been adopted to handle the issue. Discriminating two differently augmented views in pretext phase led to improve the performance in downstream phase. However, generally, 3D point cloud is knows as that it does not have diverse features compared to 2D images (e.g., texture). For this reason, most network architectures for 3D point cloud have a limitation that it takes point cloud’s geometric information based on the coordinates of points. Thus, to generate generalized 3D feature representation from the point clouds, it is required to encode more semantic information based on the point cloud structure for rich 3D feature representation. Towards this goal, it is observed that object structure can be inferred for semantic classification even when a portion of the point cloud is occluded. Thus, part-to-whole contrast is proposed by comparing features from two different views from one instance in this dissertation. Moreover, the proposed method is examined on various point cloud dataset such as ShapeNetCore55, ShapeNetPart, and ModelNet40.

Enhancing fisher's discriminant toward heteroscedasticity and locality in face verification

김상기 Graduate School, Yonsei University 2011 국내박사

There have been a lot of methods to successfully recognize a face from images under various external conditions such as head pose, illumination, facial expression, and occlusion. In particular, FLD have been widely studied due to its capacity of discriminative dimensionality reduction minimizing the influence of the external factors. The primary goal of FLD in facial feature extraction is to find an effective subspace for identity discrimination. There have been various methods introduced to improve FLD. However, there remained inherent limitations for FLD and its variants to deal with physical applications under complex environmental factors. These limitations include the use of a common covariance function for modeling the within-class scatter of each class, the limited dimensionality inherent to the definition of the between-class scatter, inverse problem of singular matrix and so on. Since these problems are inherently caused by the definition of the Fisher’s criterion itself, they may not be solvable under the conventional FLD framework. This paper proposes two different approaches to resolve the issues. In the first method, a novel margin-based between-class scatter, a regularization process, and a balanced whitening are proposed to explicitly tackle the issues. Essentially, we redesign the between-class scatter matrix based on the support vector machine (SVM) margins to cultivate the heteroscedastic data representation. Furthermore, by weighting scheme emphasizing narrow margins, we tried to capture the local structures. This is followed by a regularization of the within-class scatter matrix and a whitening procedure balancing the between- and the within-class scatters for facilitating an effective and reliable feature extraction. In the second method, we present a novel framework of discriminant feature extraction which fundamentally differs from that of FLD. Since this framework does not require the assumptions that FLD makes, one can avoid the above limitations of FLD. Also, in company with the normalized radial basis function, this method attains the capacity of capturing the true intrinsic structure based on its heteroscedastic nature. Extensive empirical experiments are performed to compare the proposed methods with several other state-of-the-art methods using the publicly available databases of FERET, AR, and CMU-PIE. Among the tested FLD variants, no method outperformed the others in all experiments, though the proposed methods consistently showed superior performances than other methods exhibiting their effectiveness and reliability.

Extraction and Compression of Discriminant Features for Remotely Sensed Data : 원격 취득 데이터를 위한 분류 특징 추출 및 압축 기법

Youn, Sungwook 연세대학교 일반대학원 2016 국내박사

센서 기술의 발전으로 원격 취득 데이터는 다양한 파장대의 영상을 포함하고 있다. 이러한 고차원 데이터의 효율적인 전송과 저장을 위해, 취득된 원격 데이터에 적합한 3D SPIHT, 1D+2D JPEG2000 등의 3D 데이터 압축 방법이 선행된다. 대부분의 압축 기법은 동일한 비트율에서 원 데이터와의 오차를 최소화 하는 것을 목표로 개발되었다. 따라서, 원격 취득 데이터의 압축 시, 데이터의 패턴 분류에 필요한 중요 정보인 분류 판별 특징이 손상될 수 있다. 본 논문에서는 기존의 압축 기법이 원격 취득 데이터에 적용되었을 때 나타나는 영향에 대해 신호 대 잡음 비와 패턴 분류 정확도의 관점에서 조사 및 분석 하였으며, 이를 바탕으로 원격 취득 데이터의 분류 판별 특징의 손실을 개선하는 이종 압축 기법을 제안하였다. 제안한 기법은 원 데이터에서 추출된 판별 특징을 원 데이터에 적용하여 특징영상을 생성하고 우선순위에 따라 일부 특징영상을 선택한다. 원 데이터와 선택된 특징영상으로부터 재구성된 데이터 간의 차이를 나타내는 잔여 데이터에 대해 주성분 분석을 적용하여 고유영상을 생성하고 우선순위에 따라 일부 고유영상을 선택한다. 데이터의 복원에 필요한 고유영상, 평균영상, 특징영상을 1D+2D JPEG2000 기법을 적용하여 압축하고, 고유이미지-계수, 그리고 특징 이미지-계수는 양자화 후 전송한다. AVIRIS 데이터와 ROSIS 데이터에 대해 제안한 기법과 3D SPIHT, subPCA/1D+2D JPEG2000, 1D+2D JPEG2000 기법을 이용하여 실험한 후 결과를 비교 하였다. 모든 데이터에 대해 제안한 기법이 기존의 압축 기법 보다 높은 성능의 분류 정확도를 보였다. 이를 통해, 제안한 방식이 압축 과정에서 발생하는 분류 판별 특징의 손실을 개선하는 것을 확인하였다. The advancement of sensor technology produces remotely sensed data that have a large number of spectral bands and there is an increasing need for efficient compression algorithms to transmit and archive the remotely sensed data. Since adjacent bands of remotely sensed data are highly correlated, most lossy compression techniques such as 3D SPIHT and 1D+2D JPEG2000 use this property to remove spectral redundancy to achieve higher compression. It has been shown that image compression based on principal component analysis (PCA) coupled with 1D+2D JPEG2000 provides good compression efficiency for hyperspectral data. However, PCA coupled with 1D+2D JPEC2000 might fail to capture all the discriminant information of hyperspectral images since features that are important for classification may not be high in signal energy. In this dissertation, the impact of lossy compression on classification of remotely sensed data is investigated at various bit-rates. Then, the hybrid compression method for remote sensed images is proposed to improve the compression efficiency. In the proposed method, a feature extraction method is applied to the original image, which produces a set of feature vectors. Using these feature vectors, feature images are generated. Then, the residual images are generated by subtracting the feature-reconstructed images from the original image. Dominant eigenimages are found by applying PCA to the residual image. Both the feature images and the eigenimages are compressed using conventional compression method. Experiments on various data set from airborne AVIRIS sensor and ROSIS sensor show that the proposed method provides better compression efficiency with improved classification accuracy than conventional compression methods.

Designing a system to locate the reference point of symphysis pubis in axial CT images

오지용 서울대학교 대학원 2012 국내박사

Computed tomography (CT) imaging is one of the most accurate tumor detection test. It is used in detecting the recurrence or metastasis, and lesion characterization. Traditionally radiologists compare the pre-treatment images to post-treatment images after cancer treatment to confirm the absence, stability, progression, or spread of this disease. Although the comparison is simple, it requires to select the anatomically identical images and to make the selected images have the same size and rotation. These rocedures can be automatically performed by the image registration. Although the image registration is widely applied in the treatment of lung, chest, and brain, etc., its application to abdominal images is still in its early stage. In this dissertation, an effective method is proposed to determine the reference point of symphysis pubis (SP) in an axial stack of CT images to facilitate image registration for pelvic cancer treatment. In order to reduce the computational time, the proposed method consists of two detection parts, the coarse detector and the fine detector. The detectors are based on the image patches with a fixed size. The coarse detector roughly determines the location of the reference point of SP using three types of information, which are the location and intensity of an image patch, the SP appearance, and the geometrical structure of SP. Using the appearance of SP three state-of-the-art cascade detectors are implemented, and the classifiers in the cascade detectors are trained by Adaboost or its variations. The fine detector examines around the location found by the coarse detection to refine the location of the reference point of SP. Since accuracy is more important than speed in the fine detection, the biased discriminant analysis (BDA) can be applied to the classifiers in the fine detector. However, BDA is sensitive to outliers of the negative samples in training set and it may fail to extract the best features. In this dissertation, the saturated biased discriminant analysis (SBDA), which is a modified version of BDA, is proposed to extract better features to improve the performance of the fine detector. In the experiments, six SP detection systems are implemented and evaluated. The best average location error of the implemented SP detectors is 2.10 mm, which is less than the length of two pixels. It is also shown that SBDA gives a little bit smaller location errors than BDA. Considering that the average location error by a radiologist is 0.77 mm, the reference point can be located quite accurately by the proposed method. Since it takes about 19 seconds to locate the reference point from a stack of CT images, it is fast enough to use in real time to facilitate image registration of CT images for pelvic cancer treatment. CT 영상은 가장 정확한 진단 방법 중 하나로, 암 수술을 받은 환자들은 정기적인 CT 촬영을 통해 암의 재발이나 전이 여부를 진단받는다. 시간 차이를 두고 촬영된 두 CT 영상 집합들을 판독하는 방법은 해부학적으로 동일한 부분을 하나하나 비교하는 것으로 이러한 진단은 비교적 간단하지만 두 영상 집합들로부터 두 개의 해당 영상들을 선택해야 하고 선택된 두 영상에서 나타난 신체 부위의 크기와 회전 정도를 일치시켜야 하는 등의 반복적인 과정을 요구한다. 이런 과정은 컴퓨터 보조 진단(computer aided diagnosis) 기술 중 영상 정합(image registration)을 통해 자동적으로 이루어질 수 있는데 현재 뇌, 폐, 유방 등의 영상을 이용한 영상 정합에 대한 연구가 활발히 이루어지고 있으나, 복강 내부의 장기들의 대한 영상을 이용한 연구는 상대적으로 미비하다. 본 논문에서는 축상 CT 영상들(axial CT images)로부터 골반 뼈의 일부분인 치골 결합(symphysis pubis, SP)의 기준점을 자동으로 결정하는 방법을 제안한다. 본 논문에서 제안하는 방법은 특정한 크기의 모든 영상 조각들이 SP 구조를 포함하고 있는지를 판단하여 그 구조를 포함하지 않은 영상 조각들을 점차적으로 줄이는 방식으로 SP의 기준점을 결정한다. 또한, 효율적인 기준점 검출을 위해 영상들의 해상도를 낮추어 기준점의 위치를 결정하고, 그 위치를 바탕으로 원래 해상도의 영상을 이용하여 기준점의 위치를 보정하는 과정을 거친다. 낮은 해상도의 영상을 이용할 때는 SP 구조가 CT 영상에서 나타나는 위치 및 밝기 정보를 활용하여 많은 영상 조각들을 효과적으로 줄이고, 추가적으로 단계적인(cascade) 구조의 검출기를 이용하여 SP 구조를 포함하지 않는 영상 조각들을 점차적으로 줄인다. 그리고 높은 해상도의 영상을 이용할 때는 새로운 알고리즘인 포화 편향 판별 분석 기법(saturated biased discriminant analysis)이 적용되어 기준점의 위치 오차를 더욱 줄이는데 활용된다. 제안된 방법으로 찾아진 기준점은 2.1 mm 정도의 오차를 보이는데 영상의학과 전문의가 결정한 기준점이 0.77 mm 정도의 오차를 보이는 것과 비교하면 제안된 방법은 상당히 정확하게 기준점을 찾는 것을 알 수 있다. 게다가, 기준점을 찾는데 걸리는 시간은 19초 정도인 것을 감안하면 본 논문에서 제안된 방법은 지금까지 미비했던 골반 내 장기들의 CT 영상들을 활용하는 영상 정합 기술 및 컴퓨터 도움 진단 기술에 충분히 활용될 수 있을 것이다.

Cancer cell discrimination of thyroid gland cells by dominant feature parameters method

나철훈 全南大學校 1994 국내박사

본 연구는 인간의 갑상선세포를 대상으로 암세포의 식별을 위하여 새로운 디지탈 영상기술을 적용하여 해석한 것으로 이를 위하여 세포영상해석에 필요한 개선된 처리방법들을 제안하였다. 세포영상으로 갑상선세포를 수술을 통하여 취득한 뒤 각각 정상세포와 암세포(여포성 종양세포, 유두상 종양세포)로 확진된 세포의 현미경 영상을 사용하였다. 세포영상으로부터 세포핵을 구분하기 위하여 기존의 방법을 개선한 방향각을 갖는 Contour Following법을 시도하여 세포핵의 영상을 매우 효과적으로 얻을 수 있음을 입증하였고, 세포핵의 특징추출을 위하여 공간영역에서 기존의 9가지의 특징파라미터를 도입하였고 7개의 특징파라미터들을 새로 제안하였다. 이와같은 16개의 특징 파라미터들중 식별을을 높이기 위하여 우세특징파라미터 5개를 선택하여 식별율 향상을 꾀하였다. 비교대상으로 주파수 영역에서 기존의 방법중 우수한 성능을 가진것으로 알려진 Fourier 변환의 전력밀도분포함수를 파라미터로 사용하여 특징추출실험을 병행하여 각 세포유형별 특징표본군과 비교, 분석하였다. 실험결과 제안된 방향각을 갖는 Contour Following법을 사용함으로서 세포영상으로부터 세포핵만을 매우 효과적으로 분리해 낼수 있음이 확인되었고 우세특징파라미터들을 사용한 암세포식별법을 적용하여 실험한 결과 평균 90%이상의 식별율을 얻음으로서 기존의 방법들 보다 효과적으로 갑상선의 정상세포와 비정상세포를 식별할 수 있음을 증명하였다. A new method of digital image analysis technique for discrimination of cancer cell was presented in this paper. The object image was the Thyroid Gland cell image that provided by Department of Pathology of Chonnam National University that was diagnosed as normal and abnormal(two types of abnormal : follicular neoplastic cell, and papillary neoplastic cell), respectively. The focus of this paper was automatic discrimination of medical cells image into normal or abnormal by dominant feature parameters method. In this paper, techniques for extracting features in medical cells image were described. To segment the nucleus of cell from background, an improved region segmentation algorithm based upon Contour Following method was proposed. By using the proposed region segmentation algorithm, the cells images were sucessfully segmented into nucleus. To calculate the features of each nucleus, the 16 feature parameters were used, 9 of them were gonerally used feature parameters and rest of them were newly dofined in this paper. After constructing a Look-up table of feature parameters, experiment of discrimination was executed with 1822 cells. As a consequence of using dominant feature parameters method proposed in this paper, discrimination rate of 91.11% was obtained for Thyroid Gland cells.

Enhancement of discriminant features for compression of hyperspectral images

최의선 Graduate School, Yonsei University 2011 국내박사

In this dissertation, a pre-emphasis method is proposed to effectively preserve the discriminant information necessary for classification when hyperspectral images are to be compressed using conventional lossy compression algorithms such as the 3D-SPIHT and JPEG-2000. The advancement of sensor technology has produced remotely-sensed data with hundreds of spectral bands. Due to the large data size, data compression becomes more essential in order to transmit and archive the hyperspectral data in most cases. In general, most lossy compression algorithms for hyperspectral images exploit the spatial-spectral correlations among adjacent bands mainly in the context of minimization of mean squared errors. However, since discriminant features needed for classification may not be necessarily large in energy, they may tend to be lost during compression process. In this dissertation, the impacts of lossy compression on classification of hyperspectral images are investigated in terms of class distribution in the feature space along with classification accuracy at various bit-rates. Then, a pre-emphasis technique is proposed to preserve such discriminant features necessary for classification of hyperspectral images when hyperspectral images were compressed using conventional lossy compression algorithms. In the proposed method, a set of feature vectors is found by applying conventional feature extraction methods and then the discriminant features are enhanced according to their effectiveness for classification prior to the lossy compression process. Experiments showed that the proposed method provided promising results by effectively preserving the discriminant features necessary for the classification at a slight sacrifice in PSNR. Furthermore, the proposed pre-enhancing method might be used along with any conventional feature extraction and compression algorithms.

Voxel-wise adversarial semi-supervised learning for medical image segmentation

박혜림 서울대학교 대학원 2023 국내석사

Semi-supervised learning for medical image segmentation is an important area of research for alleviating the huge cost associated with the construction of reliable large-scale annotations in the medical domain. Recent semi-supervised approaches have demonstrated promising results by employing consistency regularization, pseudo-labeling techniques, and adversarial learning. These methods primarily attempt to learn the distribution of labeled and unlabeled data by enforcing consistency in the predictions or embedding context. However, previous approaches have focused only on local discrepancy minimization or context relations across single classes. In this paper, we introduce a novel method that effectively embeds both local and global features from multiple hidden layers and learns context relations between multiple classes. Our voxel-wise adversarial learning method utilizes a voxel-wise feature discriminator, which considers multilayer voxel-wise features as an input by embedding class-specific voxel-wise feature distribution. The experimental results demonstrate that our method outperforms current best-performing state-of-the-art semi-supervised learning approaches by improving the network performance by 2% in Dice score coefficient for multi-organ dataset. Furthermore, visual interpretation of the feature space demonstrates that our proposed method enables a well-distributed and separated feature space from both labeled and unlabeled data, which improves the overall prediction results. 의료 영상 분할에서 신뢰성 있는 큰 규모의 정답 레이블을 생성하기 힘들다는 점에서 준지도 학습은 중요하다. 최근 준 지도 학습 연구들은 일관성 정규화(consistency regularization), 의사 레이블링(pseudo-labeling) 그리고 적대적 학습(adversarial learning) 방법을 이용하여 좋은 결과를 보여주었다. 해당 방법들은 주로 정답이 있는 데이터(labeled data)와 정답이 없는 데이터(unlabeled data)의 분포를 학습하여 그들 간의 예측 값이나 임베딩 값에 일관성을 부여한다. 하지만 이전 방법들은 영상의 지엽적인 특성과 하나의 클래스 간의 관계만을 고려한다는 단점이 있다. 따라서 우리는 이 논문에서 영상의 지엽적인 특징과 전역적인 특징을 동시에 고려하며, 여러 클래스 간의 표현 관계를 학습할 수 있는 적대적 학습 기반의 준 지도 학습 의료 영상 분할 네트워크를 제안한다. 우리의 복셀 간 적대적 학습(voxel-wise adversarial learning) 메소드는 멀티레이어로부터 추출한 클래스 별 복셀 간 표현(voxel-wise feature)를 인풋으로 취급하는 복셀 간 표현 분류자(voxel-wise feature discriminator)를 활용한다. Left Atrial Segmentation Challenge data과 Abdominal Multi-Organ dataset을 이용한 실험을 통해 우리의 메소드의 효과를 이진 분류와 다중 분류 각각의 상황에서 증명하였다. 실험 결과는 우리의 메소드가 최근 준지도 학습 기법 연구들을 능가하는 것을 보여주며, 우리가 제안한 메소드가 정답이 없는 데이터를 학습에 효과적으로 활용하는 것을 보여준다. 더욱이, 표현 공간 상에서의 시각적 해석을 통해 우리의 메소드가 전반적으로 향상된 예측 결과와 클래스 별로 분리된 표현 공간을 구성한다는 것을 확인할 수 있었다.

Deep neural network based discriminative feature learning and its application to multiple object tracking

이상윤 Graduate School, Yonsei University 2018 국내박사

본 논문에서는 차별적 특징 학습을 위한 심층 신경망 구조를 제안한다. 차별적 특징 학습은 다양한 컴퓨터 비전 문제에서 중요한 기술이다. 비록 샴 신경망이 차별적 특징 학습을 위한 대표적인 접근법으로 여겨지고 있지만, 그것은 양 쪽의 네트워크가 상대 쪽을 고려하지 않고 독립적으로 특징을 추출한다는 중대한 결점이 있기 때문에 그 성능이 항상 만족스럽지 못하다. 이 문제를 해결하기 위해, 새로운 샴 신경망의 변형을 제안한다. 제안된 구조는 독립적인 특징 뿐 만 아니라 샴 구조의 양 쪽으로부터 추출된 특징의 차이를 이용해 차별적 특징도 학습하도록 설계되었다. 따라서 제안된 신경망 ESCNN은 주어진 두 영상이 같은 물체인지 아닌지를 구별할 수 있는 추가적인 단서를 제공한다. 차별적 특징 학습에 대한 제안된 ESCNN의 효과는 특징 시각화와 두 물체를 구별하는 문제에의 실험으로 검증한다. 더 나아가, 추가적인 연구의 결과를 통해 제안된 신경망의 효율성을 증명한다. 더 나아가, ESCNN의 실용적인 응용분야로써 다중 물체 추적 문제를 고려한다. 검출에 의한 추적 방식에서 다중 물체의 차별적 특징은 추적기의 강인성을 향상시킬 수 있다. 샴 신경망 기반 모델이 서로 다른 물체를 효과적으로 구별하기 위해 설계되더라도, 그 모델은 샴 신경망과 동일한 결점을 지닌다. 본 논문에서는 이 문제를 해결하기 위해 제안된 ESCNN를 다중 물체 추적의 모델로 적용한다. 더 나아가, 외형적인 정보와 움직임에 대한 정보를 동시에 학습할 수 있는 ESCNN의 변형인 ESCNN-MOT 모델을 제안한다. 제안된 ESCNN-MOT와 간단한 자료 연관 기법을 통해 다중 물체 추적기를 설계하고 다중 물체 추적 벤치마크에 적용한다. 다중 물체 추적 벤치마크에 적용한 다양한 실험적 결과는 ESCNN-MOT 기반 다중 물체 추적기가 기본 ESCNN 기반 추적기를 능가함을 보인다. 더 나아가, 47.6%와 44.7%의 다중 물체 추적 정확도를 갖는 JCSTDDP와 MEST 을 비롯한 다른 방법과의 비교 결과를 통해 제안된 추적기가 44.9%의 성능을 보이며 최고 성능에 준하는 성능을 가짐을 보인다. 또한, KITTI 벤치마크에 적용한 결과를 보임으로써 다양한 클래스를 갖는 다중 물체를 추적하는 문제로의 적용 가능성을 검증한다. In this dissertation, a deep convolutional neural network architecture for discriminative feature learning (DFL) is proposed. DFL is an essential technique in various computer vision tasks. Although Siamese convolutional neural network (SCNN) has been considered as a conventional approach for DFL, it has a major drawback that each side of the network extracts features independently without taking the other branch into account and thus its performance is not always satisfactory. In order to solve this problem, an novel SCNN variant, termed extended Siamese convolutional neural network (ESCNN), is proposed. The proposed ESCNN is designed to learn not only independent features but also discriminative features by encoding the difference of features extracted from both sides of the conventional Siamese architecture. The proposed ESCNN provides additional cues to determine whether or not the two given images come from the same object. Impacts of the proposed ESCNN on DFL are verified through feature visualization and experiments on the verification task. Moreover, results of the ablation study are shown to demonstrate effectiveness of the proposed ESCNN. Further, multiple object tracking (MOT) problem is considered as a practical application of ESCNN. In MOT problem, DFL is also essential technique because one must associate detections with targets based on its appearance information. Although the previous SCNN based MOT models are designed to distinguish different objects effectively, the models have same drawback of SCNN. To address this issue, the proposed ESCNN is applied to compute similarity score between detections and targets in MOT. Futhermore, an novel ESCNN variant, termed ESCNN-MOT, is designed to exploit both appearance and motion information together. A MOT framework based on the proposed ESCNN-MOT and a simple data association strategy is developed and applied to the MOT challenge benchmark. Extensive experimental results on the MOT benchmark show the ESCNN-MOT based tracker outperforms the basic ESCNN based tracker. The comparative results indicate the proposed tracker is a state-of-the-art (SOTA) tracker with 44.9% MOTA, comparable to other SOTA methods including JCSTDDP and MEST with 47.6% and 44.7% MOTA, respectively. Further, the applicability of the proposed tracker for multi-class MOT was demonstrated by applying the proposed method to the KITTI tracking benchmark.