술어-논항 구조의 패턴 유사도를 결합한 혼합 커널 기반 관계 추출

정창후 ( Chang-hoo Jeong ),최성필 ( Sung-pil Choi ),최윤수 ( Yun-soo Choi ),송사광 ( Sa-kwang Song ),전홍우 ( Hong-woo Chun ) 한국인터넷정보학회 2011 인터넷정보학회논문지 Vol.12 No.5

문헌에 존재하는 핵심개체 간의 관계를 자동으로 추출할 때 다양한 형태의 문서 분석 결과를 활용할 수 있다. 본 논문에서는 기존에 개발되어 비교적 높은 성능을 보여준 합성곱 구문 트리 커널의 구절 구조 유사성 정보와 두 개체 사이의 유의미한 연관관계를 표현해주는 술어-논항 구조 패턴의 유사성 정보를 동시에 활용하는 혼합 커널을 제안한다. 구문적 구조를 이용하는 기존의 합성곱 구문 트리 커널에 술어와 논항 간의 의미적 구조를 활용하는 술어-논항 구조 패턴 유사도 커널을 결합하여 상호보완적인 혼합 커널을 구성하였고, 다양한 테스트컬렉션 기반의 실험을 통하여 개발된 커널의 성능을 측정하였다. 실험결과 구절 구조 정보를 이용하는 합성곱 구문 트리 커널만을 단독으로 사용했을 때보다 술어-논항 구조의 패턴 정보를 결합한 혼합 커널을 사용했을 때에 더 좋은 성능을 보이는 것을 확인할 수 있었다. 또한 기존의 시스템보다 우수한 성능을 보이는 것도 함께 확인할 수 있었다. Lots of valuable textual information is used to extract relations between named entities from literature. Composite kernel approach is proposed in this paper. The composite kernel approach calculates similarities based on the following information: (1) Phrase structure in convolution parse tree kernel that has shown encouraging results. (2) Predicate-argument structure patterns. In other words, the approach deals with syntactic structure as well as semantic structure using a reciprocal method. The proposed approach was evaluated using various types of test collections and it showed the better performance compared with those of previous approach using only information from syntactic structures. In addition, it showed the better performance than those of the state of the art approach.

커널밀도추정(Kernel Density Estimation)과 합성곱 신경망(Convolution Neural Network)을 이용한 아파트 가격 예측

정현조,김건우,천세학 한국상업교육학회 2023 상업교육연구 Vol.37 No.6

주택가격 예측은 개인, 기관, 정부에 이르기까지 다양한 이해관계자들이 관심을 갖는 주요한 주제이다. 지금까지 통계적 모델을 통해 예측을 해왔지만, 최근 딥러닝 및 머신러닝을 이용하여 예측하는 연구가 많다. 특히 이미지 정보를 활용한 합성곱신경망(Convolutional Neural Networks)을 적용한 연구도 진행되고 있다. 그러나 아직 국내에서는 이미지 정보를 이용한 연구는 살펴볼 수 없었다. 본 연구는 커널밀도추정(Kernel Density Estimation)을 활용하여 인공위성 이미지와 상가 및 편의시설 밀도 정보를 해당 구역에 표시하고 이를 입력변수로 활용하여 서울시 아파트 가격을 예측하고자 한다. 본 논문에서는 2021년부터 2022년까지의 주택 거래 기록과 지역소득정보, 인구 밀도, 연령대별 인구 데이터를 수집하였고, 네이버 클라우드 플랫폼의 Static Map API를 통해 인공위성사진을 구역별로 나누어서 수집했다. 특히 공공데이터포털과 서울 열린데이터 광장에서 수집한 상가, 병원, 공원, 지하철역, 학교 등 정보는 커널밀도추정을 활용해 밀도 정보로 변환하였다. 이렇게 다양한 형태로 수집된 데이터는 전처리 과정을 거쳐 면적당 단가로 계산된 아파트 실거래가를 예측하였다. 예측모델로서는 회귀 모델, 다층 인공신경망 모델, 그리고 합성곱신경망 모델을 이용하였고 이들의 예측력을 비교하였다. 연구결과는 다음과 같다. 첫째, 회귀 모델 중에서는 인구통계 및 주택관련 변수에 커널밀도추정으로 구해진 상가 및 편의시설 밀도 정보를 추가한 모델이 예측력이 높았다. 둘째, 다층인공신경망(Multilayer Artificial Neural Network) 모델은 회귀 모델에 비해 상대적으로 높은 성능을 보였다. 셋째, 합성곱신경망과 다층인공신경망을 융합한 모델은 인공위성 이미지 피처, 인구 통계 및 주택 관련 변수, 그리고 커널밀도추정 특성을 모두 사용한 경우 기존 다층 인공신경망과 회귀모델과 비교시 가장 우수한 성능을 보였다. 이 결과는 인공위성 이미지가 주택 가격 예측에 유용한 정보를 제공하는 것을 시사하며 향후 주택가격예측에 인공위성 이미지, 혹은 커널밀도추정으로 표시되는 밀도 정보를 합성곱신경망을 이용하는 경우 예측력이 높아졌기에, 향후 이를 개선하는 연구를 기대한다.

혼합 커널을 활용한 과학기술분야 용어간 관계 추출 (pp.988-992)

최성필(Sung-Pil Choi),최윤수(Yun-Soo Choi),정창후(Chang-Hoo Jeong),맹성현(Sung-Hyon Myaeng) 한국정보과학회 2009 정보과학회 컴퓨팅의 실제 논문지 Vol.15 No.12

본 논문에서는 합성곱 구문 트리 커널(convolution parse tree kernel)과, 한 문장에서 나타나는 두 개체 간의 관계를 가장 잘 설명하는 동사 상당어구에 대한 개념화를 통해 생성되는 워드넷 신셋 벡터(WordNet synsets vector) 커널을 활용하여 과학기술분야 전문용어 간의 관계 추출을 시도하였다. 본 논문에서 적용한 모델의 성능평가를 위해서 세 가지 검증 컬렉션을 활용하였으며, 각각의 컬렉션 마다 기존의 접근 방법론 보다 우수한 성능을 보여주었다. 특히 KREC 2008 컬렉션을 대상으로 한 성능실험에서는, 기존의 합성곱 구문 트리 커널과 동사 신셋 벡터(verb synsets vector)를 함께 적용한 합성 커널이 비교적 높은 성능 향상(8% F1)을 나타내고 있다. 이는 성능을 높이기 위해서 관계 추출에서 많이 활용하였던 개체 자질 정보와 더불어 개체 주변에 존재하는 주변 문맥 정보(동사 및 동사 상당어구)도 매우 유용한 정보임을 입증하고 있다. In this paper, we attempted to extract binary relations between terminologies using composite kernels consisting of convolution parse tree kernels and WordNet verb synset vector kernels which explain the semantic relationships between two entities in a sentence. In order to evaluate the performance of our system, we used three domain specific test collections. The experimental results demonstrate the superiority of our system in all the targeted collection. Especially, the increase in the effectiveness on KREC 2008, 8% in F1, shows that the core contexts around the entities play an important role in boosting the entire performance of relation extraction.

구문 트리 가지치기 및 소멸 인자 조정을 통한 트리 커널 기반 단백질 간 상호작용 추출 성능 향상

최성필(Sung-Pil Choi),최윤수(Yun-Soo Choi),정창후(Chang-Hoo Jeong),맹성현(Sung-Hyon Myaeng) 한국정보과학회 2010 정보과학회논문지 : 소프트웨어 및 응용 Vol.37 No.2

본 논문에서는 기존의 연구에서 시도되었던 것과는 달리, 복잡하고 추출하기가 어려운 다양한 형태의 자질 및 단서 정보가 필요 없는 합성곱 구문 트리 커널 기반의 단백질 간 상호작용 추출 기법을 소개한다. 이 기법의 특징은 단백질 이름 쌍을 포함한 상호작용 포함 후보 문장에 대한 구문 트리만을 이용하여 추출을 시도한다는 것이며 부가적인 자질이나 커널 함수가 불필요하다는 장점이 있다. 이를 기반으로 본 논문의 연구 성과는 다음과 같다. 첫째, 단백질 간 상호작용 추출에 있어서 구문 트리 커널을 적용할 경우 불필요한 문맥 정보를 효과적으로 제거하는 구문 트리 가지치기 작업이 필수적임을 기존 연구 결과와의 성능 비교로써 증명한다. 둘째, 동일한 학습 조건에서 구문 트리 커널의 소멸 인자(decay factor)는 평활인자(smoothing factor)로서 중요한 역할을 하며, 성능 변화의 핵심 요소임을 보인다. 특히 학습 집합의 규모에 따라서 소멸인자가 성능에 미치는 영향력이 상이한 패턴으로 나타남을 제시하였다. 결론적으로 기존의 최신 연구결과로서 주장한 “단일 커널보다 혼합 커널의 성능이 더 뛰어나다”라는 가설이 항상 성립하는 것은 아니라는 것을 합성곱 구문 트리 커널 단독으로 적용하여 높은 성능을 나타냄으로써 보여주었다. 동일한 조건으로 수행한 실험에서 기존의 두 연구 결과에 비해 19.8%, 14%의 성능 개선을 나타내었다. This paper introduces a novel way to leverage convolution parse tree kernel to extract the interaction information between two proteins in a sentence without multiple features, clues and complicated kernels. Our approach needs only the parse tree alone of a candidate sentence including pairs of protein names which is potential to have interaction information. The main contribution of this paper is two folds. First, we show that for the PPI, it is imperative to execute parse tree pruning removing unnecessary context information in deciding whether the current sentence imposes interaction information between proteins by comparing with the latest existing approaches' performance. Secondly, this paper presents that tree kernel decay factor can play an pivotal role in improving the extraction performance with the identical learning conditions. Consequently, we could witness that it is not always the case that multiple kernels with multiple parsers perform better than each kernels alone for PPI extraction, which has been argued in the previous research by presenting our outperformed experimental results compared to the two existing methods by 19.8% and 14% respectively.

SKU-Net: Improved U-Net using Selective Kernel Convolution for Retinal Vessel Segmentation

Dong-Hwan Hwang(황동환),Gwi-Seong Moon(문귀성),Yoon Kim(김윤) 한국컴퓨터정보학회 2021 韓國컴퓨터情報學會論文誌 Vol.26 No.4

본 논문에서는 안저영상의 다중 스케일 정보를 다루기 위한 딥러닝 기반의 망막 혈관 분할 모델을 제안한다. 제안 모델은 이미지 분할 딥러닝 모델인 U-Net과 선택적 커널 합성곱을 통합한 합성곱 신경망으로 안저영상에서 눈과 관련된 질병을 진단하는데 중요한 정보가 되는 망막 혈관의 다양한 모양과 크기를 갖는 특징 정보를 추출하고 분할한다. 제안 모델은 일반적인 합성곱과 선택적 커널 합성곱으로 구성된다. 일반적인 합성곱 층은 같은 크기 커널 크기를 통해 정보를 추출하는 반면, 선택적 커널 합성곱은 다양한 커널 크기를 갖는 브랜치들에서 정보를 추출하고 이를 분할 주의집중을 통해 적응적으로 조정하여 결합한다. 제안 모델의 성능 평가를 위해 안저영상 데이터인 DRIVE와 CHASE DB1 데이터셋을 사용하였으며 제안 모델은 두 데이터셋에 대하여 F1 점수 기준 82.91%, 81.71%의 성능을 보여 망막 혈관 분할에 효과적임을 확인하였다. In this paper, we propose a deep learning-based retinal vessel segmentation model for handling multi-scale information of fundus images. we integrate the selective kernel convolution into U-Net-based convolutional neural network. The proposed model extracts and segment features information with various shapes and sizes of retinal blood vessels, which is important information for diagnosing eye-related diseases from fundus images. The proposed model consists of standard convolutions and selective kernel convolutions. While the standard convolutional layer extracts information through the same size kernel size, The selective kernel convolution extracts information from branches with various kernel sizes and combines them by adaptively adjusting them through split-attention. To evaluate the performance of the proposed model, we used the DRIVE and CHASE DB1 datasets and the proposed model showed F1 score of 82.91% and 81.71% on both datasets respectively, confirming that the proposed model is effective in segmenting retinal blood vessels.

평면적 어휘 자질들을 활용한 확장 혼합 커널 기반 관계 추출

최성필(Sung-Pil Choi),정창후(Chang-Hoo Jeong),최윤수(Yun-Soo Choi),맹성현(Sung-Hyon Myaeng) 한국정보과학회 2009 정보과학회논문지 : 소프트웨어 및 응용 Vol.36 No.8

본 논문에서는 기존의 관계 추출 성능을 향상시키기 위해서 기존의 자질 기반 방법에서 추구하였던 개체 주변 문맥 다양성 정보의 추출 및 적용과 커널 기반 방법의 강점인 관계 인스턴스에 대한 구문 구조적 자질 정보의 통합 활용을 통한 확장된 혼합 커널을 제안한다. ACE RDC 코퍼스1)를 활용한 실험에서, 기존의 합성곱 구문 트리 커널 기반 혼합 커널을 기반으로 총 9 종류의 평면적 어휘 자질 집합을 정의하고 이를 적용함으로써 성능 향상에 기여하는 어휘 자질 유형을 파악할 수 있었으며, 적은 규모의 학습 집합으로도 현재 최고 수준의 성능에 필적하는 결과를 얻을 수 있었다. 결론적으로 관계 추출을 위한 세 가지 핵심 정보, 즉 개체 자질, 구문 구조적 자질, 주변 문맥 어휘 자질을 통합 적용하면 관계 추출의 성능을 향상시킬 수 있음을 알 수 있었다. In order to improve the performance of the existing relation extraction approaches, we propose a method for combining two pivotal concepts which play an important role in classifying semantic relationships between entities in text. Having built a composite kernel-based relation extraction system, which incorporates both entity features and syntactic structured information of relation instances, we define nine classes of lexical features and synthetically apply them to the system. Evaluation on the ACE RDC corpus shows that our approach boosts the effectiveness of the existing composite kernels in relation extraction. It also confirms that by integrating the three important features (entity features, syntactic structures and contextual lexical features), we can improve the performance of a relation extraction process.

순차적 합성커널 자가학습 알고리즘을 이용한 가우시안 프로세스 근사대리 모델링

진승섭(Jin, Seung-Seop) 대한토목학회 2021 대한토목학회 학술대회 Vol.2021 No.10

이미지 데이터에 대한 비선형 분류 방법의 비교

박규리(Kyuri Park),박창이(Changyi Park) 한국데이터정보과학회 2021 한국데이터정보과학회지 Vol.32 No.4

이미지 분류는 기계학습에서 가장 활발하게 연구되고 있는 주제 중 하나이다. 이미지 데이터는 일반적으로 2차원 혹은 3차원 행렬 구조를 가지고 있으며, 지지벡터기계 등 전통적인 분류 기법을 적용하기 위해 벡터화를 시행하게 된다. 하지만 벡터화는 이미지 데이터가 제공하는 구조적 정보를 무시할 수 있다. 구조적 정보를 이용하는 합성곱 신경망은 이러한 단점을 보완하기 위해 도입되었으나, 합성곱 신경망을 포함하는 신경망은 일반적으로 많은 데이터를 요구한다. 반면 지지벡터기계는 적은 수의 표본에서도 상대적으로 안정적인 분류 성능을 보일 뿐만 아니라 지지행렬기계 및 커널 지지행렬기계로 확장됨으로써 이미지 데이터의 구조적 정보도 반영할 수 있게 되었다. 본 논문에서는 표본의 개수가 상대적으로 적은 이미지 데이터에 대하여 비선형 분류 방법인 지지벡터기계, 커널 지지행렬기계, 그리고 합성곱 신경망의 예측 성능을 비교하고 선형 분류 방법이지만 이미지 데이터의 구조적 정보를 반영하는 지지행렬기계도 함께 비교한다. Image classification is one of the most actively studied topics in machine learning. Image data generally has a two-dimensional or three-dimensional matrix structure, and vectorization is performed to apply traditional classification techniques such as support vector machine (SVM). However, vectorization may ignore the structural information provided by image data. Convolutional neural network (CNN) using structural information has been introduced as a remedy to the drawback, but neural networks including CNN generally require a lot of data. On the other hand, SVM shows stable classification performances even with a small number of samples, and extensions of SVM reflecting structural information such as support matrix machine (SMM) and kernel support matrix machine (KSMM) have been recently proposed. In this paper, we compare the predictive performances of SVM, SMM, KSMM, and CNN on image data with relatively small number of samples.

가우시안 프로세스 회귀를 위한 트리 기반 유전자 프로그래밍을 활용한 합성커널 자가 학습 알고리즘

진승섭(Jin, Seung-Seop),이상윤(Lee, Sangyoon),김남규(Kim, Nam-Gyu) 대한토목학회 2022 대한토목학회 학술대회 Vol.2022 No.10

착용형 IMU 센서의 시계열 데이터를 이용한 작업자의 실시간 작업 행동 인식 시스템

김미진,박병하,이석원 한국콘텐츠학회 2024 한국콘텐츠학회논문지 Vol.24 No.6

인간 행동 인식(Human Action Recognition, HAR)은 컴퓨터 비전 분야에서 다양한 방식으로 논의되는 중요한 문제로, 다양한 기술과 결합하여 의료, 보안 등의 분야에서 활용되어 왔다. 산업 현장에서는 HAR을 작업자의 행동을 인식하여 작업의 효율성을 향상하고 안전성을 확보하는 데 적용할 수 있다. 본 논문에서는 Minimally Random Convolutional Kernel Transform (MINIROCKET)을 활용하여 IMU 센서 데이터를 통해 취득한 전신 스켈레톤 데이터를 기반으로 실시간 작업 행동을 예측하는 모델을 제안한다. 이 모델 학습에 활용되는 전신 모션 데이터는 실제 작업 현장에서 수집하였으며 데이터 처리 및 라벨링을 거쳐 적용된다. 제안하는 모델에서는 합성곱 커널을 활용하여 이 시계열 데이터의 특징을 추출하고 선형 회귀 모델에 입력하여 실시간 분류를 수행한다. 검증 데이터를 통한 실험 결과, 우리가 제안하는 실시간 작업 행동 인식 시스템은 99.45%의 높은 정확도와 평균 9.5㎳의 높은 실시간성을 가지며 실제 작업 환경에서의 적용 가능성을 확인하였다. 이 시스템은 작업자의 행동을 실시간으로 기록하고 시각화하여 제조 환경에서의 생산성과 훈련에 긍정적인 영향을 미칠 것으로 보인다. Human Action Recognition (HAR) is an important issue discussed in various ways in the field of computer vision, and it has been applied in fields such as healthcare and security by combining it with various technologies. In industrial settings, HAR can be utilized to recognize workers' activity to improve efficiency and ensure safety in operations. In this paper, we propose a model for predicting real-time work activities based on full-body skeleton data acquired through IMU sensor data using Minimally Random Convolutional Kernel Transform (MINIROCKET). The full-body motion data used for model training is collected in actual work environments and undergoes data processing and labeling before learning. Our proposed model use convolutional kernels to extract features from this time series data, which are then input into a linear regression model for real-time classification. Based on the experimental results using validation data, our proposed system demonstrate a high accuracy of 99.45% and maintained an averate real-time performance of 9.5㎳. This confirms its applicability in real-world work environments. This system is expected to record and visualize workers' actions in real time, positively impacting productivity and training in manufacturing environments.