하이퍼스펙트럴 데이터 분류에서의 평탄도 LDA 규칙화 기법의 실험적 분석

박래정(Lae-Jeong Park) 한국지능시스템학회 2010 한국지능시스템학회논문지 Vol.20 No.4

고차원 특성과 높은 상관성은 하이퍼스펙트럴 데이터의 주요 특징이다. LDA와 그 변형 선형 투사 방법들이 고차원 스펙트럴 정보로부터 저차원의 특징을 추출하는데 사용되었다. LDA는 학습 데이터가 적은 경우 흔히 발생하는 과대적합으로 인해 일반화 성능이 낮아지는 문제가 발생하는데, 이를 완화하기 위하여 LDA 규칙화(regularization) 방법들이 제시되었다. 그 중, 평탄도(smoothness) 제약에 기반한 LDA 규칙화 기법은 높은 상관성을 갖는 하이퍼스펙트럴 데이터의 특성에 적합한 특징 추출 기법이다. 본 논문에서는 하이퍼스펙트럴 데이터 분류에서 평탄도 제약을 갖는 LDA 규칙화 방법을 소개하고 학습 데이터 조건에 따른 성능을 실험적으로 분석한다. 또한, 분류 성능의 향상을 위한 스펙트럴 정보와 공간적 정보의상관성을 함께 활용하는 이중 평탄도 LDA 규칙화 기법을 제시한다. High dimensionality and highly correlated features are the major characteristics of hyperspectral data. Linear projections such as LDA and its variants have been used in extracting low-dimensional features from high-dimensional spectral data. Regularization of LDA has been introduced to alleviate the overfitting that often occurs in a small-sized training data set and leads to poor generalization performance. Among them, a smoothness regularized LDA seems to be effective in the feature extraction for hyperspectral data due to its capability of utilizing the high correlatedness. This paper studies the performance of the regularized LDA in hyperspectral data classification experimentally with varying conditions of the training data. In addition, a new dual smoothness regularized LDA is proposed and evaluated that makes use of both the spectral-domain and spatial-domain correlations between neighboring pixels.

PCA 기반 LDA 혼합 알고리즘을 이용한 실시간 얼굴인식 시스템 구현

장혜경,오선문,강대성 대한전자공학회 2004 電子工學會論文誌-SP (Signal processing) Vol.42 No.2

본 논문에서는 실시간 얼굴인식 시스템을 위한 새로운 PCA 기반 LDA 혼합 알고리즘을 제안한다. 크게 얼굴추출 부분과 얼굴인식 부분으로 구성되어 있으며, 얼굴추출 부분에는 차영상, color filtering, 눈과 입의 영역 검출 그리고 정규화 방법을 사용하였고, 얼굴인식 부분에는 추출된 얼굴 후보 영역 영상에 PCA와 LDA를 혼합하여 적용하였다. 기존의 PCA만을 사용한 인식시스템은 낮은 인식률을 보였으며, LDA만을 사용한 인식시스템에서는 학습데이터의 수에 비하여 영상의 화소 개수가 많은 경우 LDA를 입력 영상에 그대로 적용하기 곤란하였다. 이러한 단점을 극복하기 위하여, 정규화 된 영상에 PCA를 적용하여 차원을 축소한 후 LDA를 사용하여 실시간 인식을 가능하게 하였으며, 인식률 또한 향상시킬 수 있었다. 제안한 시스템의 성능을 평가하기 위하여 자체 제작한 DAUface의 데이터베이스를 가지고 실험을 하였다. 실험 결과, 제안된 방법이 PCA 방법과 LDA 방법, 그리고 ICA 방법에 비해 인식률이 상당히 우수함을 알 수 있었다. In this paper, we propose a new PCA-based LDA Mixture Algorithm(PLMA) for real-time face recognition system. This system greatly consists of the two parts: 1) face extraction part; 2) face recognition part. In the face extraction part we applied subtraction image, color filtering, eyes and mouth region detection, and normalization method, and in the face recognition part we used the method mixing PCA and LDA in extracted face candidate region images. The existing recognition system using only PCA showed low recognition rates, and it is hard in the recognition system using only LDA to apply LDA to the input images as it is when the number of image pixels ire small as compared with the training set. To overcome these shortcomings, we reduced dimension as we apply PCA to the normalized images, and apply LDA to the compressed images, therefore it is possible for us to do real-time recognition, and we are also capable of improving recognition rates. We have experimented using self-organized DAUface database to evaluate the performance of the proposed system. The experimental results show that the proposed method outperform PCA, LDA and ICA method within the framework of recognition accuracy.

온라인 댓글의 주제 분석을 위한 토픽 모델링 : 이슈 포착과 분류에 활용 가능한 LDA와 BTM의 비교와 검증

이신행 한국언론학회 2023 한국언론학보 Vol.67 No.4

Using computers to rapidly and efficiently build a model to organize massive volumes of textual data, topic modeling is an unsupervised machine learning technique that can be used to classify texts into related themes or to analyze the nature and distribution of topics. However, topic modeling's usage in media research has recently come under fire for failing to take into account reliable and valid measures of theoretically defined concepts. This means that topic modeling needs methodological validation and reliability in order to be employed in media research as a tool for investigating and summarizing massive volumes of textual material. Additionally, it is helpful to be able to group online comments into "issues" and list their important points in order to quickly identify social issues and monitor discourse patterns in real-time on digital platforms. For this reason, attempts to diagnose the methodological validity of topic modeling for analyzing the topics of comments are of great significance. Therefore, this study validates topic modeling for analyzing online comments by verifying its performance as follows. First, we discussed why topic analysis of comments is necessary and what the implications are through the conceptualization of "issues" in the context of online comments. Then, with an emphasis on the Latent Dirichlet Allocation (LDA) model, we reviewed the principle of topic modeling to estimate the topic of text and the assumptions of statistical models that affect topic estimation. Additionally, we contrasted the merits and drawbacks of LDA and the Biterm Topic Model (BTM) to suggest topic modeling as a means of identifying the subject of comments and categorizing them as "issues." Based on the above theoretical discussion, we applied topic modeling to analyze 9,000 online news comments on articles covering nine social issues and validate whether the topics are useful to classify comments according to the "issues" of the news. The results are as follows. First, compared to BTM, LDA is highly dependent on the hyperparameter, , with lower values leading to better model performance. Second, both BTM and LDA were able to estimate the optimal number of topics (K ), but BTM showed less variation in performance with value selection than LDA, and performance degradation was worse when the value was lower than the optimal K than when it was higher. Third, both BTM and LDA performed better when adding bigrams along with unigrams to the vocabulary, but the difference was more pronounced for LDA. Based on these validation results, we assessed the validity of topic modeling for analysis of comments and discussed its implications. 토픽 모델링은 컴퓨터를 이용해 빠르고 쉽게 방대한 양의 정보를 구성하거나 파악하는 모델을 추정하는 비지도 기계학습 방법으로 문서를 비슷한 토픽별로 묶어내거나 토픽의 내용과 분포를 파악하고자 할 때 활용된다. 그런데 토픽 모델링을 미디어 연구에 활용함에 있어 이론적으로 정의된 개념을 타당하고 신뢰할 수 있는 측정하는 방법으로써의 고민이 부족했다는 지적이 최근 제기되고 있다. 대단위 텍스트 자료를 탐색하고 요약하는 도구인 토픽 모델링을 미디어 연구에 활용하기 위해서 방법적 타당성 검증과 신뢰성 확보가 필요하다는 것이다. 더욱이, 온라인 플랫폼을 통해 거대한 규모로 빠르게 발생하고 있는 댓글을 ‘이슈’에 따라 분류하고 그 주요 주제를 요약하는 방법은 사회적 쟁점을 즉각적으로 파악하고 담론 양상을 통시적으로 추적하는데 유용하다. 이러한 이유에서 댓글의 주제를 분석하기 위한 토픽 모델링의 방법적 타당성을 진단하는 시도는 그 의의가 크다고 할 수 있다. 이에 본 연구는 온라인 댓글의 주제 분석을 위한 토픽 모델링 방법을 제시하고 그 성능과 타당성을 다음과 같이 검증했다. 우선, 온라인 댓글의 맥락에서 다뤄지는 ‘이슈’에 대한 개념화를 통해 댓글의 주제 분석이 왜 필요하고 어떠한 함의가 있는 것인지에 대해 논의했다. 그리고 토픽 모델링이 텍스트의 주제를 추정하는 원리와 주제 추정에 영향을 미치는 통계 모델로써의 가정들에 대해 Latent Dirichlet Allocation(LDA) 모델을 중심으로 살펴봤다. 또한 댓글의 주제를 포착하고 ‘이슈’별로 분류하기 위한 토픽 모델링을 제안하고자 LDA와 Biterm Topic Model(BTM)의 성능과 한계를 비교했다. 이상의 이론적 논의를 토대로 9개의 사회적 이슈를 다루고 있는 기사에 달린 9,000건의 온라인 뉴스 댓글을 토픽 모델링으로 분석해 주제를 추정하고 이에 따라 댓글이 뉴스의 ‘이슈’에 따라 분류되는지를 모델별로 비교 검증했다. 그 결과는 다음과 같다. 첫째, BTM에 비해 LDA는 초모수 에 많은 영향을 받았는데 값이 낮아질수록 모델의 성능이 좋아졌다. 둘째, BTM과 LDA 모두 최적의 주제의 개수(K)를 추정할 수 있었으나, BTM이 K값 선정에 따른 성능 변화가 LDA보다 적었고 K값이 최적의 값보다 클 때보다 낮을 때 성능 저하가 심해졌다. 셋째, BTM과 LDA 모두 분석 단어 목록에 단일 형태소와 함께 바이그램(bigram)을 추가할 때 성능이 좋아졌으나 그 차이는 LDA에서 더욱 뚜렸했다. 이러한 검증 결과를 토대로 댓글의 주제 분석을 위한 토픽 모델링의 활용 가능성을 진단하고 그 함의를 논의했다.

LDA 모형의 모형평가 및 잠재집단 해석 방법론에 대한 고찰

김향경(HyangKyung Kim),이우빈(Woobin Lee),이은학(Eunhak Lee),김성용(Seongyong Kim) 한국자료분석학회 2023 Journal of the Korean Data Analysis Society Vol.25 No.4

LDA 모형은 문서 또는 단어의 주제를 파악하기 위해 이용되는 모형으로, 대용량의 데이터를분석할 수 있어 다양한 분야에서 널리 이용되고 있다. 다양한 LDA 모형의 비교를 위해 복잡도(perplexity)가 이용되고 있으나, 이는 오직 적합도만을 나타내 각 문서의 군집화가 얼마나 잘 이루어졌는지 파악하기 어려운 한계점이 있다. 이러한 문제를 해결하기 위해 일관성 척도(coherence measure)들이 제안되었다. 복잡도 및 일관성 척도를 이용한 모형 선택 이후, 군집화된 각 주제의관계 및 의미를 파악하기 위한 도구로 LDAvis가 널리 이용되고 있다. 많은 선행 연구에서 LDA모형에 대한 소개는 충분히 이루어져 왔으나, 모형평가 도구인 일관성 척도와 모형 해석을 위한LDAvis에 대한 소개는 불충분하다. 본 논문에서는 먼저 LDA 모형 및 미니배치 학습방법을 소개하고, 모형평가 도구인 일관성 척도를 소개하도록 한다. 또한 LDAvis에서 주제 간 관계를 파악하기 위해 유사도 측정 방법 및 차원 축소 방법을 소개하고, 각 주제별 상위단어를 파악하기 위해관련성 척도(relevance)를 설명한다. 마지막으로 이미지 주석 데이터에 다양한 초모수에서의 LDA모형을 적합한 후, 일관성 척도를 통해 모형을 비교하고, LDAvis를 통해 각 주제를 해석하였다. LDA model has been widely used to investigate the subject of documents or words in various fields because it can analyze large amounts of data. Although perplexity is used to compare various LDA models, it only presents the goodness of fit, and it is not possible to consider how well each document is clustered. To resolve this problem, coherence measures have been proposed. After model selection using complexity and coherence measures, LDAvis is widely used to understand the relationship and meaning of each topic. Although LDA model has been introduced in many preceding studies, the introduction of the model evaluation method, coherence measure, and LDAvis for model interpretation is not sufficient. In this paper, we first introduce the LDA model and the mini-batch learning method, and introduce the coherence measure. We also introduce LDAvis including similarity measures and dimension reduction method to investigate the relationship between topic. Relevance is also explained to present the top words for each topic. Finally, after fitting the LDA model at various hyper-parameters to the image annotation data, the models were compared through coherence measures, and each subject was interpreted using LDAvis.

효과적인 얼굴 표정 인식을 위한 퍼지 웨이브렛 LDA융합 모델 연구

노종흔(Jong-Heun Rho),백영현(Young-Hyun Baek),문성룡(Sung-Ryong Moon) 한국지능시스템학회 2006 한국지능시스템학회논문지 Vol.16 No.6

본 논문에서는 퍼지 소속 함수와 웨이브렛 기저를 이용한 효과적인 얼굴 표정 인식 LDA 융합모델을 제안하였다. 제안된 알고리즘은 최적의 영상을 얻기 위해 퍼지 웨이브렛 알고리즘을 수행하고, 표정 검출은 얼굴 특징 추출단계와 얼굴표정인식 단계로 구성된다. 본 논문에서 얼굴 표정이 담긴 영상을 PCA를 적용하여 고차원에서 저차원의 공간으로 변환 후, LDA 특성을 이용하여 클래스 별로 특정벡터를 분류한다. LDA 융합 모델은 얼굴 표정인식단계는 제안된 LDA융합모델의 특징 벡터에 NNPC를 적용함으로서 얼굴 표정을 인식한다. 제안된 알고리즘은 6가지 기본 감정(기쁨, 화남, 놀람, 공포, 슬픔, 혐오)으로 구성된 데이터베이스를 이용해 실험한 결과, 기존알고리즘에 비해 향상된 인식률과 특정 표정에 관계없이 고른 인식률을 보임을 확인하였다. In this paper, it is proposed an effective face expression recognition LDA mixed mode using a triangularity membership fuzzy function and wavelet basis. The proposal algorithm gets performs the optimal image, fuzzy wavelet algorithm and Expression recognition is consisted of face characteristic detection step and face Expression recognition step. This paper could applied to the PCA and LDA in using some simple strategies and also compares and analyzes the performance of the LDA mixed model which is combined and the facial expression recognition based on PCA and LDA. The LDA mixed model is represented by the PCA and the LDA approaches. And then we calculate the distance of vectors dPCA, dLDA from all faces in the database. Last, the two vectors are combined according to a given combination rule and the final decision is made by NNPC. In a result, we could showed the superior the LDA mixed model can be than the conventional algorithm.

국내 기록관리학 연구동향 분석을 위한 토픽모델링 기법 비교 - LDA와 HDP를 중심으로 -

박준형,오효정 한국도서관·정보학회 2017 한국도서관정보학회지 Vol.48 No.4

The purpose of this study is to analyze research trends of archives management in Korea by comparing LDA (Latent Semantic Allocation) topic modeling, which is the most famous method in text mining, and HDP (Hierarchical Dirichlet Process) topic modeling, which is developed LDA topic modeling. Firstly we collected 1,027 articles related to archives management from 1997 to 2016 in two journals related with archives management and four journals related with library and information science in Korea and performed several preprocessing steps. And then we conducted LDA and HDP topic modelings. For a more in-depth comparison analysis, we utilized LDAvis as a topic modeling visualization tool. At the results, LDA topic modeling was influenced by frequently keywords in all topics, whereas, HDP topic modeling showed specific keywords to easily identify the characteristics of each topic. 본 연구에서는 최근 각광을 받고 있는 텍스트마이닝 기법인 LDA 토픽모델링과 이를 변형한 HDP 토픽모델링을 적용하여 국내 기록관리학의 연구동향을 분석하고자 한다. 이를 위해 국내 기록관리학 관련 학술지 2종과 문헌정보학 관련 학술지 4종에서 1997년부터 2016년까지 발표된 기록관리학 관련 논문 1,027건을 수집하고 적절한 전처리과정을 거친 후 LDA 토픽모델링과 HDP 토픽모델링을 각각 수행하였다. 또한 토픽모델링 시각화 도구인 LDAvis를 활용하여 토픽별 거리를 가시적으로 표현하고 세부 대표 키워드를 분석하였다. 두 토픽모델링을 비교한 결과, LDA 토픽모델링은 전반적으로 해당 도메인을 대표하는 주요 키워드로 빈도수에 영향을 많이 받았으며, HDP 토픽모델링은 각 토픽별 특징을 파악할 수 있는 특수한 키워드가 많이 도출되었다. 이를 통해 LDA는 국내 기록관리학 내에 거시적으로 대표되는 주제들을, HDP는 세부 주제별 미시적인 핵심 키워드를 도출하는데 효과적임을 알 수 있었다.

단문의 주제 분석을 위한 LDA와 BTM 토픽모형 평가

문길성(Gil-Seong Mun) 한국자료분석학회 2021 Journal of the Korean Data Analysis Society Vol.23 No.3

토픽 모형은 대량의 문서 집합에서 잠재된 주제를 발견하기 위한 비지도학습의 하나이며, 가장 많이 이용되고 있는 모형은 LDA(Latent Dirichlet Allocation)인 것으로 알려져 있다. LDA는 문서 수준에서 단어의 동시 출현 패턴에 기반을 둔 모형이어서 길이가 긴 문서에서는 효과적으로 이용될 수 있으나, 트윗이나 인스턴트 메시지와 같은 길이가 짧은 문서에는 단어의 동시 출현이 희박하고 자주 사용되지 않는 단어의 출현으로 인하여 양질의 주제 추론이 어렵다는 한계가 있다. 이 문제를 개선하기 위한 하나의 대안으로 BTM(Bi-term Topic Model)이 있다. BTM은 bi-term을 사용하여 단어의 동시 발생을 모델링하고, 주제를 찾기 위하여 이러한 단어의 동시 발생 패턴을 bi-term의 말뭉치에서 집계한다. 본 연구의 목적은 LDA와 BTM의 성능을 비교하고 한국어 기반의 텍스트 데이터에서 BTM의 활용 가능성을 검토하는 데 있다. 이를 위하여 토픽의 질을 양적으로 측정할 수 있는 측도들을 검토하고 실제 자료에 적용하여 두 모형을 평가하였다. 평가결과, 주제 일관성과 문서 분류의 정확성 모두 BTM이 LDA 보다 우수한 것으로 나타났다. 이러한 결과는 단문에서 양질의 토픽을 추출하는 방법으로 BTM의 활용 가능성이 있음을 시사한다. Topic modeling is an unsupervised technique for discovering the underlying topics that occur in a collection of documents, and one popular model is known as LDA (Latent Dirichlet Allocation). It can be used effectively on a variety of long document types because the model implicitly captures the document-level word co-occurrence patterns to reveal topics. The model, however, may have difficulty extracting topics due to the severe data sparsity in short texts such as tweets and instant messages. An alternative to improve this problem is to BTM (Bi-term Topic Model). BTM models the word co-occurrence by using the explicit bi-term, and aggregate these word co-occurrence patterns in the corpus for topic discovering. This study is to compare the performance of LDA and BTM and explore the availability of BTM in Korean-based text data. We reviewed the measures to quantitatively represent the quality of the topics, and evaluated the two models based on real data. As a result, BTM outperformed LDA on short texts, using topic coherence and document classification accuracy as performance measures. The results suggest the availability of BTM to extract topics from short texts.

Optimization of LDA Model of Science & Technology Knowledge Base

Sang-Gi Lee,Kang-Ryul Shon,Chul-Su Lim 한국정보통신학회 2017 2016 INTERNATIONAL CONFERENCE Vol.9 No.1

The Korea Institute of Science and Technology Information (KISTI) has established latent Dirichlet allocation (LDA)-based science & technology knowledge base for efficient information search by grouping the science and technology data by topic and measuring similarity among them. However, the construction of knowledge base by measuring LDAbased similarity among the huge amount of science and technology data (approximately 100 million data) requires tremendous time and efforts. Therefore, efficiency is essential. In case of LDA, in particular, there is considerable difference in execution time depending on what kinds of LDA and matrix libraries are chosen. Therefore, they should be considered at LDA modeling. This study comparatively tested the two libraries to shorten the time needed to construct LDA-based science and technology knowledge information base and selected high-performance Mallet LDA and jblas matrix libraries. They were used in constructing LDA-based science and technology knowledge base, and processing time was significantly reduced.

A Spatial Regularization of LDA for Face Recognition

Lae-Jeong Park 한국지능시스템학회 2010 INTERNATIONAL JOURNAL of FUZZY LOGIC and INTELLIGE Vol.10 No.2

This paper proposes a new spatial regularization of Fisher linear discriminant analysis (LDA) to reduce the overfitting due to small size sample (SSS) problem in face recognition. Many regularized LDAs have been proposed to alleviate the overfitting by regularizing an estimate of the within-class scatter matrix. Spatial regularization methods have been suggested that make the discriminant vectors spatially smooth, leading to mitigation of the overfitting. As a generalized version of the spatially regularized LDA, the proposed regularized LDA utilizes the non-uniformity of spatial correlation structures in face images in adding a spatial smoothness constraint into an LDA framework. The region-dependent spatial regularization is advantageous for capturing the non-flat spatial correlation structure within face image as well as obtaining a spatially smooth projection of LDA. Experimental results on public face databases such as ORL and CMU PIE show that the proposed regularized LDA performs well especially when the number of training images per individual is quite small, compared with other regularized LDAs.

실시간 얼굴인식 시스템을 위한 새로운 LINF 알고리즘의 제안

장혜경,강대성,Jang Hye-Kyoung,Kang Dae-Seong 대한전자공학회 2005 電子工學會論文誌-SP (Signal processing) Vol.42 No.4

본 논문에서는 실시간 얼굴인식 시스템을 위한 새로운 LINF(Linear Independent Non-negative Factorization) 알고리즘을 제안한다. 시스템은 크게 얼굴추출 부분과 얼굴인식 부분으로 구성 되어 있으며, 얼굴추출 부분에는 차영상, 눈과 입의 영역 검출 그리고 정규화 방법을 사용하였고, 얼굴인식 부분에는 추출된 얼굴 후보 영역 영상에 LINF 를 적용하였다. 기존의 PCA(Principal Component Analysis)만을 사용한 인식시스템은 낮은 인식률을 보였으며, LDA(Linear Discriminants Analysis)만을 사용한 인식시스템에서는 학습데이터의 수에 비하여 영상의 화소 개수가 많은 경우 LDA를 그대로 적용하기 곤란하였다. 이러한 단점을 극복하기 위하여, 본 논문에서 제안하는 시스템은 기존의 고유얼굴과 달리 비음수 값을 갖는 행렬로 차원을 축소하여 LDA를 적용하였다. 제안한 시스템의 성능을 평가하기 위하여 자체 제작한 DAUface 데이터베이스와 영국 Cambridge 에 있는 AT&T 연구소에서 제공하는 ORL 데이터베이스를 가지고 실험을 하였다. 실험 결과, 제안된 방법이 PCA 방법과 LDA 방법, ICA(Independent Component Analysis) 방법, 그리고 PLMA(PCA-based LDA mixture algorithm)에 비해 인식률이 상당히 우수함을 알 수 있었다. In this paper, we propose a new LINF(Linear Independent Non-negative Factorization) algorithm for real-time face recognition systea This system greatly consists of the two parts: 1) face extraction part; 2) face recognition part. In the face extraction Part we applied subtraction image, the detection of eye and mouth region , and normalization method, and then in the face recognition Part we used LINF in extracted face candidate region images. The existing recognition system using only PCA(Principal Component Analysis) showed low recognition rates, and it was hard in the recognition system using only LDA(Linear Discriminants Analysis) to apply LDA directly when the training set is small. To overcome these shortcomings, we reduced dimension as the matrix that had non-negative value to be different from former eigenfaces and then applied LDA to the matrix in the proposed system We have experimented using self-organized DAIJFace database and ORL database offered by AT(')T laboratory in Cambridge, U.K. to evaluate the performance of the proposed system. The experimental results showed that the proposed method outperformed PCA, LDA, ICA(Independent Component Analysis) and PLMA(PCA-based LDA mixture algorithm) method within the framework of recognition accuracy.