SVM 분류기를 통한 심실세동 검출

송미혜,이전,조성필,이경중,Song, Mi-Hye,Lee, Jeon,Cho, Sung-Pil,Lee, Kyoung-Joung 대한전자공학회 2005 電子工學會論文誌-SC (System and control) Vol.42 No.5

심실세동은 심장의 무질서한 전기적 활동으로 인해 심근 수축이 동시에 이뤄지지 않게 되어 급성심장사에 이르게 하는 부정맥이다. 본 연구에서는 이러한 심실세동 검출을 위해 적은 양의 학습 데이터만으로 좋은 분류 성능을 보이는 SVM(Support Vector Machine) 분류기 기반의 심실세동 검출 알고리즘을 제안하였다. 심전도 신호로부터 SVM 분류기에 입력할 입력 특징을 추출하기 위하여 웨이브렛 변환기반의 대역통과 필터링, R점 검출, 입력 특징 추출구간 설정의 전처리 과정을 수행하였으며 입력 특징으로는 리듬 기반의 정보 및 웨이브렛 변환 계수를 선택하였다. SVM 다원분류기는 정상리듬(NSR) 분류기, 심실 세동과 유사한 심실빈맥(VT) 분류기, 심실세동(VF) 분류기 그리고 그 외 부정맥 분류기로 구성하였다. SVM 분류기의 파라미터 C값과 ${\alpha}$값은 실험을 통하여 최고 성능을 나타내는 C=10, ${\alpha}=1$을 선택하였다. SVM 다원 분류기를 통한 정상리듬, 심실빈맥 심실세동의 검출 평균값은 98.39%, 96.92%, 99.88%의 우수한 검출 성능을 나타냈다. 본 연구에서 제안된 동일 입력특징을 사용하여 SVM 분류기의 심실세동 검출 결과와 다층퍼셉트론 신경망 및 퍼지추론 방법에 의한 결과를 비교하였으며 SVM 분류기가 비슷하거나 우수한 결과를 보였다. 또한 기존 다른 알고리즘에 비하여도 우수한 결과를 보임으로써 제안된 입력 특징을 통한 SVM 분류기 기반의 심실세동 검출이 유용함을 확인할 수 있었다. Ventricular fibrillation(VF) is generally caused by chaotic behavior of electrical propagation in heart and may result in sudden cardiac death. In this study, we proposed a ventricular fibrillation detection algorithm based on support vector machine classifier, which could offer benefits to reduce the teaming costs as well as good classification performance. Before the extraction of input features, raw ECG signal was applied to preprocessing procedures, as like wavelet transform based bandpass filtering, R peak detection and segment assignment for feature extraction. We selected input features which of some are related to the rhythm information and of others are related to wavelet coefficients that could describe the morphology of ventricular fibrillation well. Parameters for SVM classifier, C and ${\alpha}$, were chosen as 10 and 1 respectively by trial and error experiments. Each average performance for normal sinus rhythm ventricular tachycardia and VF, was 98.39%, 96.92% and 99.88%. And, when the VF detection performance of SVM classifier was compared to that of multi-layer perceptron and fuzzy inference methods, it showed similar or higher values. Consequently, we could find that the proposed input features and SVM classifier would one of the most useful algorithm for VF detection.

다중 분류기 시스템을 이용한 자동 문서 분류

김인철,Kim, In-Cheol 한국정보처리학회 2004 정보처리학회논문지B Vol.11 No.5

단일 분류기에 비해 높은 분류성능을 얻기 위해 다수의 분류기들을 결합하여 사용하는 방법은 폭넓게 이용되어 온 기술이다. 하나의 다중 분류기 시스템을 구성하는 일은 다음 두 가지 문제들을 가지고 있다. 첫째는 어떻게 기반 분류기들을 생성하느냐 하는 것이고 둘째는 이들의 예측결과를 어떻게 결합하느냐 하는 것이다. 본 논문에서는 Bagging, Boosting, Stacking 등 기존의 대표적인 다중 분류기 시스템들의 특징을 살펴보고, 문서 분류를 위한 새로운 다중 분류기 시스템들인 Stacked Bagging, Stacked Boosting, Bagged Stacking, Boosted Stacking들을 제안한다. 이들은 Bagging, Boosting, Stacking과 같은 기존 다중 분류기 시스템들의 장점들을 결합한 일종의 혼합형 다중 분류기 시스템들이다. 본 논문에서는 제안된 다중 분류기 시스템들의 성능을 평가하기 위해 MEDLINE, 유즈넷 뉴스, 웹 문서 등의 문서집합을 이용한 문서 분류 실험들을 전개하였다. 그리고 이러한 실험결과를 통해 제안한 혼합형 다중 분류기 시스템들은 전반적으로 기존 시스템들보다 우수한 성능을 보이는 것으로 나타났다. Combining multiple classifiers to obtain improved performance over the individual classifier has been a widely used technique. The task of constructing a multiple classifier system(MCS) contains two different Issues how to generate a diverse set of base-level classifiers and how to combine their predictions. In this paper, we review the characteristics of existing multiple classifier systems : Bagging, Boosting, and Slaking. For document classification, we propose new MCSs such as Stacked Bagging, Stacked Boosting, Bagged Stacking, Boosted Stacking. These MCSs are a sort of hybrid MCSs that combine advantages of existing MCSs such as Bugging, Boosting, and Stacking. We conducted some experiments of document classification to evaluate the performances of the proposed schemes on MEDLINE, Usenet news, and Web document collections. The result of experiments demonstrate the superiority of our hybrid MCSs over the existing ones.

혼합분류기 기반 영상내 움직이는 객체의 혼잡도 인식에 관한 연구

안태기(Tae-ki An),안성제(Seong-je Ahn),박광영(Kwang-young Park),박구만(Goo-man Park) 한국통신학회 2012 韓國通信學會論文誌 Vol.37 No.2A

혼합분류기를 이용한 패턴인식은 약한 분류기를 결합하여 강한 분류기를 구성하는 형태이다. 본 논문에서는 고정된 카메라를 통해 입력된 영상을 이용하여 특징을 추출하고 이것들을 이용한 약한 분류기의 결합으로 강한 분류기를 만들어 낸다. 제안하는 시스템 구성은 차영상 기법을 이용해서 이진화된 전경 영상을 얻고 모폴로지 침식연산 수행으로 얻어진 혼잡도 가중치 영상을 이용해 특징을 추출하게 된다. 추출된 특징을 조합하고 혼잡도를 판단하기 위한 모델의 훈련 및 인식을 위한 혼합분류기 알고리즘으로 부스팅 방법을 사용하였다. 혼합 분류기는 약한 분류기의 조합으로 하나의 강한 분류기를 만들어 내는 분류기로서 그림자나 반사 등이 일어나는 환경에서도 잠재적인 특징들을 잘 활용할 수 있다. 제안하는 시스템의 성능실험은 “AVSS 2007“의 도로환경의 차량 영상과 철도환경내의 승강장 영상을 사용하였다. 조명변화가 심한 야외환경과 승강장과 같은 복잡한 환경에서도 시스템의 우수한 성능을 보여주었다. Pattern recognition using ensemble classifiers is composed of strong classifier which consists of many weak classifiers. In this paper, we used feature extraction to organize strong classifier using static camera sequence. The strong classifier is made of weak classifiers which considers environmental factors. So the strong classifier overcomes environmental effect. Proposed method uses binary foreground image by frame difference method and the boosting is used to train crowdedness model and recognize crowdedness using features. Combination of weak classifiers makes strong ensemble classifier. The classifier could make use of potential features from the environment such as shadow and reflection. We tested the proposed system with road sequence and subway platform sequence which are included in “AVSS 2007” sequence. The result shows good accuracy and efficiency on complex environment.

판별 함수를 이용한 문턱치 선정에 의한 약분류기 개선

샴 아디카리(Shyam Adhikari),유현중(Hyeon-Joong Yoo),김형석(Hyongsuk Kim) 한국콘텐츠학회 2010 한국콘텐츠학회논문지 Vol.10 No.12

Viola와 Jones가 사용한 Haar-like 특징 기반 약분류기의 분별력을 개선하기 위하여, 2차 판별식에 기반한 판정 경계(decision boundary) 결정 방법을 제안한다. Viola와 Jones가 부스팅된 약분류기 앙상블을 사용해서 강분류기를 만들 때 사용한 단일 판정 경계 기반 약분류기는 특징 공간을 지나치게 단순하게 해석한 산물이어서 대부분의 경우 최적이 아니며, 객체 클래스와 배경 클래스 간을 효율적으로 분별하기에 흔히 너무 약하다. 이 논문에서 제안하는 2차 판별식 분석에 기반한 방법은 객체 클래스와 배경 클래스사이에 다중 판정 경계를 사용하는 약분류기를 만들어준다. 1000개의 positive 샘플과 3000개의 negative 샘플을 훈련에 사용하고, 500개의 positive와 500개의 negative를 테스트에 사용한 차량 검출 실험을 통해서, 기존의 단일 문턱치 기반 약분류기 방식에 비해, 제안 기법이 더 적은 수의 분류기를 사용하면서도 더 우수한 분류 성능을 제공하는 것을 확인하였다. In this paper, we propose a quadratic discriminant analysis based approach for improving the discriminating strength of weak classifiers based on simple Haar-like features that were used in the Viola-Jones object detection framework. Viola and Jones built a strong classifier using a boosted ensemble of weak classifiers. However, their single threshold (or decision boundary) based weak classifier is sub-optimal and too weak for efficient discrimination between object class and background. A quadratic discriminant analysis based approach is presented which leads to hyper-quadric boundary between the object class and background class, thus realizing multiple thresholds based weak classifiers. Experiments carried out for car detection using 1000 positive and 3000 negative images for training, and 500 positive and 500 negative images for testing show that our method yields higher classification performance with fewer classifiers than single threshold based weak classifiers.

Genetic Algorithm과 다중부스팅 Classifier를 이용한 암진단 시스템

온승엽,지승도,Ohn, Syng-Yup,Chi, Seung-Do 한국시뮬레이션학회 2011 한국시뮬레이션학회 논문지 Vol.20 No.2

생물 및 의학계에서는 생물정보학(bioinformatics)의 데이터 중 혈청 단백질(proteome)에서 추출한 데이터가 질병의 진단에 관련된 정보를 가지고 있고, 이 데이터를 분류 분석함으로 질병을 조기에 진단 할 수 있다고 믿고 있다. 본 논문에서는 혈청 단백질(2-D PAGE: Two-dimensional polyacrylamide gel electrophoresis)로부터 암과 정상을 판별하는 새로운 복합분류기를 제안한다. 새로운 복합 분류기에서는 support vector machine(SVM)와 다층 퍼셉트론(multi-layer perceptron: MLP)와 k-최근 접 이웃(k-nearest neighbor: k-NN)분류기를 앙상블(ensemble) 방법으로 통합하는 동시에 다중 부스팅(boosting) 방법으로 각 분류기를 확장하여 부분류기(subclassifier)의 배열(array)으로서 복합분류기를 구성하였다. 각 부분류기에서는 최적 특성 집합 (feature set)을 탐색하기 위하여 유전 알고리즘(genetic algorithm: GA)를 적용하였다. 복합분류기의 성능을 측정하기 위하여 암연구에서 얻어진 임상 데이터를 복합분류기에 적용하였고 결과로서 단일 분류기 보다 높은 분류 정확도와 안정성을 보여 주었다. It is believed that the anomalies or diseases of human organs are identified by the analysis of the patterns. This paper proposes a new classification technique for the identification of cancer disease using the proteome patterns obtained from two-dimensional polyacrylamide gel electrophoresis(2-D PAGE). In the new classification method, three different classification methods such as support vector machine(SVM), multi-layer perceptron(MLP) and k-nearest neighbor(k-NN) are extended by multi-boosting method in an array of subclassifiers and the results of each subclassifier are merged by ensemble method. Genetic algorithm was applied to obtain optimal feature set in each subclassifier. We applied our method to empirical data set from cancer research and the method showed the better accuracy and more stable performance than single classifier.

선형 행렬 부등식을 이용한 TS 퍼지 분류기 설계

김문환(Moon Hwan Kim),주영훈(Young Hoon Joo),박진배(Jin Bae Park) 한국지능시스템학회 2004 한국지능시스템학회논문지 Vol.14 No.1

본 논문에서는 선형행렬 부등식을 이용한 TS 퍼지 분류기 설계 방법을 제안한다. TS 퍼지 분류기를 설계하기 위해 퍼지 규칙의 후반부 파라메터가 분류기의 성능을 최대로 하도록 동정되어야 한다. 이러한 동정 문제를 해결하기 위해 볼록 최적화 기법이 사용되었다. 후반부 파라메터 동정 문제는 볼록 최적화 문제로 변환되며, 선형행렬 부등식으로 표현된다. 선형행렬 부등식으로 표현된 볼록 최적화 문제는 일반 고유값 문제로 근사화 되며, 일반 고유값 문제를 최적화 함으로써 최소의 분류 에러를 가지는 최적의 후반부 파라메터가 결정된다. 제안된 분류기의 성능을 평가하기 위해 IRIS 데이터와 Wisconsin Breast Cancer Database 데이터에 대한 분류기의 성능을 모의 실험을 통해 확인하였다. 마지막으로, 모의 실험결과 제안된 TS 퍼지 분류기의 성능의 우수성을 확인할 수 있었다. his paper presents a novel design technique for the TS fuzzy classifier via linear matrix inequalities(LMI). To design the TS fuzzy classifier built by the TS fuzzy model, the consequent parameters are determined to maximize the classifier's performance. Differ from the conventional fuzzy classifier design techniques, convex optimization technique is used to resolve the determination problem. Consequent parameter identification problems are first reformulated to the convex optimization problem. The convex optimization problem is then efficiently solved by converting linear matrix inequality problems. The TS fuzzy classifier has the optimal consequent parameter via the proposed design procedure in sense of the minimum classification error. Simulations are given to evaluate the proposed fuzzy classifier; Iris data classification and Wisconsin Breast Cancer Database data classification. Finally, simulation results show the utility of the integrated linear matrix inequalities approach to design of the TS fuzzy classifier.

계층적 구조를 가진 퍼지 패턴 분류기 설계

안태천(Tae-Chon Ahn),노석범(Seok-Beom Roh),김용수(Yong Soo Kim) 한국지능시스템학회 2014 한국지능시스템학회논문지 Vol.24 No.4

본 논문은 단순한 후반부 구조를 가진 퍼지 모델을 계층적 구조로 결합한 퍼지 패턴 분류기를 제안한다. 계층적 구조를 가진 퍼지 패턴 분류기의 기본 구조는 단순한 후반부 구조를 가진 퍼지 모델을 사용하여 전체 패턴 분류기의 구조적 복잡성을 높이지 않도록 설계 하였다. 입력공간을 계층적으로 분할하기 위하여 대표적인 퍼지 클러스터링 알고리즘인 Fuzzy C-Means clustering 기법을 이용하였다. 분할된 퍼지 입력 공간의 하위 구조를 분석하기 위하여 conditional Fuzzy C-Means 클러스터링 기법을 이용하였다. 계층적으로 분할된 퍼지 입력공간에 간단한 구조를 가진 퍼지 패턴 분류기를 적용하여 계층적 구조를 가진 패턴 분류기를 설계한다. 계층적으로 퍼지 모델들을 결합함으로써 입력 공간의 정보 분석을 거시적인 관점에서 시작하여 세부적으로 분석이 가능하게 되었다. 제안된 퍼지 패턴 분류기의 성능을 평가하기 위하여 다양한 기계 학습 데이터를 사용하였다. In this paper, we proposed the new fuzzy pattern classifier which combines several fuzzy models with simple consequent parts hierarchically. The basic component of the proposed fuzzy pattern classifier with hierarchical structure is a fuzzy model with simple consequent part so that the complexity of the proposed fuzzy pattern classifier is not high. In order to analyze and divide the input space, we use Fuzzy C-Means clustering algorithm. In addition, we exploit Conditional Fuzzy C-Means clustering algorithm to analyze the sub space which is divided by Fuzzy C-Means clustering algorithm. At each clustered region, we apply a fuzzy model with simple consequent part and build the fuzzy pattern classifier with hierarchical structure. Because of the hierarchical structure of the proposed pattern classifier, the data distribution of the input space can be analyzed in the macroscopic point of view and the microscopic point of view. Finally, in order to evaluate the classification ability of the proposed pattern classifier, the machine learning data sets are used.

Best-First decision tree 기법을 적용한 심전도 데이터 분류기의 정확도 향상에 관한 연구

이현주 ( Hyunju Lee ),신동규 ( Dongkyoo Shin ),박희원 ( Heewon Park ),김수한 ( Soohan Kim ),신동일 ( Dongil Shin ) 한국인터넷정보학회 2011 인터넷정보학회논문지 Vol.12 No.6

심전도 질환 데이터는 일반적으로 분류기를 사용한 실험이 많다. 심전도 신호는 QRS-Complex와 R-R interval을 추출하는 경우가 많은데 본 실험에서는 R-R interval을 추출하여 실험하였다. 심전도 데이터의 분류기 실험은 일반적으로 SVM(Support Vector Machine)과 MLP(Multilayer Perceptron) 분류기로 수행되지만 본 실험은 정확도 향상을 위해 Random Forest 분류기 알고리즘 중 Decision Tree를 Best-First Decision Tree(B-F Tree)로 수정하여 실험하였다. 그리고 정확도 비교분석을 위해 SVM, MLP, RBF(Radial Basic Function) Network와 Decision Tree 분류기 실험을 같이 수행하였고, 동일한 데이터와 간격으로 실험한 타 논문의 결과와 비교해보았다. 수정한 Random Forest 분류기의 정확도를 다른 네 개의 분류기와 타 논문의 실험과 비교해보니 정확도 부분에서는 Random Forest가 가장 우수하였다. 본 실험의 전처리 과정은 대역통과 필터(Band-pass filter)를 사용하여 R-R interval을 추출하였는데 향후에는 정확한 간격을 추출하기 위한 필터의 연구가 사려된다. Cardiac disorder data are generally tested using the classifier and QRS-Complex and R-R interval which is used in this experiment are often extracted by ECG(Electrocardiogram) signals. The experimentation of ECG data with classifier is generally performed with SVM(Support Vector Machine) and MLP(Multilayer Perceptron) classifier, but this study experimented with Best-First Decision Tree(B-F Tree) derived from the Dicision Tree among Random Forest classifier algorithms to improve accuracy. To compare and analyze accuracy, experimentation of SVM, MLP, RBF(Radial Basic Function) Network and Decision Tree classifiers are performed and also compared the result of announced papers carried out under same interval and data. Comparing the accuracy of Random Forest classifier with above four ones, Random Forest is the best in accuracy. As though R-R interval was extracted using Band-pass filter in pre-processing of this experiment, in future, more filter study is needed to extract accurate interval.

명암도 조절을 통한 베이스 분류기 기반 영상분할기법

이현규,최민국,신병석,이상철 한국차세대컴퓨팅학회 2012 한국차세대컴퓨팅학회 논문지 Vol.8 No.5

본 논문은 패턴인식, 기계학습 분야에서 널리 쓰이는 베이지안 추정 이론에 근거한 가우시안 베이스 분류기와 나이브 베이스 분류기를 활용하여 명암도 조절 기법이 적용된 영상의 자동 분할을 수행하였다. 각 분야 영상에 대한 시각적 특징의 독립성을 확보하는 동시에 효과적인 픽셀별 영역 분할을 달성하기 위해 명암의 밝기만을 입력 데이터로 사용하였으며, 가능도(likelihood)분석을 통해 명암도 기반의 특징 벡터의 유효성을 검증하였다. 이를 기반으로 명암 대비 스트레칭을 적용한 영상의 가능도 선형판별도와 오류 상한, 분류 정확도의 관계분석 실험을 수행하였다. 추가적으로 베이스 분류기에서 나타나는 낮은 사전확률에 대한 고려를 위해 비정보적 나이브 베이스 분류기에 대한 비교실험을 하였으며, 근사모델의 정확도 평가방법(Cross Validation)을 활용한 최종 실험을 수행하여 두 응용분야 영상에 대한 높은 정확도의 분할 결과를 달성하였다.

유전 알고리즘 기반 귀납적 학습 환경에서 분류기의 통합

김영준,Kim, Yeong-Joon 한국정보통신학회 2006 한국정보통신학회논문지 Vol.10 No.3

PROSPECTOR에서 사용한 규칙 형태의 분류 규칙을 습득하기 위한 유전 알고리즘 기반 귀납적 학습 환경에서 다중 분류기 학습법을 구현하였다. 다중 분류기 학습법은 주어진 사례 집합에 대해 다수의 분류기를 습득한 후 이를 이용하여 분류 시스템을 구축함으로써 시스템의 성능을 향상시키는 기법이다. 다중 분류기 학습법의 구현을 위해서는 분류기의 분류 결과를 취합하여 최종 결론을 도출해 내기 위한 기법이 필요하다. 본 논문에서는 각각의 클래스에 대해 분류기가 제공하는 사후 가능성을 취합하여 결론을 도출해 내는 기법과 순위에 기반을 둔 보우팅 기법을 소개하고 다중 분류기 학습법이 유전 알고리즘 기반 귀납적 학습 환경에 미치는 영향을 다수의 사례 집합을 이용하여 평가하였다. We have implemented a multiclassifier learning approach in a GA-based inductive learning environment that learns classification rules that are similar to rules used in PROSPECTOR. In the multiclassifier learning approach, a classification system is constructed with several classifiers that are obtained by running a GA-based learning system several times to improve the overall performance of a classification system. To implement the multiclassifier learning approach, we need a decision-making scheme that can draw a decision using multiple classifiers. In this paper, we introduce two decision-making schemes: one is based on combining posterior odds given by classifiers to each class and the other one is a voting scheme based on ranking assigned to each class by classifiers. We also present empirical results that evaluate the effect of the multiclassifier learning approach on the GA-based inductive teaming environment.