빠른 학습을 위한 1-Slack One-Class SVM

이창기(Changki Lee) 한국정보과학회 2013 정보과학회 컴퓨팅의 실제 논문지 Vol.19 No.5

One-class SVM은 데이터가 존재하는 영역을 추출하고, 이 영역을 서포트 벡터로 표현하며 표현된 영역 밖의 데이터들은 아웃라이어(outlier)로 간주된다. 본 논문에서는 One-class SVM의 성능은 그대로 유지하면서 대용량의 학습데이터에서 빠른 학습을 하기 위한 1-slack one-class SVM을 제안한다. 실험결과 One-class SVM과 1-slack one-class SVM 수행 결과가 거의 같으며, 대용량의 학습데이터에서 1-slack one-class SVM이 일반 One-class SVM보다 학습속도가 훨씬 빠름을 알 수 있었다. Training one-class support vector machine (one-class SVM) involves solving a quadratic programming (QP) problem. By increasing the number of training samples, solving this QP problem becomes intractable. In this paper, we reformulate a standard one-class SVM and derive a 1-slack one-class SVM. The 1-slack oneclass SVM fixes the bias term ρ =1 and replaces the n cutting-plane models of the hinge-loss with a single cutting plane model for the sum of the hinge-losses. Experimental results showed that the 1-slack one-class SVM is much faster than the standard one-class SVM without loss of performance.

은닉변수를 이용한 Latent One-Class SVM

이창기(Changki Lee) 한국정보과학회 2013 정보과학회논문지 : 소프트웨어 및 응용 Vol.40 No.8

One-class SVM은 데이터가 존재하는 영역을 추출하고, 이 영역을 서포트 벡터로 표현하며 표현된 영역 밖의 데이터들은 아웃라이어(outlier)로 간주된다. 본 논문에서는 데이터 포인트마다 은닉 변수(hidden variable) 혹은 토픽(topic)이 있다고 가정하고, 이를 반영하기 위해 PoMEN에 기반을 둔 Latent One-class SVM을 제안한다. Latent One-class SVM은 베이지안 형태의 학습과 max-margin 형태 학습이 결합된 것으로 학습을 위해 EM 알고리즘과 유사한 학습 알고리즘을 사용하며 내부적으로 기존의 One-class SVM의 학습 알고리즘을 서브루틴으로 사용한다. 실험결과 Latent One-class SVM이 대부분의 구간에서 One-class SVM 보다 성능이 높았으며, 특히 거짓 긍정률이 낮고 참 긍정률이 낮지 않은 구간에서 더욱 효과적임을 알 수 있었다. One-class SVM estimates the region in the input space where the sample reside. One-class SVM uses only positive examples in training. In this paper, we present a latent one-class SVM that attempts to combine the advantages of Baysian-style learning and max-margin learning. The latent one-class SVM leads to an averaging prediction rule that resembles a Bayes predictor. We develop an EM-style algorithm utilizing existing convex optimization algorithm for a standard one-class SVM as a subroutine. We show that the latent one-class SVM outperforms a standard one-class SVM on real world OCR and URL data set.

퍼지 원 클래스 서포트 백터 머신

김기주 ( Kijoo Kim ),최영식 ( Youngsik Choi ) 한국인터넷정보학회 2005 인터넷정보학회논문지 Vol.6 No.3

OC-SVM(One Class Support Vector Machine)은 주어진 전체 데이터의 분포를 측정하는 대신에, 데이터 분포의 서포트(support)를 측정하는 기술로서 주어진 데이터를 가장 잘 설명할 수 있는 최적의 서포트 벡터(support vector)를 구하는 기술이다. OC-SVM은 데이터 분포의 표현에 아주 뛰어난 접근 방법이지만, 사람의 주관적인 중요도를 반영하는 것은 힘들다. 본 논문에서는 각 데이터에 퍼지 맴버쉽(fuzzy membership)을 적용하여 기존의 OC-SVM에 사용자의 주관적인 중요도를 표현할 수 있는 FOC-SVM(Fuzzy One Class Support Vector Machine)을 유도 하였다. FOC-SVM은 데이터들을 동등하게 다루는 것이 아니라, 데이터 객체의 중요도에 따라 데이터를 다룬다. 즉, 덜 중요한 데이터의 특징 벡터는 OC-SVM의 처리과정에 덜 기여하도록 하기 위하여, 객체의 중요도에 따라 특징 벡터의 크기를 조정하였다. 이를 증명하기 위하여 가상의 데이터를 가지고 실험을 하였고, 실험 결과는 예측된 결과를 보여 주었다. OC-SVM(One Class Support Vector Machine) avoids solving a full density estimation problem, and instead focuses on a simpler task, estimating quantiles of a data distribution, i.e. its support. OC-SVM seeks to estimate regions where most of data resides and represents the regions as a function of the support vectors. Although OC-SVM is powerful method for data description, it is difficult to incorporate human subjective importance into its estimation process. In order to integrate the importance of each point into the OC-SVM process, we propose a fuzzy version of OC-SVM. In FOC-SVM (Fuzzy One-Class Support Vector Machine), we do not equally treat data points and instead weight data points according to the importance measure of the corresponding objects. That is, we scale the kernel feature vector according to the importance measure of the object so that a kernel feature vector of a less important object should contribute less to the detection process of OC-SVM. We demonstrate the performance of our algorithm on several synthesized data sets. Experimental results showed the promising results.

Least Squares Fuzzy One-class Support Vector Machine for Imbalanced Data

Jingjing Zhang,Kuaini Wang,Wenxin Zhu,Ping Zhong 보안공학연구지원센터 2015 International Journal of Signal Processing, Image Vol.8 No.8

Based on fuzzy one-class support vector machine (SVM) and least squares (LS) one-class SVM, we propose an LS fuzzy one-class SVM to deal with the class imbalanced problem. The LS fuzzy one-class SVM applies a fuzzy membership to each sample and attempts to solve the modified primal problem. Hence, we just need to solve a system of linear equations as opposed solving the quadratic programming problem (QPP) in fuzzy one-class SVM, which leads to an extremely simple and fast algorithm. Numerical experiments on several benchmark data sets demonstrate the feasibility and effectiveness of the proposed algorithm.

중요도 기반 퍼지 원 클래스 서포트 벡터 머신을 이용한 비디오 요약 기술

김기주 ( Kijoo Kim ),최영식 ( Youngsik Choi ) 한국인터넷정보학회 2011 인터넷정보학회논문지 Vol.12 No.5

본 논문에서는 비디오 요약을 시각적으로 특징이 있고 주관적으로 중요한 비디오 세그먼트 집합을 구하는 새로운 요약방식을 기술한다. 시각적으로 특징이 있는 데이터 포인트를 찾기 위해 novelty detection으로 잘 알려져 있는 OC-SVM(One-Class Support Vector Machine)을 사용할 수 있다. 그러나 OC-SVM의 처리과정에 비디오 세그먼트에 대한 사용자의 주관적인 중요도를 반영하기는 어렵다. OC-SVM의 처리과정에 사용자의 주관적 중요성을 반영하기 위해서, 본 논문에서는 OC-SVM의 퍼지 버전을 유도한다. IFOC-SVM(Importance-based Fuzzy One-Class Support Vector Machine)은 비디오 세그먼트의 중요도에 따라 각 데이터 포인트에 가중치를 부여하고 데이터 분포의 서포트를 측정한다. 이때, 구해진 서포트 벡터는 비디오 세그먼트의 중요도와 시각적 특징 관점에서 비디오의 내용을 축약하여 표현한다. 제안된 알고리즘의 성능을 증명하기 위하여 가상의 데이터들과 다양한 종류의 비디오들을 가지고 실험하였다. 실험 결과는 제안하는 방법의 성능이 다른 비디오요약의 성능보다 우수함을 보여주었다. In this paper, we address a video summarization task as generating both visually salient and semantically important video segments. In order to find salient data points, one can use the OC-SVM (One-class Support Vector Machine), which is well known for novelty detection problems. It is, however, hard to incorporate into the OC-SVM process the importance measure of data points, which is crucial for video summarization. In order to integrate the importance of each point in the OC-SVM process, we propose a fuzzy version of OC-SVM. The Importance-based Fuzzy OC-SVM weights data points according to the importance measure of the video segments and then estimates the support of a distribution of the weighted feature vectors. The estimated support vectors form the descriptive segments that best delineate the underlying video content in terms of the importance and salience of video segments. We demonstrate the performance of our algorithm on several synthesized data sets and different types of videos in order to show the efficacy of the proposed algorithm. Experimental results showed that our approach outperformed the well known traditional method.

Privacy-Preserving One-Class Support Vector Machine with Horizontally Partitioned Data

Qiang Lin,Huimin Pei,Kuaini Wang,Ping Zhong 보안공학연구지원센터 2016 International Journal of Signal Processing, Image Vol.9 No.9

We propose a new algorithm of privacy-preserving one-class support vector machine (SVM) with horizontally partitioned data. Every participant holds a part of data with all the data attributes. They apply the same random matrix to establish their own kernel matrix. By sharing these partial kernel matrices, we generate a global kernel matrix and establish two privacy-preserving one-class SVM models, which include the linear model and the nonlinear model. Partial kernel matrix can protect the privacy of the participants, and the global kernel matrix can ensure the classification accuracy. Experimental results on benchmark data sets indicate the effectiveness of the proposed algorithms.

Privacy-Preserving One-Class Support Vector Machine with Vertically Partitioned Data

Qiang Lin,Huimin Pei,Kuaini Wang,Ping Zhong 보안공학연구지원센터 2016 International Journal of Multimedia and Ubiquitous Vol.11 No.5

We establish a new model of privacy-preserving one-class support vector machine (SVM) based on vertically partitioned data. Every participant holds all the data with a part of attributes. They apply different random matrices to establish their own kernel matrix. By sharing these partial kernel matrices, we construct a global kernel matrix and establish linear and nonlinear privacy-preserving models. Experimental results on benchmark data sets verify the validity of the proposed models.

Evaluation of multi‑class support‑vector machines strategies and kernel adjustment levels in hand posture recognition by analyzing sEMG signals acquired from a wearable device

Thays Falcari,Osamu Saotome,Ricardo Pires,Alexandre Brincalepe Campo 대한의용생체공학회 2020 Biomedical Engineering Letters (BMEL) Vol.10 No.2

One-vs-One (OVO) and One-vs-All (OVA) are decomposition methods for multi-class strategies used to allow binarySupport-Vector Machines (SVM) to transform a given k-class problem into pairwise small problems. In this context, thepresent work proposes the analysis of these two decomposition methods applied to the hand posture recognition problem inwhich the sEMG data of eight participants were collected by means of an 8-channel armband bracelet located on the forearm. Linear, Polynomial and Radial Basis Function kernels functions and its adjustments level were implemented combined tothe strategies OVO and OVA to compare the performance of the SVM when mapping posture data into the classifi cationspaces spanned by the studied kernels. Acquired sEMG signals were segmented considering 0.16 s e 0.32 s time windows. Root Mean Square (RMS) feature was extracted from each time window of each posture and used for SVM training. Thepresent work focused in investigating the relationship between the multi-class strategies combined to kernels adjustmentslevels and SVM classifi cation performance. Promising results were observed using OVA strategy which presents a reducednumber of binary SVM implementation achieved a mean accuracy of 97.63%.

산불발생위험 추정을 위한 위성기반 가뭄지수 개발

박수민,손보경,임정호,이재세,이병두,권춘근 대한원격탐사학회 2019 大韓遠隔探査學會誌 Vol.35 No.6

Drought is one of the factors that can cause wildfires. Drought is related to not only the occurrence of wildfires but also their frequency, extent and severity. In South Korea, most wildfires occur in dry seasons (i.e. spring and autumn), which are highly correlated to drought events. In this study, we examined the relationship between wildfire occurrence and drought factors, and developed satellite-based new drought indices for assessing wildfire risk over South Korea. Drought factors used in this study were high-resolution downscaled soil moisture, Normalized Different Water Index (NDWI), Normalized Multi-band Drought Index (NMDI), Normalized Different Drought Index (NDDI), Temperature Condition Index (TCI), Precipitation Condition Index (PCI) and Vegetation Condition Index (VCI). Drought indices were then proposed through weighted linear combination and one-class support vector machine (One-class SVM) using the drought factors. We found that most drought factors, in particular, soil moisture, NDWI, and PCI were linked well to wildfire occurrence. The validation results using wildfire cases in 2018 showed that all five linear combinations produced consistently good performance (> 88% in occurrence match). In particular, the combination of soil moisture and NDWI, and the combination of soil moisture, NDWI, and precipitation were found to be appropriate for representing wildfire risk. 가뭄은 산불을 일으킬 수 있는 요소 중 하나로, 산불의 빈도 및 피해 면적과 연관성이 있다. 특히, 우리나라는 가뭄이 주로 발생하는 건조한 봄과 가을에 산불이 많이 발생하고, 그 중 일부는 강풍을 동반하여 대형산불로 번지는 경향을 보인다. 따라서 본 연구에서는 우리나라를 대상으로 산불발생 및 면적과 가뭄 변수의 관련성을 파악하고, 우리나라에 적합한 가뭄 변수를 이용하여 산불발생위험 추정을 위한 위성기반의 가뭄지수를개발하였다. 사용한 가뭄 변수는 다운스케일링(downscaling)한 고해상도의 토양수분, Normalized Different Water Index(NDWI), Normalized Multi-band Drought Index(NMDI), Normalized Different Drought Index(NDDI), Temperature Condition Index(TCI), Precipitation Condition Index(PCI), Vegetation Condition Index(VCI)이며, 경험적 가중 선형조합(Weighted Linear Combination) 및 One-class SVM을 통해 지수 개발을 하였다. 2013년부터 2017 년 기간 동안의 변수를 이용하여 상관성 분석을 통해 대부분의 가뭄 변수가 산불 발생에 유의미한 결과를 보임을 확인했으며, 특히 토양수분과 NDWI, PCI가 우리나라 산불과 상관성을 보였다(88 % 이상 일치함). 개발된지수를 2018년 산불 발생 건에 대해 적용한 결과, 다섯 가지의 선형조합 중에서 토양수분과 NDWI의 조합이 시공간적으로 적합한 것으로 나타났으며, One-class SVM은 대형산불에 적합한 것으로 나타났다.

스마트워치 기반 COVID-19 전조 증상 탐지를 위한 이상탐지 기술의 성능 비교

조형래,김진현,한용섭,강태신 한국정보과학회 2022 정보과학회 컴퓨팅의 실제 논문지 Vol.28 No.7

One of the characteristics of the recent variants of COVID-19 in 2022 is that the variants are highly contagious. In particular, asymptomatic patients of COVID-19 are presenting a new challenge in overcoming COVID-19. The smartwatch has become increasingly popular and provided various health-related functions. For this reason, it is emerging as an alternative to the constant monitoring of health conditions. This purpose of this paper is to compare the detection performance of three anomaly detection techniques that are based on Mahalanobis Distance, Mahalanobis Distance with Mean Covariance Determinant, and One-Class Support Vector Machine, respectively. From this comparison, for the datasets of COVID-19 pre-symptomatic detection through smartwatches opened by Department of Genetics, Stanford University School of Medicine, USA, we can conclude that the anomaly detection based on OC-SVM outperforms the other techniques by 18.5% in the early detection rate. 2022년 현재 다양한 COVID-19 변종은 강한 전파력을 그 특징으로 한다. 특히 증세가 뚜렷이 나타나지 않은 감염자는 COVID-19 극복에 새로운 도전이 되고 있다. 최근 점점 대중화 되고 있는 스마트워치는 최근 건강을 모니터링하는 다양한 기능을 제공하고 있으며, 질병의 상시 탐지나 모니터링을 위한 대안으로 떠오르고 있다. 본 논문에서는 스마트워치에서 얻을 수 있는 기본 비이털 사인을 근거로 COVID-19을 진단 및 예측할 수 있는 세 가지 이상탐지(Anomaly detection)기법-마할라노비스 거리, 마할라노비스 거리 기반 MCD (최소 공분산 추정), OC-SVM (One Class Support Vector Machine)-을 비교 분석한다. 이 비교를 통해 미국 스탠포드 의과대학 유전학과에서 공개한 스마트워치를 통한 COVID-19 증상 전 감지 데이터 세트에 대해 OC-SVM을 기반으로 한 이상 감지가 다른 기술보다 조기 감지율이 18.5% 더 우수하다는 결론을 내릴 수 있다.