Varimax Rotation and Thereafter: Tutorial on PCA Using Linear Algebra, Visualization, and Python Programming for R and Q analysis

Byung Lee(이병수) 경북대학교 사회과학기초자료연구소 2018 연구방법논총 Vol.3 No.1

주성분 분석(PCA)은 학문 및 실제 목적을 위해 많이 사용되었습니다. 이 사용지침서는 Q 분석에 관심있는 R 학자 뿐만 아니라 PCA를 더 잘 활용하고자 하는 개인에게 도움이 될 것입니다. 많은 상용 통계 패키지가 PCA를 처리할 수 있지만 PCA 코드를 직접 실행하면 PCA에 대한 더 깊게 이해할 수 있습니다. 상업용 통계 패키지에서 PCA 기능을 사용하여 데이터를 입력하고 몇 개의 버튼을 누르기만 하면 통계 결과가 나옵니다. 하지만 PCA에 대한 깊은 이해를 위해서는 개인이 코드를 실행할 때 어떤 일이 일어나는지 알아야합니다. 많은 학자들이 파이썬과 같은 인기있는 프로그래밍 언어에 대한 기본 지식을 보유하고 있을 수 있습니다. 그러나 파이썬 코드는 한 곳에서 깔끔하게 정리되어 모아져 있지 않습니다. 사용자는 인터넷에 흩어져 있는 파이썬 코드를 수집하고 호환성을 위해 조정한 다음 부족한 부분이 있다면 채워야 합니다. 또한 R 분석을 대상으로 한 상업 통계 패키지는 배리맥스 방법을 넘어선, 즉 Q 연구를 위한 이론적 또는 탐색적 분석을 위한 팩터 회전에 사용할 수 없습니다. 이 사용지침서에서는 PCA에 필요한 모든 Python 코드를 제공하면서 결과를 SPSS (Statistical Package for the Social Science)출력과 비교했습니다. 이 사용지침서는 Q 분석을 위한 필수 요소인 팩터 축의 이론적 또는 탐색적 팩터 회전도 다루었습니다. Principal component analysis (PCA) has been heavily used for both academic and practical purposes. This tutorial would help individuals who want to better utilize PCA as well as R scholars interested in Q analysis. Many statistical commercial packages can handle PCA, but one may reach a deeper understanding by running PCA code for oneself. Cranking out results using PCA features on one of the commercial statistical packages is easy, just importing data and clicking a few buttons. For a deep understanding of PCA, however, an individual needs to see what happens when running code. Many scholars may have a basic knowledge of a popular programming language like Python. But PCA code in Python is not neatly compiled in one place. A user must gather Python code that is scattered around the Internet, tweak it for compatibility, and fill any remaining gaps. Also, commercial statistical packages, which have been geared toward R analysis, cannot be used for rotation for theoretical or exploratory analysis in Q studies beyond varimax. This tutorial offered all Python code needed for PCA while comparing its results with Statistical Package for the Social Science (SPSS) output. This tutorial also covered the theoretical or exploratory rotation of factor axes, which is a must for Q analysis.

2차원 PCA 얼굴 고유 식별 특성 부분공간 모델 기반 강인한 얼굴 인식

설태인(Tae in Seol),정선태(Sun-Tae Chung),김상훈(Sanghoon Kim),장언동(Un-Dong Chung),조성원(Seongwon Cho) 大韓電子工學會 2010 電子工學會論文誌-SP (Signal processing) Vol.47 No.1

고유얼굴 기반 얼굴 인식 방법과 같은 얼굴 형태 기반 얼굴 인식 방법에 사용되는 1차원 PCA는 고차원의 얼굴 형태 데이터 벡터들의 처리로 인하여 부정확한 얼굴 표현과 과도한 계산량을 초래할 수 있다. 이에 개선 방안의 하나로 2차원 PCA 기반 얼굴 인식 방법이 개발되었다. 그러나 단순한 2차원 PCA 적용으로 얻어진 얼굴 표현 모델에는 얼굴 공통 특성 성분과 개인 식별 특성 성분이 모두 포함된다. 얼굴 공통 특성 성분은 오히려 개인 식별 능력을 방해할 수가 있고 또한 인식 처리 시간의 증가를 초래한다. 본 논문에서는 2차원 PCA 적용으로 얻어진 얼굴 특성 공간에서 얼굴 공통 특성 영향이 분리된 얼굴 고유 식별 특성 부분공간 모델을 개발하고 개발된 모델에 기반한 새로운 강인한 얼굴 인식 방법을 제안한다. 제안한 얼굴 고유 식별 특성 부분공간 모델 기반 얼굴 인식 방법은 얼굴 고유 식별 특성에만 주로 의존하기 때문에 기존 1차원 PCA 및 2차원 PCA 기반 얼굴 인식 방법보다 얼굴 인식 성능 및 인식 속도에 대해서 더 우수한 성능을 보인다. 이는 다양한 조명 조건하에 다양한 얼굴 자세를 갖는 얼굴 이미지들로 구성된 Yale A 및 IMM 얼굴 데이터베이스를 이용한 실험을 통해 확인하였다. 1D PCA utilized in the face appearance-based face recognition methods such as eigenface-based face recognition method may lead to less face representative power and more computational cost due to the resulting 1D face appearance data vector of high dimensionality. To resolve such problems of 1D PCA, 2D PCA-based face recognition methods had been developed. However, the face representation model obtained by direct application of 2D PCA to a face image set includes both face common features and face distinctive identity features. Face common features not only prevent face recognizability but also cause more computational cost. In this paper, we first develope a model of a face distinctive identity feature subspace separated from the effects of face common features in the face feature space obtained by application of 2D PCA analysis. Then, a novel robust face recognition based on the face distinctive identity feature subspace model is proposed. The proposed face recognition method based on the face distinctive identity feature subspace shows better performance than the conventional PCA-based methods (1D PCA-based one and 2D PCA-based one) with respect to recognition rate and processing time since it depends only on the face distinctive identity features. This is verified through various experiments using Yale A and IMM face database consisting of face images with various face poses under various illumination conditions.

잡음 민감성이 개선된 퍼지 주성분 분석

허경용,우영운,김성훈,Heo, Gyeong-Yong,Woo, Young-Woon,Kim, Seong-Hoon 한국정보통신학회 2010 한국정보통신학회논문지 Vol.14 No.5

주성분 분석(PCA)은 데이터의 차원을 줄이면서 최대의 데이터 변이를 보존하는 기법으로 차원 축소나 피처 추출을 위해 널리 사용되고 있다. 하지만 PCA는 잡음에 민감한 단점이 있으며, 이러한 잡음 민감성을 해결하기 위해 여러 가지 PCA 변형이 제안되었다. 그 중 robust fuzzy PCA(RF-PCA)는 퍼지 소속도를 사용하여 잡음의 영향을 효과적으로 줄일 수 있음이 입증되었다. 하지만 RF-PCA 역시 몇 가지 문제점이 있고, 수렴성이 그 중 하나이다. RF-PCA는 소속도와 주성분을 갱신할 때 서로 다른 목적 함수를 사용하므로 수렴 속도가 느리고 구해지는 해가 국부 최적 해임을 보장하지 않는다. 이 논문에서는 RF-PCA의 문제점을 해결하기 위해 하나의 목적 함수를 이용해 소속도와 주성분을 갱신할 수 있는 방법을 제안한다. 제안한 방법, RF-PCA2는 반복 최적화를 이용함으로써 국부 최적해에 수렴함을 보장하며, RF-PCA에 비해 빠른 수렴 속도를 가지고, 잡음 민감성이 줄어든다. 이러한 사실들은 실험 결과를 통해 확인할 수 있다. Principal component analysis (PCA) is a well-known method for dimension reduction while maintaining most of the variation in data. Although PCA has been applied to many areas successfully, it is sensitive to outliers. Several variants of PCA have been proposed to resolve the problem and, among the variants, robust fuzzy PCA (RF-PCA) demonstrated promising results. RF-PCA uses fuzzy memberships to reduce the noise sensitivity. However, there are also problems in RF-PCA and the convergence property is one of them. RF-PCA uses two different objective functions to update memberships and principal components, which is the main reason of the lack of convergence property. The difference between two functions also slows the convergence and deteriorates the solutions of RF-PCA. In this paper, a variant of RF-PCA, called RF-PCA2, is proposed. RF-PCA2 uses an integrated objective function both for memberships and principal components. By using alternating optimization, RF-PCA2 is guaranteed to converge on a local optimum. Furthermore, RF-PCA2 converges faster than RF-PCA and the solutions found are more similar to the desired solutions than those of RF-PCA. Experimental results also support this.

항공 하이퍼스펙트럴 영상의 PCA기법 적용을 통한 토지 피복 분류 정확도 개선 방안에 관한 연구

최병길(Choi, Byoung Gil),나영우(Na, Young Woo),김승현(Kim, Seung Hyun),이정일(Lee, Jung Il) 대한공간정보학회 2014 대한공간정보학회지 Vol.22 No.1

본 연구에서는 항공 하이퍼스펙트럴 영상에 대해 PCA를 적용하여 토지 이용 및 피복 분류 판독의 가독성을 향상시키기 위하여 고유성분이 높은 밴드를 선별적으로 조합하여 5개 유형의 PCA영상을 제작하였다. 유형별 영상은 SAM감독 분류 기법을 적용하여 영상분류를 시행하고 정확도를 평가한 결과 PCA변환 시 고유성분 포함율은 PCA 변환 영상의 첫 번째 밴드에 해당하는 영상이 76.74%의 성분을 포함하며, PCA변환 영상의 두 번째 누적 밴드에 해당하는 영상이 98.40%로 대부분의 성분자료가 두 번째 영상까지에 담긴 것을 알 수 있었다. 유형별 영상의 정량적 분류정확도 평가는 전체정확도, 생산자 및 사용자 정확도를 분석한 결과 유사한 패턴을 가지며, 특이한 사항은 정성적인 분류정확도 평가는 PCA변환 영상의 네 번째 밴드이상이 포함되어야 정확도가 확보되는 것으로 판단되나 정량적인 분류 정확도 평가에서는 PCA변환 영상의 두 번째 밴드까지를 포함하는 영상이 가장 높은 정확도를 나타내는 것을 알 수 있었다. The researcher of this study applied PCA on aerial hyper-spectral sensor and selectively combined bands which contain high amount of information, creating five types of PCA images. By applying Spectral Angle Mapping-supervised classification technique on each type of image, classification process was carried out and accuracy was evaluated. The test result showed that the amount of information contained in the first band of PCA-transformation image was 76.74% and the second accumulated band contained 98.40%, suggesting that most of information were contained in the first and the second PCA components. Quantitative classification accuracy evaluation of each type of image showed that total accuracy, producer"s accuracy and user"s accuracy had similar patterns. What drew the researcher"s attention was the fact that the first and the second bands of the PCA-transformation image had the highest accuracy according to the classification accuracy although it was believed that more than four bands of PCA-transformation image should be contained in order to secure accuracy when doing the qualitative classification accuracy.

A Literature Survey on High-Dimensional Sparse Principal Component Analysis

Shen Ning-min,Li Jing 보안공학연구지원센터 2015 International Journal of Database Theory and Appli Vol.8 No.6

Principal Component Analysis (PCA) is a classical method for dimensionality reduction, data pre-processing, compression and visualization of multivariate data for different applications in biology, social science and engineering. The limitation of PCA is lacking of interpretation due to the non-zero loadings and the inconsistence for highdimensional data. Sparse principal component analysis (sparse PCA) is proposed mainly for the challenges of PCA above. For the past decades, many works of the development methods and theoretical analysis for sparse PCA have been presented. The goal of this paper is to give a comprehensive literatures review to recent progress in highdimensional sparse PCA from algorithm and statistical theory. Firstly we give the overview for PCA and sparse PCA. Secondly the algorithms of sparse PCA are categorized into different classes and provide detailed descriptions for typical formulations and methods in each category, and the typical packages of sparse PCA are also given. Considering that statistical analysis in high dimension becomes more involved in sparse PCA, and then the survey of theoretical analysis of sparse PCA is also presented. Finally the future trends as well as challenges are given.

SBR 가황물에서 용매추출 및 분리에 의한 PCA 오일 Type 확인법

김민생 ( Min Saeng Kim ),손경숙 ( Kyung Suk Sohn ),이중훈 ( Jung Hun Lee ),김익식 ( Ik Sik Kim ),최성신 ( Sung Seen Choi ) 한국고무학회 2012 엘라스토머 및 콤포지트 Vol.47 No.1

공정오일 내 다핵성 방향족 화합물(PCA)은 무게함량 대비 3%이상 함유한 경우 피부암을 일으키는 것으로 알려졌다. 저함량과 고함량 PCA 오일의 구분 기준은 PCA 함량 3%에 근거한다. 기준 함량 이상이면 발암성 물질인고함량 PCA 오일로 DAE가 있으며, 기준 함량 이하이면 인체에 안전한 저함량 PCA 오일로 TDAE, MES, 파라핀오일이 이에 속한다. 상기 4종류의 공정오일을 적용한 SBR 가황물에 용매 추출 및 분리로 오일을 정제한 후, FT-IR분광 기술을 이용하여 PCA 오일 종류을 결정하였다. 그리고 파라핀 오일이 적용된 SBR 가황물에서 고무 약품인 HPPD, TMDQ, 왁스, 공정조제(Structol-40MS)의 오일에 대한 영향을 연구하였다. 분리 정제된 오일로부터 저함량과 고함량 PCA 오일 구분은 방향족 치환체 흡수영역인 파수 864, 810, 754 및 파라핀 또는 나프텐 흡수영역인파수 721의 상대적인 흡수세기로 확인할 수 있었다. More than 3 wt% of polycyclic aromatics (PCAs) in process oil is known to cause skin cancer. The criterion of distinguishing between low PCA oil and high PCA oil is based on 3 wt% of PCA. High PCA oil is called as a carcinogen like distillate aromatic extract (DAE). Low PCA oil is considered as safety oils like treated distillate aromatic extract (TDAE), mild extract solvate (MES), and paraffinic oil. Four types of process oils such as DAE, TDAE, MES, and paraffinic oil purified by solvent extraction and separation skills from SBR vulcanizates were measured by FT-IR techniques. The effects of rubber chemicals such as N-1,3-dimethylbutyl-N`-phenyl-p-phenylnenediamine (HPPD), polymerized 2,2,4-trimethyl-1,2-dihydroquinoline (TMDQ), paraffin wax as antidegradants, and processing aid like Structol 40MS on paraffinic oil from SBR vulcanizates were also studied. The type of low or high PCA was identified by the relative abundance of absorbance at the aromatic substitution patterns of 864, 810, and 754 cm-1 and at the paraffinic or naphthenic pattern of 721 cm-1.

PCA 기반 LDA 혼합 알고리즘을 이용한 실시간 얼굴인식 시스템 구현

장혜경,오선문,강대성 대한전자공학회 2004 電子工學會論文誌-SP (Signal processing) Vol.42 No.2

본 논문에서는 실시간 얼굴인식 시스템을 위한 새로운 PCA 기반 LDA 혼합 알고리즘을 제안한다. 크게 얼굴추출 부분과 얼굴인식 부분으로 구성되어 있으며, 얼굴추출 부분에는 차영상, color filtering, 눈과 입의 영역 검출 그리고 정규화 방법을 사용하였고, 얼굴인식 부분에는 추출된 얼굴 후보 영역 영상에 PCA와 LDA를 혼합하여 적용하였다. 기존의 PCA만을 사용한 인식시스템은 낮은 인식률을 보였으며, LDA만을 사용한 인식시스템에서는 학습데이터의 수에 비하여 영상의 화소 개수가 많은 경우 LDA를 입력 영상에 그대로 적용하기 곤란하였다. 이러한 단점을 극복하기 위하여, 정규화 된 영상에 PCA를 적용하여 차원을 축소한 후 LDA를 사용하여 실시간 인식을 가능하게 하였으며, 인식률 또한 향상시킬 수 있었다. 제안한 시스템의 성능을 평가하기 위하여 자체 제작한 DAUface의 데이터베이스를 가지고 실험을 하였다. 실험 결과, 제안된 방법이 PCA 방법과 LDA 방법, 그리고 ICA 방법에 비해 인식률이 상당히 우수함을 알 수 있었다. In this paper, we propose a new PCA-based LDA Mixture Algorithm(PLMA) for real-time face recognition system. This system greatly consists of the two parts: 1) face extraction part; 2) face recognition part. In the face extraction part we applied subtraction image, color filtering, eyes and mouth region detection, and normalization method, and in the face recognition part we used the method mixing PCA and LDA in extracted face candidate region images. The existing recognition system using only PCA showed low recognition rates, and it is hard in the recognition system using only LDA to apply LDA to the input images as it is when the number of image pixels ire small as compared with the training set. To overcome these shortcomings, we reduced dimension as we apply PCA to the normalized images, and apply LDA to the compressed images, therefore it is possible for us to do real-time recognition, and we are also capable of improving recognition rates. We have experimented using self-organized DAUface database to evaluate the performance of the proposed system. The experimental results show that the proposed method outperform PCA, LDA and ICA method within the framework of recognition accuracy.

체계적인 통증자가조절기에 대한 교육이 수술 후 통증자가조절기 사용에 대한 지식과 태도, 통증 및 진통제 사용량에 미치는 효과 : 대장암 수술 환자를 중심으로

이진희,조현숙 병원간호사회 2011 임상간호연구 Vol.17 No.3

Purpose: The purpose of this study was to investigate the effects of a structured preoperative PCA education on the knowledge and attitude regarding PCA usage, level of pain, and the consumption of analgesics after operation for colorectal surgery patients. Methods: This study was conducted from 18 Feb to 2 May, 2008. Participants were 80 colorectal cancer patients who would use the IV-PCA after colorectal surgery in a cancer hospital in Gyeonggi-do, Korea. Two groups, experimental and control were consisted of 40 patients each. The 20-minute structured education regarding PCA usage was applied to each patient individually in the experimental group but only the routine anesthetic consultation was given to each patient in the control group the day before the surgery. The SPSS/PC 10.0 program was introduced to analyze the collected data on frequency, percentage, mean, standard deviation, x2-test, t-test and paired t-test. Results: The experimental group with the structured preoperative PCA education showed higher knowledge and more positive attitudes regarding the PCA usage than the control group. Also the experimental group showed better pain control and lower consumption of analgesics at 4, 8 and 24 hours after than the control group. Conclusion: The structured preoperative PCA education is an effective nursing intervention for improving the knowledge and attitude of the colorectal surgery patients on the PCA usage, and enabling the patient to take the analgesic more effectively with lower consumption, while reducing the patients' pain after operation.

변형된 이차원 PCA를 이용한 얼굴 인식

김영길(Kim Young-Gil),송영준(Song Young-Jun),장언동(Chang Un-Dong),김동우(Kim Dong-Woo),안재형(Ahn Jae-Hyeong) 한국산학기술학회 2005 한국산학기술학회논문지 Vol.6 No.4

본 논문은 변형된 2-D PCA를 이용한 얼굴 인식 방법에 대하여 제안한다. 기존의 PCA는 l 차원 벡터들로 공분산 행렬을 구하는 반면에 2-D PCA는 2 차원 영상을 직접적으로 이용하여 공분산 행렬을 구한 후 그것의 고유값에 따른 고유벡터를 구하여 특징 벡터들을 추출한다. 제안 방법은 두 개의 공분산 행렬들을 이용하여 선형 변환 행렬을 구하는 변형된 2-D PCA 방법을 적용하여 얼굴을 인식한다. 실험 결과는 2-D PCA 보다 제안된 방법이 1% 정도 얼굴 인식률이 더 좋으며, 안정된 인식률을 보여준다. In this paper, we propose a face recognition method using modified 2-D PCA. While the previous PCA method computes the covariance matrix by using one dimensional vectors, the 2-D PCA method computes the covariance matrix by directly using direct two dimensional image, and extracts the feature vectors by solving eigenvalue problem. The proposed method recognizes the faces by applying the modified 2-D PCA to face images and it gets linear transformation matrix using two covariance matrices. The experimental results indicates that the proposed method improved about I % and achieved more stability in recognition rate than conventional 2-D PCA.

지능로봇 제어를 위한 비전기반 실시간 수신호 인식 시스템

양태규,서용호,Yang, Tae-Kyu,Seo, Yong-Ho 한국정보통신학회 2009 한국정보통신학회논문지 Vol.13 No.10

본 논문은 지능로봇의 동작을 제어하기 위해 비전기반의 실시간 수신호를 PCA 및 BP 알고리즘을 이용한 인식시스템을 제안하였다. 수신호 인식은 PCA 알고리즘을 이용한 전처리 단계와 BP 알고리즘을 이용한 인식의 두 단계로 구성한다. PCA 알고리즘은 데이터 분석을 위해 다차원 데이터 집합을 보다 낮은 차원으로 감소시키기 위해 사용되는 기술로 주어진 수신호의 특징인 투영 벡터를 계산하기 위하여 적용되었고, BP 알고리즘은 병렬 구조를 가지고 있으므로 병렬 분산처리가 가능하고, 처리 속도가 빠르므로 PCA로부터 훈련된 고유 수신호를 학습시켜 수신호를 실시간으로 인식한다. 실험에서는 10종류의 수신호를 PCA 알고리즘만을 사용한 경우와 제안한 PCA 및 BP 알고리즘을 사용한 경우와 인식률을 비교하여 제안한 알고리즘이 우수하다는 것을 보였다. This paper is study on real-time hand gesture recognition system based on vision for intelligent robot control. We are proposed a recognition system using PCA and BP algorithm. Recognition of hand gestures consists of two steps which are preprocessing step using PCA algorithm and classification step using BP algorithm. The PCA algorithm is a technique used to reduce multidimensional data sets to lower dimensions for effective analysis. In our simulation, the PCA is applied to calculate feature projection vectors for the image of a given hand. The BP algorithm is capable of doing parallel distributed processing and expedite processing since it take parallel structure. The BP algorithm recognized in real time hand gestures by self learning of trained eigen hand gesture. The proposed PCA and BP algorithm show improvement on the recognition compared to PCA algorithm.