교육연구에서 계층분석과정의 활용가능성 연구

이훈병(Lee, Hun Byung),운건호(Yoon, Kun Ho) 한국유아교육·보육행정학회 2008 유아교육·보육복지연구 Vol.12 No.4

본 연구는 의사결정이 요구되는 교육연구에 있어 계층분석과정의 적용 가능성에 대하여 살펴보았다. 계층분석과정은 쌍대비교를 통해 요인들의 상대적 중요도를 계산하고 대안을 선택할 수 있는 유용한 의사결정도구이다. 계층분석과정은 이미 다양한 분야에 성공적으로 적용되고 있으며, 최근 유아, 초등, 중등, 고등교육 분야관련 연구에서도 그 적용이 점차 증가하고 있다. 교육연구에서 계층분석과정의 활용 가능성은 다음과 같다. 교육은 고도의 의사결정 분야로 개인과 집단의 의견을 과학적으로 종합할 수는 계층분석과정의 적용이 요구된다. 또한 계층분석과정은 교육관련 의사결정결과의 신뢰성을 확보해줄 수 있는 중요한 도구이다. 계층분석과정을 적용할 수 있는 교육연구는 각급학교 행정, 교사, 수업, 그리고 학교 평가, 평가준거의 가중치분석연구, 교구교재 선정, 교육방법의 선택 등 다양한 교육문제에 활용이 가능하다. This study were to research for an application of the analytic hierarchy process(AHP) in educational research. The AHP model is a very useful decision-making model designed to compute the relative weights for factors and to select alternatives through “pairwise comparison” in the context of hierarchical structure. The AHP has already been successfully applied in a variety of fields, and it is recently that using the AHP in educational research increased gradually. Applicabilities of the AHP in educational research are as follows. Education is decision-making, therefore, an application of the AHP in educational research is reasonable. And the AHP is a powerful decision-making method designed to ensure the reliability of educational decision-making results. The AHP can be applied to select educational administration, to evaluate teacher, instruction, and school, to analysis weights for evaluation criteria, and so on.

계층분석과정기법에 의한 공조설비시스템의 최적 갱신 대안시스템 선정에 관한 연구

김동완,이정재 한국건축설비학회 1999 건축 설비 Vol.2 No.2

물리적 노후화와 사회적 진부화로 인한 건축설비시스템의 갱신은 다양한 갱신요구에 의해 발생되므로, 건물의 신축에 따른 시스템 초기설치와는 다른 계획과정이 필요하며, 갱신을 위한 의사결정과정 또한 매우 복잡하게 진행되어 이를 해결하기 위해서는 다양한 평가기준에 의한 평가가 이루어 질 필요가 있다. 공조설비시스템은 내구년한이 서로 다른 많은 부위의 집합체로서 그 구성이 복잡할 뿐 아니라 열화의 정도가 각각 다르게 발생하며, 특히 열원시스템은 초기설치와 운전에 많은 비용이 소요되므로 갱신의 요구가 발생하는 경우 갱신의 최적 대안시스템을 선정하기 위한 평가는 매우 곤란하게 된다. 본 연구에서는 사무소건물의 공조설비 냉열원시스템 갱신요구에 대하여 다양한 평가기준에 의한 각 대안시스템의 중요도를 결정하기 위하여 계층분석과정(Analytic Hierarchy Process)기법을 적용한 갱신평가를 실시하여 최적 대안을 선정하는 방법을 검토하였다. 최적 대안시스템을 선정하기 위하여, 갱신평가에 영향을 미치는 평가기준을 정량적 평가기준과 정성적 평가기준으로 구분하여 상위 평가기준과 하위 평가기준으로 구분하여 계층적 구조를 구성하였으며, 터보 냉동기방식, 흡수식 냉동기방식, 빙축열방식의 3가지 방식을 대안시스템으로 선정하여 계층분석과정기법에 의한 갱신평가를 실시하였다. The renewal for the existing office building primary cooling system requires to consider many factors such as life cycle cost factor, resource use factor, functional factor, indoor quality factor, architectural quality factor and environmental factor. However the current renewal method mostly considers only the simple economic factor even not taking into account the life cycle of the equipment. And, therefore, it could not evaluate the integrated performance of various optional renewal cases. The purpose of this paper is to introduce a statistical method-AHP (analytic hierarchy process) and to evaluate three optional cooling renewal cases such as turbo compression type, thermal storage type and absorption type for office building. The developed method and a case study indicated that the turbo option would be the best choice among the options according the AHP and the surveyed data

계층분석과정에 의한 강의평가요인의 중요도 분석

이혜림,이훈병 한국교원교육학회 2005 한국교원교육연구 Vol.22 No.1

본 연구는 강의평가요인을 분석하고 각 요인들의 상대적 중요도를 분석을 목적으로 한다. 분석방법으로 계층분석과정을 적용하였다. 강의평가요인은 강의목적과 내용의 적절성, 강의의 유익성, 동기유발, 평가의 공정성, 그리고 설명의 명확성이었다. 강의평가요인의 상대적 중요도를 알아보면 다음과 같다. 전체적으로 보면 강의목적과 내용의 적절성 0.28, 강의의 유익성 0.17, 동기유발 0.11, 평가의 공정성 0.32, 설명의 명확성 0.11로 나타났다. 실기중심 강의와 이론중심 강의에 대한 상대적 중요도를 비교해보면 실기중심 강의에서는 강의목적과 내용의 적절성 0.19, 강의의 유익성 0.22, 동기유발 0.14, 평가의 공정성 0.32, 설명의 명확성 0.13이었으며, 이론중심 강의에서는 강의목적과 내용의 적절성 0.39, 강의의 유익성 0.13, 동기유발 0.09, 평가의 공정성 0.31, 설명의 명확성 0.08이었다. 강의평가는 교육의 질을 향상시킬 수 있는 방향으로 그 결과가 활용되어야 한다.

계층적 분석과정과 리커트 척도를 활용한 농산물 유통업체의 선호도 분석에 관한 연구

이정호(Lee, Joungho) 한국물류학회 2017 물류학회지 Vol.27 No.5

본 연구는 농산물 관련 물류에서 유통업체의 농산물 특성과 수준에 대한 선호도를 분석한다. 농산물 유통업체의 선호도 분석의 중요성, 선호도 분석을 위한 방법론들, 그리고 선호도 분석을 위한 평가항목들을 기술한 후, 선호도 분석을 위한 자료수집의 대안적 접근방법들로부터 도출된 결과를 비교하는데, 이를 위해 전통적인 계층적 분석과정( AHP 1 )의 비교와 확장된 계층적 분석과정(AHP 2 )의 평가를 위한 후속 단계로서 9점 리커트 척도에 의한 직접 평가를 적용한다. 본 연구의 분석단위는 농산물 관련 유통업체이며, 표본은 서울에 위치한 농산물 유통업체와의 직접 대면방식에 의한 50개의 설문자료이다. 분석결과는 농산물 유통업체의 선호도 분석을 위해 제안된 두 가지 접근방법이 선호되는 속성 및 수준에서 전반적으로 비슷한 순위를 나타내 지만, 몇몇 속성 및 수준에서 가중치 사이에 유의적인 차이를 보여준다. 본 연구의 결과는 물류 네트워크에서 유통업체와 같이 최종 소비자를 전방으로 하는 조직의 구매 관련 의사결정대안을 평가하기 위한 효과적인 방법으로 확장될 수 있다. Distributor’s preferences for agricultural product, an important element in purchasing decisions, has been gaining more and more attention in the literature. This study analyzes distributors preferences toward the attributes and levels for fresh agricultural product. This study compare results obtained from alternatives approaches of data collection: a) the traditional pair wise comparison of AHP (AHP1) and b) the direct valuation by mean of a 9 point likert scale transformed in a subsequent step to estimate AHP (AHP2). The data used in this analysis was obtained from face-to-face questionnaires with distributors carried out during April 2017. The final sample consists of 50 distributors mainly located in Seoul. Results obtained from the two approaches of data collection show similar rank of the preferred attributes and levels. However significant differences are found between weights of some attributes and levels. The future researches are needed to obtain more empirical evidence of this comparison approach.

계층분석과정에 의한 학과(전공) 경쟁우위 평가요인에 대한 분석

이상석 한국상업교육학회 2011 상업교육연구 Vol.25 No.1

본 연구는 학과(전공)의 경쟁우위를 확보하기 위해 중점적으로 고려해야 하는 요인들을 탐색적으로 연구하여 평가항목을 계층적으로 분류하고 각 항목들의 중요도를 분석하였다. 분석 결과를 보면, 1단계 경쟁우위 평가요인에서는 교육과정(0.215)을 가장 중요하게 평가하고 있으며 그 다음으로 발전가능성(0.204), 교육성과(0.192), 교육 및 연구(0.183), 교육여건(0.171) 순으로 평가되었다. 학과경쟁우위를 위해서는 교육과정에 많은 비중을 반영해야하며 상대적으로 교육 및 연구와 교육여건은 덜 중요한 요인으로 인식하고 있는 것으로 나타났다. 또한 2단계 전체적으로 보면, 교육과정의 세부항목인 교육과정의 체계성 (교수: 0.255, 재학생: 0.124, 졸업생: 0.215)은 가장 중요한 항목으로 평가하고 있으며, 발전가능성 세부항목인 특성화 및 발전노력도 교수(0.111), 재학생(0.103)들은 다른 항목에 비해 상대적으로 중요한 요인으로 인식하고 있는 것으로 나타났다. 그리고 교수, 재학생, 졸업생 그룹에 대해서 1단계 평가요인과 2단계 세부항목에 대해서 각 그룹 간에 차이가 있는 것으로 분석되었다. 그러나 체계적인 교육과정에 의한 특성화와 이를 발전시키기 위한 노력이 학과 경쟁우위평가에 많은 비중으로 반영되어야한다는 의견에는 교수, 재학생, 졸업생들 간에 의견일치를 보이고 있음을 알 수 있었다. 본 연구결과를 기초로 하여 학과의 경쟁우위를 확보하기 위해 각 전공별 특성에 부합하는 평가요인의 중요도를 고려함으로써 효율적 교육시스템을 설계하는데 기초자료로 제공할 수 있을 것으로 기대된다. 즉, 대외적인 환경변화에 능동적으로 대처하고, 이해관계자들(재학생, 학부모, 졸업생, 고용주 등)의 의견을 반영함으로서 경쟁력 있고 지속가능한 고품질의 교육서비스를 제공하는데 도움이 될 것으로 판단된다. This paper aims to identify key factors that evaluate department(major) competitiveness using factor analysis and to prioritize the factors using AHP(Analytic Hierarchy Process). As a result, five factors were identified using confirmative factor analysis: curriculum, teaching & research, lecture environment, educational performance, and development perspective. Among the factors, curriculum(0.215) turned out to have the highest priority followed by development perspective(0.204), educational performance(0.192), teaching & research(0.183), and lecture environment(0.711) in order listed. Also, this paper found some statistically significant differences in understanding of importance among professors, students and graduates. Some guidelines for practicing department evaluation as a result of this would include; first of all, it is important to identify the department(major) competitiveness factors; secondly, further researches are needed to apply the factors of department competitiveness on the departments in various universities.

분석적 계층화과정을 통한 장애아전문어린이집 보육시설평가인증지표 중요도 연구: 경남지역중심으로

염동문 ( Dong Moon Yeum ),이한우 ( Han Woo Lee ),홍정아 ( Jeong A Hong ) 한국정서·행동장애아교육학회(구 한국정서학습장애아교육학회) 2015 정서ㆍ행동장애연구 Vol.31 No.3

본 연구는 장애아전문어린이집 보육시설평가인증지표의 중요도를 분석적 계층 화과정(AHP분석)을 통해 밝히고자 한 것이다. 분석적 계층화과정은 의사결정의 전과정을 여러 단계로 나눈 후 이를 단계별로 분석·해석함으로써 합리적인 의사결정에 이르도록 하는 과학적인 연구방법이다. 이를 통해 밝혀진 결과는 첫째, 장애 아전문어린이집 보육시설평가인증지표 상위영역에서 안전을 가장 중요시 여겼다. 둘째, 장애아전문어린이집 보육시설평가인증지표 하위영역에서는 보육환경, 어린이 집운영관리, 보육과정을 중요시 하였다. 이러한 결과에 따라 제4차 장애아전문어린 이집 보육시설평가인증지표에서는 상위영역에서는 안전, 하위영역에서는 보육환경, 어린이집운영관리, 보육과정 등에 대한 평가지표 내용에 대한 보완 및 수정이 필요하며, 타 영역보다 점수를 차등화 시키는 개선된 정책을 마련해야 될 것이다. This study investigated disabled child care center teachers’ cognition on secondary accreditation standards’ importance and priority to give materials for improvement of the accreditation standards. The subject was 60 child care center teachers and special education teachers at 20 disabled child care centers at Gyeongnam. The author inspected again AHP questionnaires with 0.2 or more consistency ratio of answer to investigate 47 teachers’ materials. The findings were: First, importance and priority of upper level areas of the accreditation indexes were: director of child care center thought much of mutual reaction and teaching method, while teachers did safety. Second, importance and priority of lower level areas of the accreditation indexes were: Director and special education teachers thought much of child care support environment, while special education teachers did child care center environment. Third, all of disabled child care center teachers and workers thought much of not only safety and protection of disabled children but also teachers’ mutual reaction of accreditation indexes. The study gave empirical discussions and limitation for practical use of accreditation indexes at disabled child care centers.

계층적 분석과정을 활용한 초등실과 교과의 가꾸기 실습에 적합한 식물 선정

정옥란 ( Og Ran Jeong ),이상원 ( Sang Won Lee ) 서울敎育大學校 初等敎育硏究所 2010 한국초등교육 Vol.20 No.1

본 연구는 2007년 교육과정 개편에 따른 새 교과서 편찬 시 식물 가꾸기 학습내용에 반영될 학습 소재의 기초 자료를 제공하기 위하여 초등실과 교과에서 가꾸기 내용 중 <식물과 함께하는 생활> 단원에서 ‘꽃이나 채소 가꾸기’ 실습에 적합한 식물 선정에 영향을 주는 속성을 조사한 다음 계층적 분석과정을 활용하여 가꾸기 실습에 적합한 식물을 선정하였다. 가꾸기 영역과 관련된 식물의 종류와 속성은 선행 연구 참고, 전문교수의 조언, 동료교사와의 협의를 통해 선정하였다. 먼저 식물은 꽃과 채소로 분류하였는데, 꽃은 한두해살이 화초, 여러해살이 화초, 알뿌리 화초, 다육식물과 선인장류, 난과식물, 관엽식물, 수생식물, 식충식물로 분류하였고, 채소는 잎ㆍ줄기채소, 뿌리채소, 열매채소, 허브류로 분류하였다. 최종 선정된 꽃은 8종류로 분류하여 32가지 선정, 채소는 4종류로 분류하여 20가지 선정, 속성은 꽃과 채소 각각 17가지씩 선정하였다. 1차 설문에서는 가꾸기에 적합한 식물을 선정하는데 영향을 주는 속성과 각 속성에 따른 식물들의 중요도를 조사하고 2차 설문에서는 계층적 분석과정을 활용하여 상대적 중요도와 종합 가중치를 구하여 자료를 분석하였다. 꽃에 대해 분석한 결과 재배의 용이성, 재배의 즐거움, 수업의 실현성, 식물의 친근감 속성에 대한 종합 가중치는 봉선화가 가장 높았고, 쾌적한 환경조성과 환경적 적응력에 대한 속성에서는 산세베리아가 선정되었다. 채소에 대한 분석 결과 수확의 기쁨, 재배의 즐거움, 수업의 실현성, 노작활동의 효과, 원예치료 속성에서는 토마토가 선정되었고, 재배의 용이성에서는 상추가 선정되었다. 본 연구에서 수행된 계층적 분석과정을 활용한 결과, 가꾸기 실습에 가장 적합한 꽃은 봉선화가 선정되고, 채소는 토마토가 선정되었다. The purpose of this study is to select of the most suitable plant used for ``Cultivating Flowers or Vegetables`` practice in <Life with Plant> unit from elementary practical arts, and selected the appropriate plant using AHP. This study has its purpose for offering a elementary data for the study material which is going to be reflected in the new textbook, due to the modification of curriculum in 2007, containing plant cultivation study. The species of plant and properties related to cultivation were selected by a reference of past study, professional advice, and discussion between colleague teachers. Flowers were classified as annual-biennial flowers, perennial flowers, bulb flowers, flesh plants and succulents, Orchidaceae, foliage plants, hydrophyte, and insectivorous plants. Vegetables were classified as leafy-stem vegetables, root vegetables, fruit vegetables, and class of herbs. Finally, 32 flowers in 8 classes, 20 vegetables in 4 classes, and 17 properties for each of the flowers and vegetables were selected. In the first questionnaires, both the properties responsible for the selection of appropriate plants to cultivate and the importance of plants for each of the properties were investigated. In addition to this, relative importance and overall weight was analyzed, which was calculated using AHP, in the second questionnaires. The result from analyzing flowers showed that balsamine scored the highest total point in easiness of cultivation, enjoyment in cultivation, feasibility of course, and affinity to plant parts. And Sansevieria was selected in making agreeable environment and environmental adaptability part. For vegetable, tomato was selected in feasibility of course, pleasure in harvest, enjoyment in cultivation, and horticulture therapy parts. Lettuce was selected in easiness of cultivation part. In this study using AHP, balsamine and tomato were selected as the most suitable ones for cultivating practice as flower and vegetable.

R을 이용한 집단의사결정 계층화 분석과정(AHP)처리 방안에 대한 연구

윤철호,최광돈 한국엔터프라이즈아키텍처학회 2019 정보기술아키텍처연구 Vol.16 No.4

본 연구는 R을 이용하여 집단의사결정과 관련한 계층화 분석과정(AHP)을 수행하는 방안을 제시하고 있다. 이를 위해 본 연구에서는 AHP 개념 및 집단의사결정 분석절차들을 설명하고, AHP 분석을 위한 주요 함수들을 개발하여 제시하였다. 또한 예시 AHP 모형을 제시한 후 집단의사결정과 관련한 계층화 분석과정을 수행하는 것을 보여주었다. 본 연구에서는 연구 결과물로 AHP 분석을 위한R 함수들과 이를 이용한 집단의사결정 AHP 분석을 위한 R 스크립트가 제시되었다. 본 연구는 계층화 분석과정을 처음 접하는 연구자들에게는 AHP 분석을 수행하는데 유용한 가이드가 될 것이며, 이미 AHP 분석에 익숙한 연구자나 실무자들에게는 R을 이용한 새로운 집단의사결정 AHP 분석방안제시를 통하여 기존의 도구보다 빠르고 유연하며, 확장 가능한 AHP 분석 환경을 제공할 것이다. This study presents an approach to perform the analytic hierarchy process (AHP) of group decision-making using the R. For this purpose, this study explained the AHP concept and the analysis procedures of the AHP, developed R functions for the AHP analysis, and demonstrated that the AHP analysis related to a group decision-making, which are carried out with an examples of an AHP model. As a result, this study presents the R functions for AHP group decision-making analysis and the R script using an AHP analysis. This study will be a useful guide for researchers who are new to the AHP analysis and will provide researchers or practitioners who are already familiar with the AHP with a faster, more flexible, and more scalable AHP analysis environment than traditional tools by presenting a new AHP method using R.

전문대학 비서과 교육과정 평가준거 개발

이화진,김진모 한국농·산업교육학회 2011 농업교육과 인적자원개발 Vol.43 No.2

The purpose of this study was to develop the criteria to evaluate the curriculum for secretarial majors in colleges and to identify the relative importance of each evaluation criterion. To achieve this goal, previous researches were reviewed while the Delphi method was employed. The evaluation criteria draft was developed after reviewing related documents and previous researches. And the Delphi method was used to confirm the validity of evaluation criteria and to analyze the relative importance of the finally established criteria. The first draft of the evaluation criteria consisting of 4 evaluation areas, 14 evaluation items and 45 evaluation indicators was created after reviewing related documents and previous researches. In order to secure the validity of the draft and analyze the relative importance of the evaluation criteria established, three rounds of the Delphi survey were carried out on 21 expert panels including seven persons from each group of professors in secretarial majors, secretaries and curriculum evaluation experts. The Delphi survey was conducted three rounds: the first and the second were aimed at reviewing the appropriateness and reasonability of evaluation criteria; the third was designed to calculate the weight among confirmed evaluation criteria. In the final Delphi survey, the analytic hierarchy process (AHP) was introduced to analyze the relative importance of the evaluation criteria established. Finally, the confirmed evaluation criteria for the curriculum of secretarial majors in colleges consist of four evaluation areas, 14 evaluation items and 38 evaluation indicators. Basedd on the results of the study, recommendations were proposed. 이 연구는 전문대학 비서과 교육과정을 평가하기 위한 준거를 개발하고 각 평가준거의 상대적 중요도 구명을 주된 목적으로 하였다. 연구의 목적을 달성하기 위하여 연구방법으로 문헌 연구와 델파이 조사법을 사용하였다. 관련 문헌과 선행 연구들을 고찰하여 전문대학 비서과 교육과정 평가준거 초안을 구안하고, 델파이 조사를 통하여 평가준거에 대한 타당화를 거쳐 최종적으로 확정된 평가준거의 상대적 중요도를 분석하였다. 전문대학 비서과 교육과정에 대한 평가준거를 개발하기 위하여 관련 이론 및 선행 연구를 고찰하여 4개의 평가영역, 14개의 평가항목, 45개의 지표로 구성된 평가준거 초안을 구안하였다. 구안된 평가준거 초안에 대한 타당성을 확보하고 평가준거간의 상대적 중요도를 분석하기 위하여 비서과 대학교수, 교육과정 평가 전문가, 현장 전문가인 현직 비서 7명씩 모두 21명의 해당 분야 전문가 패널을 대상으로 델파이 조사를 실시하였다. 1차와 2차 델파이 조사는 연구자가 개발한 평가준거 초안에 대한 타당성 검토를 위한 것이었으며, 상대적으로 낮은 의견 일치도를 보인 항목을 수정하고 전문가 패널들의 의견을 수렴하고 종합하는 과정을 거쳐 전문대학 비서과 교육과정 평가준거를 확정하고, 그 타당성을 확보하였다. 1, 2차 델파이 조사를 통해 평가준거에 대한 타당화 과정을 거쳐 최종적으로 확정된 전문대학 교육과정 평가준거의 상대적 중요도를 분석하기 위하여 3차 델파이 조사를 실시하였다. 3차 델파이 조사에서 사용된 조사 도구는 평가준거의 가중치 산정을 위하여 계층화 분석법을 사용하여 개발하였다. 최종 확정된 전문대학 비서과 교육과정 평가준거는 4개 평가영역, 14개 평가항목, 38개 평가지표로 구성되었고, 연구결과를 바탕으로 제언을 하였다.

사회과학에서 측정지표의 가중치 산정방법에 관한 연구

이정호(Joung-Ho LEE) 조선대학교 지식경영연구원 2012 기업과 혁신연구 Vol.5 No.3

본 연구는 사회과학 분야의 다양한 가중치 산정방법을 이론적 그리고 실증적으로 비교 및 분석함으로써 최적의 측정지표 가중치 산정방법을 제시한다. 이를 위해 본 연구에서 가중치 산정방법을 지수산정기관 또는 연구자가 임의로 가중치를 산정하는 주관적 방법과 전문가들의 의사결정에서의 불확실성을 적절하게 고려할 수 있는 사회적 판단방법으로 구분하고, 이 방법들의 논리적 타당성, 측정의 용이성, 가중치 산정 결과의 유사성 등을 비교 분석하였다. 본 연구의 분석결과는 측정지표간의 상대적 중요도를 가중치로 반영하는 방법 중에서 가중치 산정이 객관적이고 체계적이라고 판단되는 계층적 분석과정 또는 퍼지집합이론이 우수한 것으로 나타났다. 그러나 계층적 분석과정의 경우 측정지표의 수가 많아지면 단순화된 계량방법을 사용한다고 하더라도 설문항목이 많아지는 경향이 있다. 이러한 단점을 해결하기 위해 다수의 측정지표를 단순화하는 방법을 병행하여 가중치 산정과정을 진행하는 것이 바람직하다고 판단된다. 다수의 측정지표를 소수의 유사지표군으로 단순화시키는 과정에서는 연구자 또는 전문가의 주관적 판단을 적용하고, 소수의 유사지표군에 대해서는 계층적 분석과정이나 퍼지집합이론을 적용하여 측정지표의 가중치를 산정할 것을 제안한다. This study proposes an optimal measure weight computation method for social science. Three most widely used weight calculation methods, say, subjective method, analytic hierarchy process, and fuzzy set theory are analyzed. The analyses show that expert judgement method is better than others since its weight computation process is most objective and systematic although it becomes very complex and cumbersome to calculate the weights when there are a large number of measures. Thus, This study suggests a two stage weight computation scheme; first, apply factor analysis to reduce a large number of measures into several groups of measures, and thereafter, use AHP or fuzzy set theory to calculate the measure weights for a small number of groups of measures.