증거기반정책의 수단으로서 정책의사결정도구: AHP, 델파이, 비용편익분석 기법의 비교 분석

이장범(Lee, Jangbum),김병조(Kim, Byeong Jo) 서울행정학회 2023 한국사회와 행정연구 Vol.34 No.1

정책결정자는 대규모의 예산과 인력, 시간이 소요되는 중요한 정책문제에 직면할 경우 개인의 주관적 편의를 지양하고 체계적이면서 객관적인 의사결정 과정을 통해 해결책을 도출하기 위해 다양한 정책의사결정도구를 활용한다. 그러나 정책실무 및 연구에서 빈번하게 활용되는 AHP 분석, 델파이 기법, 비용편익분석 등 정책의사결정도구들은 이를 활용하는 의사결정자의 주관성 개입 정도에 따라 잠재적 오류 가능성을 내포하고 있다는 지적을 받아왔다. 이 연구는 증거기반정책 연구에서 제시한 정책증거의 견고성 모형의 5대 요소(i.e., 방법론적 적합성, 맥락화, 투명성, 재현가능성, 동의수준)를 분석틀로 삼아 주요 정책의사결정도구를 검토하고 이 도구의 활용과정에서 발생할 수 있는 편의의 가능성과 잠재적 문제점을 분석하였다. 이를 통해 이 연구는 체계적이고 객관적인 정책 의사결정을 위해서는 정책증거 생산 과정에 대한 이해가 중요하다는 점을 제시한다. 이 연구의 결과는 장차 증거기반 정책의사결정 과정에서 제시된 정책증거의 타당성과 신뢰성을 판단하는 기준으로서 정책증거 견고성 모형의 활용가능성을 제시할 뿐만 아니라 나아가 정책증거의 퀄리티 연구의 토대를 제공할 것으로 기대된다. Policymakers and practitioners employ an array of decision tools to navigate important policy problems that requires substantial resources in terms of budgets, manpower, and time. These tools are designed to minimize subjective biases and facilitate a systematic and objective decision-making process. However, it has been noted that commonly utilized policy decision tools such as AHP, Delphi, and cost-benefit analysis may harbor inherent errors, contingent upon the degree of subjectivity involved on the part of decision makers. This study assesses the validity of policy decision tools through an evidence-based lens, which has recently garnered attention in the field of public policy. By evaluating five critical elements (i.e., methodological fit, contextualization, transparency, replicability, and consensus), we analyze the potential biases that may emerge when utilizing these tools. and suggest the need for policymakers to possess a comprehensive understanding of the policy evidence production process in order to facilitate a systematic and objective approach to policy decision-making. Our findings may serve as a fundamental basis for ascertaining the soundness and dependability of policy evidence presented within evidence-based policy decision-making processes.

국방기획 관리업무의 기획단계에서 국방개혁 2020 추진과제들에 대한 계층분석적 의사결정 적용

최명서,이홍철,천현재,Choi, Myoung-Seo,Lee, Hong-Chul,Cheon, Hyeon-Jae 한국국방경영분석학회 2006 한국국방경영분석학회지 Vol.32 No.2

21세기 선진 정예 강군을 위해 군이 지향해야 할 국방개혁 2020의 과제들은 2020년 전후 국방환경과 국방개혁 4대 중점사항을 토대로 총 21개 대과제와 80개 소과제를 선정하여 국방개혁을 추진해 나간다는 내용을 주요 골자로 하고 있다. 국방기본정책서를 기초로 추진하게 될 '국방개혁 2020' 은 기획단계인 초기단계로서 과제들에 대한 의사결정이 필요로 하나, 군은 현재 2단계인 계획단계에 이르러서야 비로소 기획과 예산을 연결시켜 의사결정을 구체화하고 있다. 과제들의 우선순위에 대한 의사결정이 계획단계에 이르러서야 비로소 결정되기 때문에 최초 기획단계부터 의사결정이 이루어진다면 현재보다 효율적인 과제수행이 이루어질 것이다. 본 연구는 국방부에서 발표한 '국방개혁 2020' 추진과제들을 가지고 기획단계에서부터 계층분석적 의사결정방법을 적용하여 과제들의 대한 그룹의사결정을 실시하였다. 또한, 추진과제 들의 가중치가 동일할 경우 15개 과제들의 가중치가 어떻게 변화하는가에 대한 민감도 분석을 실시하였고, 내 외부 평가자들의 과제들에 대한 가중치를 그룹의사결정을 통해 분석함으로서 과제들의 우선순위를 제시하였다. The defense innovation 2020 advanced topics which have to establish robust milatary are based on archiving defense innovation by selecting twenty-one main topics and eighties' sub-topics whose topics focus on defense innovation and defense circumstance in 2020. Although defense innovation 2020 which is to be advanced with defense basic policy need to decision making, it is specified in programming step by merging budget with plan. If the Defense Ministry archives decision making from initial plan step, although it archives group decision making in programming step at present, it will archive efficient affair. This study archives a group decision making of defense innovation 2020 advanced topics which were published in the Defense Ministry by applying Analytic Hierarchy Process in plan step. In addition, if the weights of the main topics are equal, the sub topics analyze how to be changed throughout sensitivity analysis and suggest the topics' priority rank throughout group decision making.

알기 쉬운 공간정보의 구축 및 관리 등에 관한 법률을 위한 법령 용어 개선기준에 관한 연구

김민관,이정우,이명근,배성훈 한국지적학회 2020 한국지적학회지 Vol.36 No.1

It is very important that ensuring legislative intention and people's right to know by making it easier for everyone to understand the legislation through amendment. It is a difficult task to converge the differences in the standards for the improvement of legal terms among various stakeholders. Therefore, this study aimed to analyze differences in preferences among groups by analyzing opinions of related experts regarding the improvement of the Spatial Information Management Act. To this end, it is possible to grasp the priority of decision-making by group for improvement criteria by using the Analytic Hierarchy Process (AHP) technique, which is one of the multi-criteria decision making techniques. We expect that this results will help to understand and converge different opinions of various stakeholders for amendment of laws. 법령 개선을 통해 누구나 쉽게 법령을 이해하게 함으로써 입법의도를 제대로 알리고 국민들의 알 권리를 보장하는 차원에서 매우 중요한 일이다. 그러나 개선 과정에서 학문 영역간은 물론 학계와 실무계 등 다양한 이해관계자들 사이에서 법령용어의 개선을 위한 기준과 수준의 차이를 어떻게 수렴하는가는 어려운 과제이다. 이에 본 연구는 공간정보관리법의 개선 기준에 대하여 관련된 전문가들의 의견을 분석하여 집단 간의 선호도 차이를 분석하고자 하였다. 이를 위해 다기준의사결정 기법 중 하나인 분석적계층화과정(AHP) 기법을 활용하여 개선 기준에 대한 집단별 의사결정 우선순위를 파악할 수 있었다. 본 연구의 결과가 법령 개선 과정에 있어서 다양한 이해관계자들의 각기 다른 견해를 서로 이해하고 수렴해 가는데 도움이 되길 기대한다.

전술적 고려요소 (METT+TC)의 세분화 및 우선순위 결정에 관한 연구

한승조,박준형 한국디지털정책학회 2016 디지털융복합연구 Vol.14 No.10

분석적 계층화과정의 본질 및 연구동향의 고찰 -관리회계 및 회계감사분야를 중심으로-

신홍철,김진환 한국회계학회 1997 회계저널 Vol.6 No.1

AHP를 활용한 한류관광 활성화 요인 도출과 우선순위 분석

안소현,김남현,이충기 한국관광학회 2015 관광학연구 Vol.39 No.7

The purpose of this study is to identify strategic factors of Korean Wave(Hallyu) tourism. This study, specifically, explored the determinants of invigorating Korean Wave(Hallyu) tourism and their priority by applying Analytic Hierarchy Process(AHP). Data were collected from 25 experts in the field of Korean Wave(Hallyu) tourism. AHP hierarchical structure consisted of 5 main determinants with 18 components, which included Korean Wave tour product, tour service quality, sales and distribution, promotion and marketing activities, and Korean Wave(Hallyu) policy. The results of AHP analysis indicate that the most important determinant of 5 main determinants was Korean Wave tour product, followed by promotion and marketing activities, tour service quality, sales and distribution, and Korean Wave(Hallyu) policy in that order. The diversity of Korean Wave tour product regarding tour type, tour price, and tour theme was the most critical determinant of Korean Wave(Hallyu) tourism among 18 components. The findings will provide policy makers and managers with practical implications for invigorating Korean Wave(Hallyu) tourism. 본 연구의 목적은 한류관광 활성화를 위한 요인들을 도출하고, 각 요인의 우선순위를 평가하는데 있다. 이러한 연구목적을 달성하기 위하여 본 연구에서는 계층분석적 의사결정과정(AHP: Analytic Hierarchy Process) 방법을 적용하였다. 먼저 본 연구에서는 한류관광 활성화를 최종목표로 하는 계층구조모형을 설정하였고, 한류관광 전문가 25명을 대상으로 AHP 설문조사를 실시하여 자료를 수집하였다. AHP 계층구조는 한류관광상품, 관광서비스품질, 판매/유통채널, 홍보마케팅, 한류관광정책의 5개 상위요인과 총 18개 하위요인으로 구성되었다. AHP 분석결과 상대적 중요도는 상위요인 중 한류관광상품이 가장 중요한 요인으로 나타났으며, 다음으로는 홍보마케팅, 관광서비스품질, 판매/유통채널, 한류관광정책의 순으로 나타났다. 각 요인별 도출된 가중치를 종합하여 하위요인의 최종 우선순위를 분석한 결과, 한류상품의 유형별/테마별/가격대별 다양화가 가장 중요한 것으로 나타났다. 이러한 연구결과는 정책 입안자와 실무자들에게 한류관광 활성화를 위한 정책적, 실무적 시사점을 제공할 것이다.

공예문화산업 활성화를 위한 탐색적 연구 - 활성화 방안도출과 우선순위 분석을 중심으로 -

구아민,류귀진,권혁인 사단법인 한국조형디자인협회 2019 조형디자인연구 Vol.22 No.1

This study deduced how to activate craft culture industry with mainly the opinions of professionals, and analyzed the importance and priority of each factor. To achieve the goal of study, we conducted interviews for 10 professionals in craft culture industry, and made hierarchy model with 32 sub-factors in 6 areas for Activation Plan of craft culture industry. And also this article compared craft culture industry factors through AHP(Analytic Hierarchy Process) survey for 20 professionals and deduced priority. As a result of study, the hierarchy for activation of craft culture industry was made up of 6 top- factors including production environment improvement, distribution environment improvement, policy and fund support, professional manpower nurture, social awareness, and 32 sub-factors in total, and as a result of AHP(Analytic Hiearchy Process) analysis, fund support in top-factors appeared most important, followed by policy and legal system improvement, manpower nurture, distribution, craft culture industry characteristic, production. As a result of analyzing final priority of sub-factor integrating weight value of each factor, production environment support appeared most important, followed by governance policy development, craft cluster policy. This research has academic significance pioneering research deducing activation plan of craft culture industry and analyzing priority and is expected to provide political, practical implication for craft culture industry activation plan for policy makers and practitioners. 본 연구는 전문가들의 의견을 중심으로 공예문화산업의 활성화 방안을 도출하고, 각 요인의 중요도와 우선순위를 분석하였다. 연구의 목적을 달성하기 위해 공예문화산업 전문가 10인을 대상으로 전문가 인터뷰를 실시하였고, 공예문화산업 활성화 방안을 6개 영역에서 32개의 세부요인으로 추출하여 계층구조모형을 설정했다. 또한 전문가 20인을 대상으로 AHP(계층 분석적 의사결정과정) 설문조사 하였고 최종 18인의 응답으로 공예문화산업 활성화 요인간의 비교하고 우선순위를 도출했다. 연구결과, 공예문화산업의 활성화를 위한 계층구조를 생산환경개선, 유통환경개선, 정책 및 자금지원, 전문 인력양성, 사회적 인식의 6개 상위요인과 총 32개 하위요인으로 구성하였고, 도출된 활성화 방안을 AHP 분석한 결과, 상위요인 중 자금지원이 가장 중요한 것으로 나타났으며 다음으로는 정책 및 법제도 개선, 인력양성, 유통, 공예문화산업 특성, 생산의 순의 결과가 도출됐다. 각 요인별 가중치를 종합하여 하위요인 간 최종 우선순위를 분석한 결과, 창작환경 지원이 가장 중요한 것으로 나타났고 거버넌스 정책개발, 공예클러스터 정책 개발이 그 다음을 이었다. 본 연구는 공예문화산업의 활성화 방안을 도출하고 우선순위를 분석한 선도적 연구로서 학문적 의의를 가지며, 공예문화산업의 활성화를 위해 정책적, 실무적 시사점을 제공할 것으로 기대한다.

연구논문 : AHP를 활용한 메가 이벤트의 관람수요 영향요인 분석

이충기 ( Choong Ki Lee ),김남현 ( Nam Hyun Kim ) 대한관광경영학회 2015 觀光硏究 Vol.30 No.2

본 연구의 목적은 메가 이벤트의 수요에 영향을 미치는 요인들이 무엇인지를 규명하는데 있다. 이를 위해 계층분석적 의사결정(AHP: Analytic Hierarchy Process) 방법을 활용하여 메가 이벤트 관람수요의 영향요인에 대한 의사결정 계층구조모형을 설정하고, 각 요인의 우선순위를 파악하였다. 연구에 사용된 자료는 메가 이벤트 및 축제분야의 학계, 공공부문, 그리고 업계 전문가 40명을 대상으로 AHP 설문조사를 통하여 수집되었다. 또한, AHP 계층구조모형은 컨텐츠 및 프로그램, 가격요인, 홍보마케팅, 행사장 및 시설, 운영관리, 운영스태프 및 안내정보, 개최지역과의 협력을 포함한 총 7개의 대분류 영향요인과 26개의 하위요소로 구성되었다. AHP 분석결과, 메가 이벤트의 관람수요에 가장 크게 영향을 미치는 대분류 요인은 콘텐츠 및 프로그램으로 나타났으며, 그 다음으로 가격요인, 홍보마케팅, 행사장 및 시설, 운영관리, 개최지역과의 협력, 운영스태프 및 안내정보의 순으로 나타났다. 최종 가중치를 고려한 메가 이벤트의 관람수요 영향요인으로는 전시콘텐츠의 매력성이 26개 하위요소중 가장 중요한 것으로 나타났다. 본 연구결과를 바탕으로 메가 이벤트의 성공적 개최 및 운영을 위한 중요한 시사점을 제시하였다. The purpose of this study was to identify determinants of demand for mega-events. To this end the study proposed a hierarchical structure for assessing determinants of mega-event demand by applying Analytic Hierarchy Process(AHP). Data were collected from 40 experts in the area of mega-events and festivals. AHP hierarchical structure consisted of seven main determinants with 26 components, which included contents and programs, price factor, promotion and marketing activities, event site and facilities, event management, staff and information, and partnership with host community. The results of AHP analysis indicate that the most important determinant of mega-event was contents and programs, followed by price factor, promotion and marketing activities, event site and facilities, event management, partnership with host community, and staff and information in that order. Attractiveness of exhibition contents was the most critical determinant of mega-event demand among 26 components. The findings will provide policy makers and mega-event managers with practical implications in preparing for the planning and operation of successful mega-events.

AHP를 활용한 메가 이벤트의 관람수요 영향요인 분석

이충기(Lee, Choong-Ki),김남현(Kim, Nam-Hyun) 대한관광경영학회 2015 觀光硏究 Vol.30 No.2

본 연구의 목적은 메가 이벤트의 수요에 영향을 미치는 요인들이 무엇인지를 규명하는데 있다. 이를 위해 계층분석적 의사결정(AHP: Analytic Hierarchy Process) 방법을 활용하여 메가 이벤트 관람수요의 영향요인에 대한 의사결정 계층구조모형을 설정하고, 각 요인의 우선순위를 파악하였다. 연구에 사용된 자료는 메가 이벤트 및 축제분야의 학계, 공공부문, 그리고 업계 전문가 40명을 대상으로 AHP 설문조사를 통하여 수집되었다. 또한, AHP 계층구조모형은 컨텐츠 및 프로그램, 가격요인, 홍보마케팅, 행사장 및 시설, 운영관리, 운영스태프 및 안내정보, 개최지역과의 협력을 포함한 총 7개의 대분류 영향요인과 26개의 하위요소로 구성되었다. AHP 분석결과, 메가 이벤트의 관람수요에 가장 크게 영향을 미치는 대분류 요인은 콘텐츠 및 프로그램으로 나타났으며, 그 다음으로 가격요인, 홍보마케팅, 행사장 및 시설, 운영관리, 개최지역과의 협력, 운영스태프 및 안내정보의 순으로 나타났다. 최종 가중치를 고려한 메가 이벤트의 관람수요 영향요인으로는 전시콘텐츠의 매력성이 26개 하위요소 중 가장 중요한 것으로 나타났다. 본 연구결과를 바탕으로 메가 이벤트의 성공적 개최 및 운영을 위한 중요한 시사점을 제시하였다. The purpose of this study was to identify determinants of demand for mega-events. To this end the study proposed a hierarchical structure for assessing determinants of mega-event demand by applying Analytic Hierarchy Process(AHP). Data were collected from 40 experts in the area of mega-events and festivals. AHP hierarchical structure consisted of seven main determinants with 26 components, which included contents and programs, price factor, promotion and marketing activities, event site and facilities, event management, staff and information, and partnership with host community. The results of AHP analysis indicate that the most important determinant of mega-event was contents and programs, followed by price factor, promotion and marketing activities, event site and facilities, event management, partnership with host community, and staff and information in that order. Attractiveness of exhibition contents was the most critical determinant of mega-event demand among 26 components. The findings will provide policy makers and mega-event managers with practical implications in preparing for the planning and operation of successful mega-events.

무용예술인의 진로정책에 관한 계층분석적 의사결정

태혜신 한국스포츠엔터테인먼트법학회 2012 스포츠와 법 Vol.15 No.2

The purpose of ths study was to collect and analyze priority and relative importance of policy factors to improve career development of dance artists from an expert group consisting of scholars and field workers related to dance career development. In order to achieve these purposes, this study conducted delphic surveys three times with a group of experts consisting of field experts and theorists including the members of govermental and dance organizations and scholars. Selected experts were given explanations about the objectives and contents of this study through emails and telephone calls, and then induced to participate in research. Through this process, 25 experts who gave their consent to participation in research were selected as the subjects of this study. On the other hand this syudy use the Delphic Hierarchy Process(DHP), which combined the Delphi technique and AHP, to measure the weighy of decision making hierarchy. From the results obtained through these processes were drawn conclusion as follows. First, for the justification of suggested policies, the Delphi technique which derives consensus among experts was utilized. The Delphi was took three times: the first and the second were for the review of appropriateness and reasonability; the third was for the development of weight among confirmed policies. The finally confirmed policies consist of 3 areas, 14 policy factors, and 39 specipic policy tasks. Second, as the result of weighting the 3 areas, government(59.4%), related dance institution and organization(24.9%), and university and academic community were in order. Third, as the result of estimating the 14 policy factors, highest priority was given to 'strenghten support system of dance organization'(28.5%). Fourth as the result of estimating the 39 policy factors, highest priority was given to enlarge establishment of professional dance company(19.0%) 본 연구는 무용예술인의 진로계발를 위하여 우선적으로 추진하여야 할 정책 요소들을 추출하고, 요소별 정책추진의 상대적 중요도 및 우선순위를 분석하는데 목적이 있다. 이를 위하여 무용예술인의 진로계발과 관련된 다양한 이해관계를 대표할 수 있도록 전문성의 영역을 정부기관 및 유관단체, 학계, 무용예술인 등 3개 영역으로 구분하고 각 영역에 해당되는 전문가 25명을 선정한 다음 이메일과 전화 통화를 통해 본 연구의 참여를 요청하였다. 연구방법은 델파이 기법과 계층화 분석법(AHP)을 결합한 ‘Delphic Hierarchy Process(DHP)' 기법을 사용하였으며, 분석적계층화과정(Analytical Hierarchy Process: AHP) 방법을 이용하여 무용예술인의 진로계발을 위한 정책요소의 우선순위를 비교, 분석하였다. 이 연구의 결과를 통하여 다음과 같은 결론을 얻을 수 있었다. 첫째, 무용예술인을 위한 합리적인 진로계발 정책을 수립하기 위하여 전문가 패널을 대상으로 2차에 걸친 델파이 조사를 실시한 결과, 3개 정책 영역, 14개 정책요소, 그리고 39개 세부정책으로 구성된 진로계발정책을 개발하였다. 둘째, 무용예술인의 진로계발 정책 영역의 가중치는 정부 및 지자체가 59.4%로 가장 높고, 다음으로 유관기관 및 단체(24.9%), 대학 및 학계(15.7%)의 순으로 나타났다. 이와 같은 가중치 순위는 진로계발정책의 추진에 있어서 정부 및 지자체의 역할이 가장 중요함을 시사하여 주고 있다. 셋째, 무용예술인의 진로계발 정책 요소의 가중치는 ‘무용조직 및 지원체제 강화’가 28.5%로 가장 높게 나타나 이 항목이 다른 정책요소에 비하여 상대으로 중요하다고 인식하는 것으로 나타났으며, 다음으로 ‘무용재정 확대’(12.0%)와 ‘무용전문인력 양성’(12.0%), ‘교수-학습 환경 개선’(11.0%), ‘무용교육 제도화’(10.2%) 등의 순으로 나타났다. 넷째, 무용예술인의 진로계발 정책 세부항목별 가중치는 전체 39개 세부항목 가운데 ‘전문무용단 설립확대’이 19.0%로 가장 높고 그 다음이 ‘무용기획자 양성’(10.0%), ‘무용예산 증액’(9.6%), ‘무용교육 정규화’(6.4%), ‘실무교육 강화’(6.3%)의 순으로 나타났다.