정책평가의 외연 넓히기

오철호 한국정책분석평가학회 2013 政策分析評價學會報 Vol.23 No.3

정책평가에 대한 기존 문제의식과 비판은 다양하게 제시될 수 있다. 그럼에도 불구하고 이런 비판들이 공통적으로 관심을 갖는 것은 크게 정책분석이나 평가와 관련된 이론개발의 미흡과 특히 유요한 지식창출의 현실적 한계에 모아지고 있다. 이런 문제는 비단 정책분석 또는 평가분야에 국한된 현상은 아니지만, 평가가 평가수행으로써 종결되는 것이 아니라 결과의 활용을 통한 평가대상정책이나 사업의 질적 제고를 의도하고 있다는 점에서 특별한 의미를 지닌다. 따라서 어떻게 하면 평가결과 활용을 제고할 수있을지에 대한 논의는 여전히 계속되는 연구주제이며, 그런 논의의 하나가 정책분석이나 평가를 분절적이며 단일한 관점이 아닌 다양한 관점의 조화나 연결, 즉 통섭적인 관점에서의 접근이 필요하다는 인식이다. 이 연구는 이런 문제의식 하에서 지금까지 시도되지 않았던 인문학적 논의와 분석관점을 평가에 탐색적으로 접목시켜보고자 한다. 즉, 정책을 텍스트로 이해하고 텍스트읽기로써의 평가라는 새로운 시각을 제시하면서 기존의 실증주의적 평가방법론이 놓칠 수 있는 몇 가지 의미를 찾아보고자 한다.

논의의 초점: 평가활용, 평가역량 그리고 정책학습

오철호 한국정책분석평가학회 2010 政策分析評價學會報 Vol.20 No.2

정책연구자나 실무자들이 흔히 직면하는 어려움중의 하나는 우리가 당연한 것으로 가정하거나 상식적으로 생각하는 정책현상이 현실에서 발생하기가 쉽지 않다는 것이다. 정책분석이나 평가결과 활용이 그런 예 중의 하나다. 80년대 이후 본격적으로 시작된 활용연구의 관심은 평가활용을 어떻게 제고할 것인가였다. 그러나 많은 경험연구들이 발견한 것은 현실에서 정책분석이나 평가결과가 우리가 기대하는 만큼 활용되지 않는다는 것이다. 결국 연구자들은 활용의 논리구조와 조건에 관심을 갖게 되었으며, 급기야는 좋은 평가란 궁극적으로 활용되는 평가라는 주장을 하게 되었다. 연구자들이 관심을 갖고 구축하고자 노력한 조건 중의 하나가 바로 개인이나 기관의 평가역량 구축이다. 다른 한편으로, 평가결과의활용이 일회성으로 발생하는 것은 활용의 효과를 제고하는데 도움이 되지 않는다. 예컨대 정책의 질이나 기관의 운영에 대한 개선은 특정과제의 평가결과가 한번 활용되었다고 이루어지는 단기적 이슈가 아니다. 따라서 활용이 제도개선으로 내제화되기 위해서는 지속적이며 축적적인 활동이 필요하다. 정책과정에서 발생하는 그런 노력을 정책학습이라고 할 수 있다. 이번 연구논단의 관심은 바로 평가역량 구축과 정책학습에 대한 전반적인 검토와 구체적인 방안을 살펴보는 것이다.

세종시 건설에 대한 정책논변 및 계층구조 분석

신황용,이희선 한국정책분석평가학회 2010 한국정책분석평가학회 학술대회발표논문집 Vol.2010 No.4

본 연구는 "세종시 건설의 바람직한 정책주장은 무엇인가"를 연구문제로 정의하고, "세종시 건설을 위한 원안 및 수정론에서 주장하는 최선의 정책주장은 무엇인가?"의 문제를 보다 구체적인 쟁점으로 삼아 연구의 초점을 두었다. 연구목적을 달성하기 위해 세종시 건설의 추진과정, 주요 논쟁의 쟁점들을 살펴보고 이해당사자들 간의 대립되는 찬반의 논란을 규명하는 정책논변모형의 분석 틀을 정립 한 후 세종시 건설 원안을 유지할 것인지 아니면 수정안을 채택할 것인가에 대한 논쟁을 분석한 후 정책주장 평가를 위한 방법으로 실증적 계층구조분석을 실시하여 정책적 시사점을 제시하고자 하였다. 연구결과 및 정책적 시사점으로는 첫째, 가치가 개입된 규범적 정책논변분석에서는 어느 정책주장이 더 최적 대안인지 사실상 판단하기가 매우 어려운 것으로 분석되었으며, 실증적 계층구조분석 결과는 정책주장 중 행정복합도시(안)이 평가기준들을 달성시키는 데 있어서 가장 효과적인 최적 정책주장으로 분석되었다. 또한 민감도분석 결과도 선택된 정책주장의 우선순위는 변화가 없었다. 둘째, 양 분석을 종합하여 볼 때 한정어는 이해관련자 설득과 사회적 합의 충족을 위하여 '점진적으로(gradually)'라는 표현이 적합할 것이다. 셋째, 비구조적인 의사결정문제인 세종시 건설의 정책주장 분석에 규범적 분석인 정책논변모형과 실증적 평가인 계층구조분석(AHP) 및 민감도분석(SA)을 결합하여 분석함으로써 정책주장 대안의 평가에 있어 객관성을 확보하였다.

소비자제품 안전규제의 효과성 평가와 정책대안 도출

김흥주,박상철 한국정책분석평가학회 2018 한국정책분석평가학회 학술대회발표논문집 Vol.2018 No.4

본 연구의 목적은 가습기살균제 사고 이후 생활화학제품에 대한 소비자의 불안이 증가하면서 생활화학제품 분야의 규제에 대한 평가를 실시하고 정책우선순위를 도출하여 이를 바탕으로 정책적 함의를 제공하는데 그 연구의 목적과 의의가 있다. 이를 위하여 생활화학제품 분야의 전문가들을 대상으로 심층적인 설문조사를 실시하여 생활화학제품 안전규제를 생산, 유통, 소비단계로 평가하고 평가결과를 바탕으로 정책적 우선순위를 도출하도록 하였다. 분석결과를 살펴보면 다음과 같다. 첫째, 정책의 평가에 있어서 생산단계에 있어서는 ‘체계적이고 전문적인 관리시스템 구축 및 안전인프라구축’ 유통단계에 있어서는 ‘소비자참여 및 안전빅데이터 구축’ 그리고 소비단계에 있어서는 ‘소비자 안전교육 및 피해구제’에서 낮은 평가를 받았다. 그리고 ‘유해성평가 및 심사’, ‘소비자 참여’에 있어서는 전문가 집단 간의 인식차이가 나타났다. 둘째, 생활화학제품으로부터 소비자를 보호하기 위한 주요대안으로 사전규제에 있어서‘REACH와 같은 강원 원칙 적용(No Data, No Market), 사전허가제 도입 및 강화’, 사후규제에서는‘징벌적 손해배상제 도입, 리콜제도 강화, 소비자입증 책임완화’가 소비자 지원 및 교육에서는 무엇보다 ‘안전인력 및 예산확보’, 그리고 행정조직 및 거버넌스 구축에서는 ‘행정책임의 일원화와 정보공유시스템의 일원화’등이 제기되었다. 그러나 이를 위해서는 규제완화기조로 인한 규제입법을 위한 합리적 접점을 찾고, 관계부처 및 이해관계자 협의, 기업중심의 문화풍토에서 소비자중심으로, 정부의 적극적인 예산과 인력확보 노력, 그리고 소비자 안전문제를 해결하기 위한 콘트럴 타워 구축 및 기관업무기능의 재조정 등이 이루어져야 할 것으로 제시하고 있다.

정부조직의 정책분석평가역량 구축의 논리와 전략

노화준 한국정책분석평가학회 2010 政策分析評價學會報 Vol.20 No.2

그 동안 정책평가역량구축에 관한 논의와 연구는 있었으나 정책분석평가역량구축에 관한 논의와 연구는 거의 없는 실정이다. 본 연구는 정책을 ‘좋은 사회(어떠한 사회)를 어떻게 만들겠다고 하는 것을 권위있게 결정해 놓은 것’ 이라고 정의하고, 이러한 정의에 입각하여 정책을 구성주의(constructivism)적 관점과 수단주의(instrumentalism)적 관점에서 보아야 한다는 것을 주장하였다. 이러한 정책에 대한 구성주의적 관점과 수단주의적 관점에서 정부조직의 정책분석평가역량구축의 논리를 발전시키고, 우리나라 정부조직의 정책분석평가의 역량과 정책분석평가역량구축을 위한 과거 정부들의 노력을 조사 분석한 다음, 정부조직의 정책분석평가역량구축을 위한 전략적 방안들을 제시하였다.

환경변화와 정책분석평가연구

오철호 한국정책분석평가학회 2011 政策分析評價學會報 Vol.21 No.4

정책은 진공속에서 만들어질 수 없다는 말처럼, 정책과정은 끊임없이 환경과의 상호작용속에서 움직인다. 정확히 말하면 정책 자체가 환경에 영향을 미치는 것보다는 그 반대가 상대적으로 더 크게 작용한다고 보는 것이 현실적이다. 마찬가지로 정책문제를 정의하고 해석하는 분석단계나 일정기간동안 집행이 이루어진 결과에 대한 평가 역시도 정책환경의 영향을 고려하지 않는다면 타당하며 적실성있는 분석이나 평가결과를 산출하는데 한계가 있을 것이다. 특히 이런 현상을 연구하는 정책분석 또는 평가 연구는 정책환경의 변화가 어떤 의미를 지니며 결과적으로 정책분석이나 평가연구에 어떤 영향을 미치게 될 지에 대한 사전적인 인지 또는 사후적인 규명에 민감할 필요가 있다. 이는 상이한 정책환경은 상이한 정책문제를 야기하며, 사회내 가치형성과 문제해결의 보편적 정향이 다르게 나타날 수 있고, 결과적으로 문제를 정의하고 대안을 선택하는 기준 또는 평가기준이나 평가결과의 해석 등도 질적으로 혹은 양적으로 다른 모습이 요구될 수 있기 때문이다. 이런 문제의식하에 이 논단은 디지털사회로 대변되는 새로운 정책환경의 등장에 따라 정책분석이 어떤 모습으로 변화하는 것이 좋을 지 또한 그동안의 평가연구의 경향을 검토하면서 앞으로 어떤 모습으로 평가연구가 개선되어야 하는 것이 바람직할 지 등에 대한 탐색적 논의를 제시하고자 한다.

제4차 산업혁명과 정책분석평가: 탐색적 문제제기

오철호 한국정책분석평가학회 2017 정책분석평가학회보 Vol.27 No.4

It is important to make an head-start understanding of and preparation for the so-called 4th industrial revolution simply because we do not live in vacuum. Likewise, policy analysis and evaluation-whether research or government practice-are directly and indirectly affected by environment. Under the circumstances, the purpose of this research note is not look into the 4th industrial revolution itself but to examine the meaning/implications of the 4th industrial revolution and make a set of suggestions for desirable changes needed in both academia and government. In particular, examining some values like co-production, hyper-connectivity, accuracy, two articles in this research note deal with how such values or orientations imbedded in the 4th industrial revolution can be incorporated into any attempts to reform the way of research and government practice in policy analysis and evaluation. 최근에 등장한 제4차 산업혁명은 그 실체적 진실에 대한 논쟁에 관계없이 급변하는 정책환경을 대변하고 있으며 이에 대한 사전적 이해와 대응은 자연스럽다. 새로운 환경변화는 사회 전반에 걸쳐서 영향을 미치고 있으며, 우리의 사고체계를 포함한 학계 역시도 예외는 아니다. 정책이 진공상태에서 만들어지지 않듯이 정책분석평가 역시도 환경변화에 직간접적으로 영향을 받는다. 이번 논단은 제4차 산업혁명의 의미를 살펴보고 몇 가지 시사점을 짚어보면서 결과적으로 정책분석평가와 관련된 연구 및 실무평가에 어떤 변화를 요구하는지를 탐색하는데 목적이 있다. 즉, 공동생산, 최적화, 초융합, 지능화 등으로 이해되는 제4차 산업혁명의 지향성들이 정책분석 및 평가를 어떻게 변화시킬 것인지를 연구주체, 연구대상, 연구체계/제도 그리고 연구문화 등의 관점에서 개괄하였다, 특히 정책분석평가와 관련한 연구방법과 실무차원에서의 정부의 평가제도/체계에 대해서는 개별 연구를 통하여 보다 깊이있는 문제제기와 대안적 논의를 다루어 보았다.

미래지향적 서울시 대기환경정책의 우선순위분석

주희진,이종구,김태진 한국정책분석평가학회 2011 한국정책분석평가학회 학술대회발표논문집 Vol.2011 No.3

본 연구는 서울시가 제공하고 있는 다양한 대기환경관련정책들을 체계적으로 분류하고 이들 간의 우선순위를 도출하여 보다 바람직하고 효율적인 정책을 위한 함의를 얻어내고자 한 것이다. 이를 위하여 바람직한 대기환경정책이 되기 위하여 고려해야하는 정책유형을 모색한 후, 현재 진행/계획 중인 서울시 대기환경관련정책을 재분류한다. 또한 한정된 자원과 시간의 제약 하에서 효율적으로 정책을 구현하기 위하여 가장 중요한 정책이 무엇인지 혹은 가장 시급한 정책이 무엇인지에 대한 고려가 필요한데, 이를 위한 노력의 일환으로서 각 정책 별 우선순위 분석을 실시한다.분석결과 대기환경정책은 크게 시민참여 확대정책, 배출원 관리정책, 시설물 관리정책, 대기오염 측정정책으로 분류할 수 있으며 이중 시민참여 확대정책이 가장 중요한 것으로 나타났다. 각 유형 별 세부전략의 우선순위 분석 결과, 시민참여 확대정책에서는 홍보가 가장 중요하였으며, 배출원 관리정책은 저공해차 보급확대가, 시설물 관리정책은 저감장치의 설비, 대기오염 측정정책에서는 대기질 분석능력의 강화가 가장 중요도가 높은 것으로 나타났다. 또한 전체 전략의 우선순위는 저공해차 보급확대, 대기질 분석능력의 강화, 홍보, 측정망 증설 및 노후 측정망 교체 등 근본적으로 오염물질을 방지/감소할 수 있는 정책이 중요한 것으로 나타났다.

논의의 초점: 정책분석평가와 성과관리

오철호 한국정책분석평가학회 2011 政策分析評價學會報 Vol.21 No.3

정부개혁의 중요한 수단으로 실행되고 있는 성과관리와 정책연구의 핵심분야 중 하나인 정책분석 및 평가는 목적, 문제의식 또는 방법 등 여러 차원에서 상호간 밀접한 관련을 맺고 있다. 그럼에도 불구하고 염려스런 현상은 성과관리가 정책분석 및 평가와 유기적으로 연계되어 진행되지 못하고 있다는 점이다. 학자에 따라 성과관리를 이해할 때 성과를 관리하는 측면을 강조할 수는 있겠으나, 성과관리설계, 성과지표의 설정, 성과의 평가 등 대부분의 활동은 정책분석평가의 논리 및 분석활동과 밀접하게 연결되어 있다. 따라서 정부사업의 효과적인 성과관리 체계의 구축을 위해서는 사업의 계획 및 집행과정 등 단계별 분석과 개선방안 도출이 필요하며 각 단계별로 정책분석 또는 평가가 어떤 도움을 제공할 수 있을지를 고려하는 사업의 생애주기별 성과관리체계 구축이 필요하다. 이번 논단은 바로 이런 문제의식에서 출발하였다. 즉 성과관리와 정책분석평가의 유기적 연계를 통하여 양자의 학문적 토대를 더욱 공고히 하고, 특히 현실문제해결의 효과성과 적실성을 제고해보자는 것이다. 이런 문제의식하에서 정책분석 및 평가활동이 성과관리와 어떻게 연계될 수 있는지에 대한 일반적인 논의와 보다 구체적으로 이론기반정책평가가 성과관리에 어떻게 도움이 될 수 있는지를 예시적으로 보여주고자 한다.

토픽 모델링을 활용한 저출산 대응 정책 연구동향 분석

이찬주,김란 한국정책분석평가학회 2023 政策分析評價學會報 Vol.33 No.3

저출산 문제는 그 시급성에도 불구하고 해결이 어려워 난제로 분류되고 있으며, 문제의 원인 및 효과를 분석하는 시각 또한 매우 다양하다. 그러나 저출산 대응 정책 관련 연구들이 행정·정책학적 시각에서 어떤 평가유형으로 다루어져 왔는지를 살펴본 연구는 거의 존재하지 않는다. 해당 공백을 메꾸기 위해 본 연구는 평가이론을 바탕으로 2005년부터 2022년 동안 학계에서 다루어진 저출산 대응 정책 관련 연구 담론을 검토하고자 한다. 본 연구는 한국학술지인용색인(KCI)에서 ‘사회과학’으로 분류된 학술지 중 논문 제목 또는 키워드에 ‘저출산’이 포함된 373편의 논문 초록을 대상으로 하였다. 분석방법으로는 딥러닝 기반의 토픽 모델링인 BERTopic을 사용하였다. 분석 결과, 행정·정책학적 함의를 담는 연구 토픽을 총 16개로 구분할 수 있었다. 분석결과, 현재 저출산 대응 정책 담론은 전반적으로 과정평가(정책원인)와 결과평가 수준에 머물러 있음을 알 수 있었다. 특히 원인관련 담론은 인구학적 요인, 사회경제적 요인을 주로 다루어 왔다. 또한, 전문가 평가 뿐만 아니라 정책 수혜자들의 주관적 평가 관련 담로도 이루어져 왔음이 밝혀졌다. 한편, 저출산 대응 정책과 관련하여 과정평가와 결과평가 모두를 아우르는 포괄적 평가는 찾아보기 어렵다는 한계를 확인하였다. 본 연구는 평가이론이라는 틀을 활용하여 저출산 대응 정책을 주제로 한 연구들의 담론 경향성 분석을 목적으로 하였다. 이 분석을 통해 한국의 저출산 문제는 출산 친화적인 사회구조로의 변화와 더불어 사회적 인식 변화까지 유인할 수 있는 복합적인 접근이 필요하다는 정책적 시사점을 제공한다. Despite its urgent significance, the challenge posed by low fertility rates remains intricate and is classified as a conundrum. Diverse viewpoints exist for analyzing the causes and effects of this issue. This study seeks to examine research trends related to policy responses to low fertility discussed in academic circles from 2005 to 2022. To achieve this, 373 abstracts from papers featuring the keyword "low birth rate" in their titles or keywords were chosen from academic journals categorized under the "Social Sciences" in the Korean Citation Index (KCI). These abstracts underwent analysis using BERTopic, a deep learning-based topic modeling method. The analysis identified 16 distinct research topics encompassing administrative and policy implications. The findings indicate that the discourse surrounding current policy responses to low fertility has mainly focused on causal analysis and outcome evaluation, predominantly considering demographic and socio-economic factors. Furthermore, this discourse has engaged not only experts but also included subjective assessments from policy beneficiaries. However, the study identified a limitation in comprehensively evaluating both the process and outcomes in relation to low birth rate response policies. By analyzing research trends in studies centered on policy responses to low fertility, this study provides a policy implication that underscores the need for a comprehensive approach. This approach should address not only the structural issues intrinsic to South Korea's low birth rate problem but also trigger shifts in societal awareness.