KOICA 글로벌 연수사업(CIAT) 평가준거 개발 = A Study on Development Criteria of Evaluation of KOICA CIAT

다국어 초록 (Multilingual Abstract)

Since Republic of Korea(ROK) joined OECD/DAC, training courses and trainees have increased as well as the complexity of the training projects. Along with the increase, various problems have been uncovered that weren't visible when the size of the projects was smaller. To find and improve the problems, evaluation of projects' performance is needed to be held; and therefore, solidification of the performance evaluation criteria is necessary to be done. Thus, this study has its purpose to develop the criteria of the performance evaluation for the training projects operated as the technical cooperation, the most used method of ODA. For such purpose, the following steps were held: first, the criteria of performance evaluation has been designed through the literature reviews related to training projects; second, the validation of the performance evaluation criteria has been done through two Delphi Surveys with panel of experts; and third, the relative importance of the performance evaluation criteria has been caculated through Analytic Hierarchy Process(AHP). As a result, total 3 domains, 11 categories, and 34 indicators have been developed to evaluate the performance of the KOICA Global Training Projects. The Input Domain includes three categories: Budgeting & Utilization, Organizing & Developing Workforce, and Facility & Utility Operation. The Activity Domain includes four categories: Training Planning, Trainee Selection, Training Program, and Post-training Management. The Output & Performance Domain includes four categories: Training Results, Immidiate Performance Outcome, Mid-term Performance Outcome, and Long-term Performance Outcome. The Output & Performance Domain has the highest importance compared to the other domains. Especially, the Mid-term Performance Outcome category was pointed out to have the highest importance, implying how the success of the training projects rely on the result variables such as the relationship between ROK and recipient countries, the impact on the trainees, and the impact on the recipient countries.

국문 초록 (Abstract)

이 연구의 목적은 국제개발협력에 있어 대표적인 기술협력 방식으로 자리 잡은 연수사업, 즉 KOICA의 글로벌 연수사업(CIAT)의 평가준거를 개발하는 데 있었다. 이를 위해 첫째, 연수사업 평가와 관련된 선행연구를 고찰함으로써 연수사업의 평가준거 초안을 구안하였고, 둘째, 전문가 패널을 대상으로 구안된 평가준거에 대한 2차에 걸친 델파이 조사를 실시하여 평가준거를 타당화하였다. 셋째, 계층화 분석법(AHP)을 활용하여 평가준거의 상대적 중요도를 산정하였다. 연구 결과, KOICA 글로벌 연수사업의 성과를 평가하기 위한 총 3개 영역, 11개 항목, 34개 지표가 개발되었다. 투입 영역은 예산 편성 및 활용, 조직 및 인력 구성, 시설 및 장비 운영의 3개 항목으로 구성되고, 활동 영역은 연수기획, 연수생 선발, 연수 프로그램, 사후관리의 4개 영역으로 구분되었으며, 산출 및 성과 영역은 연수 결과, 단기성과, 중기성과, 장기성과의 4가지 항목으로 구성되었다. 투입, 활동, 산출 및 성과의 3개 영역 중에서는 산출 및 성과가 가장 높은 가중치를 갖고, 특히 중기성과 평가항목이 가장 높은 가중치를 갖고 있는 것으로 나타나 연수사업의 성패가 우리나라와 수원국과의 관계, 연수생에게 주는 영향, 수원국에 주는 영향 등 결과변수에 따라 평가된다는 점을 시사하였다.

참고문헌 (Reference)

1 황윤주, "프로그램 논리모형을 활용한 경력단절여성 재취업지원 프로그램 효과성 분석 - 서울시 S센터 사례를 중심으로 -" 한국직업교육학회 33 (33): 55-79, 2014

2 이찬, "평가진단체계 방안도출 연구 용역" 중앙공무원교육원 2013

3 홍재환, "초청연수사업 통합평가" 국무조정실 2013

4 성윤정, "직업교육훈련 분야 공적개발원조 사업의 평가항목 타당성 분석" 한국평생교육ㆍHRD연구소 6 (6): 45-67, 2010

5 국제개발협력위원회, "제2차 국제개발협력 기본계획" 국제개발협력위원회 2015

6 이찬, "전략적 인적자원개발 활동수준 진단준거 개발" 한국기업교육학회 14 (14): 155-178, 2012

7 이태주, "우리나라의 기술협력 공적개발원조사업 개선방안" 한국국제협력단 2012

8 권혁주, "연수생 초청사업 효과성 평가" 한국국제협력단 2010

9 편집부, "연수생 초청사업 효과성 평가" 2010 (2010): 216-228, 2010

10 이태주, "연수사업 성과점검 및 성과관리체계 구축 연구" 한국국제협력단 2015

11 황인주, "무용교육프로그램 성과평가모형 개발에 관한 연구" 무용역사기록학회 35 : 283-300, 2014

12 이찬, "논리모형을 활용한 국가인적자원개발컨소시엄 사업 성과분석" 한국직업교육학회 31 (31): 195-216, 2012

13 이창희, "논리모형을 통한 현장중심 직업교육 프로그램의 분석" 한국장애인재활협회 15 (15): 75-98, 2011

14 이찬, "글로벌 연수사업(CIAT)종합평가" 한국국제협력단 2016

15 안용진, "국제개발협력사업 선정을 위한 지표별 가중치 산정: 도시개발/인프라 ODA 사업을 대상으로" 한국지역개발학회 26 (26): 71-84, 2014

16 Doick, K. J, "Understanding success in the context of brownfield greening projects : the requirement for outcome evaluation in urban greenspace success assessment" 8 (8): 163-178, 2009

17 Bickman, L, "The functions of program theory" 33 : 5-18, 1987

18 Saaty, T. L, "The Analytic Hierarchy Process : Planning, Priority Setting, Resource Allocation" RWS Publications 1996

19 Scott, Z, "Southern Perspectives on Technical Cooperation: Analytical Review and Annotated Bibliography" Governance and Social Development Resource Centre 2009

20 Frye, A. W, "Program evaluation models and related theories: AMEE guide no. 67" 34 (34): 288-299, 2012

21 OECD/DAC, "Perspective Note : Technical Co-operation for Capacity Development"

22 Ferrinho, P, "Perceptions of the usefulness of external support to immunization coverage in Guinea-Bissau : a Delphi analysis of the GAVI-Alliance cash-based support" 46 (46): 7-14, 2013

23 Afful-Dadzie, E, "Measuring progress of the millennium development goals : a fuzzy comprehensive evaluation approach" 28 (28): 1-15, 2014

24 Grady, C. A, "Integrating social network analysis with analytic network process for international development project selection" 42 (42): 5128-5138, 2015

25 Phillips, J. J, "Handbook of training evaluation and measurement methods" Gulf Publishing 1997

26 McLaughlin, J. B, "Handbook of practical program evaluation" Jossey-Bass 55-80, 2010

27 김진모, "HRD 성과평가 준거에 대한 이론적 탐색: 목표 HRD 발전단계에 따른 접근방법을 중심으로" 한국인력개발학회 17 (17): 57-88, 2015

28 Kirkpatrick, D. L, "Evaluating training programs : a collection of articles from the journal of the American Society for Training and Development" American Society for Training and Development(ASTD) 1975

29 이영민, "CIPP 평가모형 구성요소에 기초한 중소기업 훈련 컨소시엄 운영기관 담당자의 인식조사" 한국인력개발학회 11 (11): 91-113, 2009

30 Smith, A, "Australian training and development in 1992" 31 (31): 65-74, 1993

31 Kim, M, "Application of Delphi-AHP methods to select the priorities of WEEE for recycling in a waste management decision-making tool" 128 : 941-948, 2013

32 이영민, "AHP 기반 성과지표를 적용한 국가인적자원개발 컨소시엄 사업의 성과분석" 한국산업교육학회 (28) : 21-41, 2014

33 Lawshe, C. H, "A quantitative approach to content validity1" 28 (28): 563-575, 1975