CIPP 모형을 적용한 ODA 성과지표 개발: 대학 교육과정 개발 사업유형을 중심으로

박소영,신하영 한국외국어대학교 국제지역연구센터 2021 국제지역연구 Vol.25 No.2

This study aims to develop ODA an evaluation model enhancing sustainability with reflecting the recent trends of ODA fields. For this, this study suggests the context-input-process-output evaluation (CIPP) model, which combines the classical program logic model and the post-constructivist perspective, is for elaborating the evaluation models for higher education ODA projects. Before that, the application are presented through the theoretical background and review of previous studies. In addition, in order to empirically prove the effectiveness of the evaluation model, two types of curriculum development project among ODA projects are selected as an application case. As a result of the study, the CIPP model has strengths with decision-making system and feedback necessary for planning and operation of ODA projects in the field of higher education and vocational training more than the existing program logic model. In addition, the method of intersecting formative/ summative evaluations in the CIPP model is useful in establishing strategies necessary for securing the accountability and the sustainability of manpower training. This study enhance the current ODA projects evaluation lacking standardized frame due to the strong individual characteristics, and CIPP model will provide us a mutually compatible evaluation frame especially for ODA projects in the curriculum development – higher education field. 이 연구의 목적은 맥락-투입-과정-산출 평가(CIPP)모형을 적용하여 사업의 효과성과 관리 효율성을 높이고자 하는 ODA 사업 평가 모형을 개발하는 데 있다. 이를 통해 최근 국제개발협력 사업에서 기획과 수행, 평가에서 강조되는 지속가능성을 내재한 성과지표를 개발하였다. 특히 대학 교육과정 개발 분야 국제개발협력 사업의 성과를 모니터링하고 평가하기에 적합한 성과지표를 개발하기 위해 CIPP 모형을 소개하고, 이를 적용한 사례를 제시하였다. 고등교육 국제협력사업 성과지표와 평가모형을 정교화하기 위해 고전적인 프로그램 논리모형과 후기 구성주의 관점이 접목된 CIPP 모형을 적용하였다. 모형의 주요 원리와 적용의 주안점 등을 이론적 배경과 선행연구 검토를 통해 제시하였다. 또한 지표와 모형의 효과를 경험적으로 입증하기 위해 국내 ODA 사업 중 교육과정 개발 사업유형을 적용사례로 제시하였다. 연구 결과, CIPP 모형은 기존의 프로그램 논리모형에 근간을 둔 기존 평가모형에서 교육과정 개발 및 운영, 고등교육 및 직업훈련 분야 ODA 사업 수행에 필요한 의사결정과 환류에 적합한 의사결정체계로서 강점을 가졌다. 또한 CIPP 모형에서 형성/총괄평가를 교차하는 방식이 사업단의 책무성과 인력양성의 지속가능성 확보에 필요한 전략을 수립하는 데 유용하였다.

대학교육 질 관리 모형 개발: CQI에 기반한 3수준 CIPP

전은정 한국비즈니스학회 2025 비즈니스융복합연구 Vol.10 No.1

최근 대학의 교육과정 질 개선을 위한 움직임이 분주하다. 대학은 교과목 및 교육과정 인증제를 도입하고 인증을 위한 평가항목을 개발 및 활용 중이다. 더불어 이러한 인증 과정을 통해 지속적 교육과정 질 개선을 의미하는 CQI를 실현하고 있다. 본 연구는 대학의 교육과정 질 관리를 위해 CIPP 평가모형에 기반하여 ‘교과목‘, ‘교육과정‘, ‘대학’ 등 모든 단계별 CQI 평가가 가능한 하나의 통합 체계를 개발하고 그 모형을 도식화하고자 하는 목적으로 수행되었다. 이를 위해 먼저 대학 교육과정 질 개선을 위해 CIPP 모형을 활용한 선행연구를 분석하여 평가 영역별 평가 항목을 추출하였다. 또한 대학, 교육과정, 교과목의 계층적 CQI 단계를 수립하고자 다수 대학의 사례를 분석하였다. 이와 같은 과정을 통해 CIPP 평가 영역과 CQI 단계, 두 분류 기준을 수평 및 수직 차원에 배치한 매트릭스 형태의 통합 체계를 구성하였고 그 모형을 도식화하여 나타내었다. 이후 각 세부 영역에 해당하는 평가항목에 대해 전문가를 통한 내용타당도 조사를 실시하였다. 본 연구를 통해 CIPP 평가모형 틀의 장점을 가지면서 단계별 CQI 분석을 결합한 모형을 도출하였다. 이와 같은 모형 개발은 ‘대학-교육과정-교과목’ 수준의 CQI 전반에 걸쳐 ‘상황-투입-과정-산출’ 등의 CIPP 평가영역을 통합하여 지속적 개선을 도모할 수 있는 포괄적인 모형을 구축했다는 점에서 의의를 가진다. 도출된 모형은 양질의 교육과정을 제공하고자 하는 대학의 교육 질 개선 체계 구축 과정에 시사점을 제공할 수 있을 것으로 기대한다. Recently, there has been a lot of activity to improve the quality of university curriculum. Universities are introducing a subject and curriculum certification system and developing and utilizing evaluation items for certification. In addition, through this certification process, they are realizing CQI, which means continuous curriculum quality improvement. This study was conducted for the purpose of developing an integrated system that can evaluate CQI at all stages, such as ‘subject’, ‘curriculum’, and ‘university’, based on the CIPP evaluation model for the quality management of university curriculum, and diagramming the model. To this end, we first analyzed previous studies that utilized the CIPP model for the quality improvement of university curriculum and extracted evaluation items by evaluation area. In addition, we analyzed cases of many universities to establish hierarchical CQI stages of universities, curriculums, and subjects. Through this process, we constructed an integrated system in the form of a matrix that placed two classification criteria, such as CIPP evaluation areas and CQI stages, in horizontal and vertical dimensions, and diagrammed the model. Afterwards, we conducted a content validity investigation through experts on the evaluation items corresponding to each sub-area. Through this study, a model was derived that combines the advantages of the CIPP evaluation model framework with step-by-step CQI analysis. The development of this model is significant in that it builds a comprehensive model that can promote continuous improvement by integrating CIPP evaluation areas such as ‘situation-input-process-output’ across the entire CQI at the ‘university-curriculum-subject’ level. It is expected that the derived model will provide implications for the process of establishing an educational quality improvement system for universities that aim to provide high-quality educational courses.

‘지식재산 일반’ 연구 협력학교 운영모델의 CIPP 기반 평가 사례 연구

박경선,이영희,김아리 한국기술교육학회 2019 한국기술교육학회지 Vol.19 No.3

The purpose of this study is the evaluation of three operating models based on the CIPP based evaluation criteria for the models in research schools which implemented a career elective subject in their curriculums, which is called ‘Introduction to intellectual property'. In order to achieve the aim of the research, educational contents of the subject were applied in both regular and non-regular courses in nine high schools: five general high schools, two specialized, and two elite. Taken into consideration of educational contexts of each school, the CIPP-based evaluation criteria were developed and applied to three models: curriculum-focused, convergent, and extracurriculum-utilized. Case analysis methods were conducted on various teaching and learning data, and students’ qualitative achievement products collected in ‘context-input-process-product' evaluation stages of each model. In addition, interviews and surveys were administered to teachers, students, and principles As a result of the research, the CIPP-based evaluation criteria were modified into 5 evaluation categories for the Context stage, 6 for the Input, and 6 for the Output respectively. As for the Process stage, 6 comprehensive criteria and 3 individuals of each model were finalized. It turned out that the curriculum-focused model is the most optimal and likely to secure class hours of the subject. However, it is reasonable to apply models according to educational contexts in each school. In order to facilitate the dissemination of the subject in high schools, it is necessary to secure the number of class hour and competent teachers, strengthen teachers’ content expertises and teaching competencies, and develop teaching·learning·evaluating methods. Moreover, efforts are needed to establish a consulting system to support teaching and learning, and procure physical spaces and resources for student activities. 본 연구의 목적은 2015 개정 교육과정에서 신규 도입된 ‘지식재산 일반’ 과목을 위한 연구 협력학교의 운영모델을 CIPP 기반 평가 준거를 개발하여 평가하는 것이다. 연구의 목적을 달성하기 위해 서울, 경기, 인천, 대전 소재의 일반고 5개교, 특목고 2개교, 특성화고 2개교 등 총 9개교 고등학교의 정규 및 비정규 과정에서 ‘지식재산 일반’ 교육내용을 적용하였다. ‘교과중점형, 융합형, 비교과활용형’ 세 가지 운영모델에 CIPP 기반 평가 준거를 적용하여 평가를 수행하기 위해 과목 운영의 ‘상황-투입-과정-산출’ 단계에서 다양한 교수·학습 자료와 성과물을 수집하여 분석하였고, 과목 지도교사, 학생 등에 대한 인터뷰와 설문조사를 실시하였다. 연구 결과, CIPP 기반 평가 준거 영역은 상황평가 5개, 투입평가 및 산출평가 각각 6개로 개발되었고, 과정평가는 공통 6개 및 운영모델 유형별 각각 3개 평가 준거영역으로 개발되었다. 운영모델의 평가를 수행한 결과, 수업 시수를 확보할 수 있는 교과중점형 운영모델의 적용이 가장 바람직하지만 학교 현장의 상황 및 교육 여건에 맞는 운영모델의 적용이 필요한 것으로 나타났다. 고등학교에서 ‘지식재산 일반’ 과목의 원활한 도입과 정착을 위해서는 과목의 교육과정 자체에 대한 이해, 수업 시수와 교사의 확보, 교사의 내용전문성 및 수업 역량 강화, 교수·학습·평가 방법의 개발, 교수·학습 지원을 위한 컨설팅 체계 구축, 원활한 학생 활동을 위한 물리적 공간 및 자원 확보 등에 대한 노력이 요청된다.

CIPP 평가 모형의 지향 원칙과 국내 교육 분야 CIPP 평가 모형 활용 연구 고찰

이원석 한국교육평가학회 2019 교육평가연구 Vol.32 No.4

Based on the philosophy and code of ethics of the CIPP evaluation model presented by Stufflebeam, this study presented four orientation principles that should be key to conducting an evaluation (research) using the CIPP model: program improvement orientation, stakeholder involvement orientation, value orientation and various data orientation principles. Next, it was analyzed to what extent the Korean researches (evaluation) using CIPP evaluation model were applying these principles. Overall, Korean research only applies the program improvement orientation principle to some extent, and other principles are not properly reflected. The results of this study will enhance the theoretical understanding of the CIPP evaluation model in Korea and provide useful guidance to fully utilize the value and benefits of the CIPP model. 본 연구는 Stufflebeam이 제시한 CIPP 모형의 7가지 철학과 윤리 강령을 토대로 CIPP 모형을 활용하여 평가(연구)를 수행할 때 핵심적으로 중시하여야 하는 4가지 지향 원칙으로 프로그램 개선 지향, 이해관계인의 관여 지향, 가치 지향, 다양한 자료 지향 원칙을 제시하였다. 다음으로, 국내 CIPP 모형 활용 평가나 연구들이 이러한 원칙들을 어느 정도 적용하고 있는지를 분석하였다. 종합적으로 판단할 때 국내 연구들은 프로그램 개선 지향 원칙만을 어느 정도 적용하고 있으며, 나머지 다른 원칙들은 제대로 반영하고 있지 못한 실정이다. 본 연구 결과는 국내에서 CIPP 평가 모형에 대한 이론적 이해를 높이고 CIPP 모형의 가치와 장점을 충분히 활용하기 위한 유용한 지침을 제공할 것이다.

Using CIPP Model Evaluation for Interdisciplinary Design Curriculum in IDBM Program at Aalto University

Liu, Jue(유각),Nah, Ken(나건) 한국디자인문화학회 2021 한국디자인문화학회지 Vol.27 No.1

과학기술의 발달과 범세계적 경쟁이 과열되는 양상이 보이면서 사회 각 영역에서 창의적 인력의 필요성이 대두되었다. 현재 대부분의 고등교육기관에서 채택하고 있는 개별 학문 영역을 통한 교육 방식은 학생들이 기업에 들어가 다양하고 복합적인 현실적인 문제에 대처 할 경험이나 능력을 기르지 못하게 한다. 따라서, 학문간의 경계를 허물고 학문영역 간 연구교류를 통해 새로운 방법을 찾아 창의적이고 협업하는 미래형 인재를 양성하는 일이 시급하게 되었다. 본 연구에서는 핀란드 알토대학 IDBM(International Design Business Management) 과정의 다학제 디자인 프로그램을 CIPP 모형을 통해 평가한다. 첫째, CIPP 모형의 성격, 특징, 작용에 대해 충분히 이해한다. 둘째, 학문 간의 연계성에 대해 분석한 후 다학제 프로그램의 필요조건에 대해 알아본다. 셋째, CIPP 모형을 통해 IDBM 다학제 디자인 프로그램의 상황(context), 투입(input), 과정(process), 산출(product) 등 네 개의 단계를 거쳐 심도 있는 분석과 평가를 진행한다. 종합하면, IDBM 과정은 학술적 배경, 교육 실습환경, 교육 체계, 교육방법, 학생들의 취업성과 등의 모든 부면에서 CIPP 모형의 평가 표준에 부합한다. 또한, IDBM 과정은 우수한 다학제적 디자인 교육 프로그램으로써 학생들이 복잡한 취업환경과 복잡한 업무에 미리 적응하도록 할 수 있다. 우리는 이러한 연구를 통해 다학제적 디자인 교육의 긍정적인 영향과 미래 고등 교육에서 운용가능성, 발전방향을 가늠할 수 있다. 따라서, 다학제적 디자인교육은 앞으로 고등교육 기관에서 필요한 통합형 인재를 배양하는 면에서 중요한 역할을 할 것이다. With the development of science and technology and the increasing global competition, all industries are looking for innovative talents to break through the development dilemma. At present, most universities adopt Intradisciplinary training method, so that students do not have the experience and ability to use comprehensive methods to deal with complex problems when entering enterprises. In such a situation, it is urgent to break the disciplinary boundaries and find new ways to carry out interdisciplinary teaching to improve the innovation and collaboration of future talents. This study uses the CIPP model to evaluate the interdisciplinary education of the IDBM (International Design Business Management) program of Aalto University in Finland. Firstly, fully understand the nature, characteristics, and functions of the CIPP model. Secondly, analyze the relations between disciplinarity, clarify the key conditions for the success of interdisciplinary education. Finally, the CIPP model is used to conduct in-depth analysis and evaluation of the four stages of the IDBM interdisciplinary design program: context, input, process and product. It is concluded that the IDBM program meets the evaluation criteria of the CIPP model in terms of academic background, teaching practice platforms, teaching teams, teaching methods, and students’ employment development. Moreover, as an excellent interdisciplinary design education practice program, IDBM enables students to adapt to the comprehensive employment environment and complex work challenges in advance. Through this research, we have seen the positive impact of interdisciplinary design education and its application and development trend in future universities. Therefore, interdisciplinary design education will play an important role in cultivating innovative talents with comprehensive qualities required by the society.

CIPP 평가모형 기반 교수지원 프로그램 평가도구 고도화 연구: A대학교 사례를 중심으로

임상훈 ( Sanghoon Im ),오희정 ( Heejung Oh ) 한국교육정보미디어학회 2025 교육정보미디어연구 Vol.31 No.1

본 연구의 목적은 경북에 위치한 A대학교의 사례를 중심으로, 대학교육의 질관리를 위해 교수지원 프로그램 평가도구를 CIPP 평가모형에 기반하여 고도화하는 것이다. 이를 위해 A대학교에서 기존에 활용하고 있는 교수지원 프로그램에 대한 분석 및 CIPP 평가모형에 대한 문헌 연구를 진행하였다. 그 결과 CIPP 평가모형에서 제시하는 평가영역별로 구성된 교수지원 프로그램 평가도구 시안을 구성하였다. 이후 델파이조사의 참여 전문가 패널은 내부 3인, 외부 10인으로 구성하여 총 3회의 델파이조사를 진행하였다. 각 회차별 기술통계 분석, 안정도(CV), 수렴도(Convergence), 합의도(Consensus), 내용타당도 비율(CVR)을 산출하여 정성평가와 함께 내부 전문가 협의 과정을 거쳤다. 이러한 과정을 거쳐 최종 4개 상위 평가 영역, 8개 하위 평가 영역, 전체 48개 평가 문항으로 교수지원 프로그램 평가도구(안)를 확정하였다. 본 연구에서 개발된 교수지원 프로그램 평가도구는 기존 평가도구에서 이론적 토대를 보완하고 프로그램 진행의 전 과정을 총체적으로 평가할 수 있는 CIPP 평가모형에 근거하였다는 점에서 의의가 있으며 이후 교수지원 프로그램 평가도구 활용 및 환류 차원의 방향성 설정에도 실제 상황과 맥락을 반영한 도구로서 기여할 수 있을 것이다. The purpose of this study is to enhance the assessment tools for faculty development programs, based on the CIPP evaluation model, to improve the quality assurance of higher education, focusing on a case study of A University located in Gyeongsangbuk-do. To achieve this, an analysis of the existing faculty development programs at A University and a literature review on the CIPP evaluation model were conducted. As a result, a preliminary draft of an assessment tool was developed, structured according to the evaluation domains outlined by the CIPP model. After that, the panel of experts participating in the Delphi survey consisted of 3 internal and 10 external members, and a total of 3 Delphi surveys were conducted. Descriptive statistics analysis for each session, stability(CV), convergence, consensus, and content validity ratio(CVR) were calculated, and they went through a qualitative evaluation and internal expert consultation process. Through this process, the assessment tools(draft) for the faculty development program was confirmed with the final 4 upper evaluation indicators, 8 lower evaluation sections, and a total of 48 evaluation questions. The faculty development program assessment tools developed in this study is significant in that it is based on the CIPP evaluation model that can supplement the theoretical foundation of the existing assessment tools and evaluate the entire process of the program.

Evaluation of Medical Humanities Course in College of Medicine Using the Context, Input, Process, and Product Evaluation Model

이소영,이승희,신좌섭 대한의학회 2019 Journal of Korean medical science Vol.34 No.22

Background: Seoul National University College of Medicine has provided a new educational curriculum on basis of the competency-based curriculum since 2016. The new curriculum included the medical humanities course (MHC) to potentiate humanities of medical students. The present study applied the context, input, process and product (CIPP) evaluation model to the MHC in order to confirm the feasibility of the CIPP model and to improve the MHC by questionnaire survey and analysis of teaching materials. Methods: This study analyzed the MHC provided to the freshmen in 2016 and to the freshmen and sophomores in 2017 by the CIPP model. Firstly, evaluation criteria and indicators were developed according to the CIPP classification. The materials collected from the course were analyzed by quantitative and qualitative analysis according to the evaluation criteria. In the quantitative analysis, an independent sample t-test was performed to verify the difference in the responses between the students (n = 522) and the professors (n = 22). In addition, content analysis was conducted for qualitative evaluation. Results: There were significant differences in perceptions of MHC between students and professors about the results of almost all objective survey questions through the t-test, such as score 3.64 in students and 4.48 in professors in response to the item of ‘provision of appropriate feedback.’ As a result of the content analysis, 7 categories and 20 subcategories were derived. There were the most responses to various instructional methods (students, 20%; professors, 21.5%). Conclusion: The CIPP evaluation model was acceptable for the MHC analysis. The first task is to raise students' awareness of the MHC in order to improve the MHC quality.

CIPP 평가모형 적용을 통한 2009 개정 중학교 교육과정 평가지표 개발

김석우(Suk-Woo Kim),이대용(Daeyong Lee) 한국교육평가학회 2012 교육평가연구 Vol.25 No.2

본 연구의 목적은 2009개정 중학교 교육과정평가의 내용분석을 통하여 중학교 교육과정 평가준거를 CIPP 평가모형에 맞추어 개발한 후 이를 타당화하는 것이다. 이를 위해 문헌고찰과 전문가 협의를 통하여 2009개정 중학교 교육과정 평가지표를 개발하였다. 또 이를 타당화를 하기 위하여 통합창원시와 부산광역시에 근무하는 중학교 교사, 대학교수 등 교육과정 전문가 17명을 대상으로 델파이 조사를 실시하였다. 수집된 델파이 설문 자료의 전문가 합의 정도를 분석하기 위하여 평균, 표준편차, 내용타당도 지수, 의견합의도, 수렴도 등을 살펴보았다. CIPP 평가모형을 적용한 2009개정 중학교 교육과정 평가지표에 대한 전문가 패널들의 합의정도는 다음과 같다. 첫째, 1차 델파이 연구결과, 개발된 32개의 평가지표 중 2개의 평가지표들은 평균과 내용타당도 지수 본 연구가 정한 수용 기준에 적절하지 않아 삭제를 하였다. 다시 30개의 평가지표들에 대하여 2차 델파이 연구를 수행한 결과 평균과 내용타당도 지수가 적절한 것으로 판명되었다. 둘째, 표준편차가 1차에서 2차 델파이 연구가 진행됨에 따라 줄어들었다. 마지막으로 1차와 2차 델파이 연구에서 삭제된 2개의 평가지표를 제외하고는 합의도는 유지되거나 향상되었고, 수렴도는 긍정적인 변화가 있었다. 이상의 결과들을 종합하면 개발된 CIPP 평가모형을 적용한 2009개정 중학교 교육과정 평가지표에 대한 전문가들의 의견은 긍정적으로 합의한다고 판단된다. The purpose of this study was to develop evaluation indicators for 2009 revised middle school curriculum applied by CIPP evaluation model. As for the research subjects, this study selected 17 experts who are middle school teachers or university professors from Pusan Metropolitan or Changwon City in Korea and carried out the Delphi method. The evaluation indicators draft was developed after literature review and expert deliberation. In this light, this study made the determination that it was needed to sufficiently examine the mean, standard deviation, content validity ratio, the degree of coincidence and convergence from investigated Delphi research. The research contents and results of the analysis in this study are as follows; first, 32 previous indicators were not chosen and new evaluation indicators were established based on the recommendations and opinions of the experts. second, 30 evaluation indicators were developed based on the results of the survey of the experts upon the application of statistical analysis. This study evaluated the importance rate of each factor in the second questionnaire based on the results of the first survey. Then, this study selected the factors that the expert group finally agreed upon and, with those factors, this study defined the roles. As a result, this study is significant in trying to find the evaluated indicators for the 2009 revised middle school curriculum applied by CIPP evaluation model.

CIPP 평가모형을 통한 부산다행복학교 교육과정 평가도구 개발

권종실,남창우 한국홀리스틱융합교육학회 2024 홀리스틱융합교육연구 Vol.28 No.3

The purpose of this study was to develop assessment tool for the curriculum of da-haengbok schools based on the evaluation model of the CIPP and to investigate the perception of teachers of the da-haengbok schools. For this study, the evaluation factors of the curriculum of the da-haengbok schools based on the CIPP evaluation model and the experts of the curriculum and da-haengbok schools were identified and conducted the validation by experts for the curriculum experts and innovation School ones. A survey was conducted on 65 teachers of da-haengbok Schools with the list of curriculum evaluation of da-haengbok schools ensuring content validity. The questionnaire was administered by online and 65 copies of the collected questionnaires were analyzed using SPSS 21.0. The summary of the results analyzed though this study and the presentation of the conclusions are as follows. First, the CIPP evaluation model-based evaluation list of the da-haengbok School curriculum resulted in 7 questions in context type requirements, 6 questions in the planning area of the operation time of contents of the input type, 13 questions in teaching-learning procedure, the target achievement and satisfaction level, interaction, and participation level, and 8 questions in achievement level and effectiveness evaluation of product types. This study is meaningful in that it has developed a practical and professional instructional designing model by synthesizing various opinions from curriculum experts, teaching design experts, innovation school experts, and teachers of da-haengbok schools, considering there is not enough research on instructional designing models and learning strategies of da-haengbok schools. It is also meaningful in that it proposed the need for a multi-faceted support system to enhance the quality of the curriculum, such as fostering capacity to reconstruct the curriculum, supporting the operation of a professional learning community, and forming a democratic school culture for the efficient operation of da-haengbok schools.

CIPP 평가모형을 적용한 의과대학 교육과정 운영 평가지표 타당화

차봉은,손민호 인하대학교 교육연구소 2020 교육문화연구 Vol.26 No.5

This study was intended to examine the feasibility and reliability of the medical school curriculum operation evaluation index developed in the first study as a secondary study on the development of the medical school curriculum operation evaluation index using the CIPP evaluation model. As a result of the study, the first step in the CIPP evaluation model, the Context evaluation index, did not produce any modifications to the assessment factors and assessment questions. The second step, Input evaluation, was modified from three existing evaluation factors to two evaluation factors, deleting three evaluation questions. The third step, Process Evaluation, was also modified from three evaluation factors to two evaluation factors, deleting three evaluation questions. Finally, the product evaluation index was modified from three factors to two factors without deleting the assessment questions, and the 'Medical College Curriculum Operation Evaluation Index' was organized into 69 evaluation questions of eight factors, ensuring its validity. The reliability of the assessment indicators compiled through the factor analysis was analyzed. The reliability analysis showed that the reliability of the assessment indicators was .96, the input evaluation index was .97, the process evaluation index was .96, and the calculation evaluation index was .96.The reliability analysis for each factor was shown to be 95, and the reliability of the evaluation index was also achieved with a confidence of more than 1.88 for all factors. 본 연구는 CIPP 평가모형을 적용한 의과대학 교육과정 운영 평가지표 개발에 대한 2차 연구로 1차 연구에서 개발한의과대학 교육과정 운영 평가지표에 대한 타당성과 신뢰도를 살펴보고자 하였다. 설문조사는 A 의과대학 60명의의과대학 교수를 대상으로 실시하였으며 45부를 회수하여 분석하였다. 연구 결과 CIPP 평가모형의 평가단계에 따라살펴보면, CIPP 평가모형의 첫 번째 단계인 상황평가(Context evaluation) 평가지표는 평가요인과 평가문항에 대한수정사항이 발생하지 않았다. 두 번째 단계인 투입평가(Input evaluation) 평가지표는 3개 평가문항을 삭제하면서 기존의3개의 평가요인에서 ‘교육운영의 구조’와 ‘교육운영 수월성을 위한 구조’라는 2개의 평가요인으로 수정되었다. 세번째 단계인 과정평가(Process evaluation) 평가지표도 3개의 평가문항을 삭제하면서 3개의 평가요인에서 ‘교육력 강화를위한 과정’, ‘일반교육 운영과정’이라는 2개의 평가요인으로 수정되었다. 마지막으로 산출평가(Product evaluation) 평가지표는 평가문항의 삭제 없이 3개 요인에서 ‘교육과정 운영개선 역량’과 ‘학생성장 역량’이라는 2개의 요인으로수정되어, ‘의과대학 교육과정 운영 평가지표’는 8개 요인의 69개 평가문항으로 정리되면서 타당성을 확보하게 되었다. 요인분석을 통하여 정리된 평가지표에 대하여 평가단계별, 요인별 신뢰도를 분석하였는데, 신뢰도 분석 결과, 상황평가평가지표의 신뢰도는 .96, 투입평가 평가지표는 .97, 과정평가 평가지표는 .96, 산출평가 평가지표는 .95로 나타났으며각 요인별 신뢰도 분석 결과 또한 모든 요인에서 .88 이상의 신뢰도를 보이며, 평가지표의 신뢰도를 확보할 수 있었다.