역량기반 전공교육과정 질 관리를 위한 성과인증 평가지표 개발: H대학 사례

장은지 부경대학교 인문사회과학연구소 2023 인문사회과학연구 Vol.24 No.4

이 연구는 고등교육기관의 역량기반 교육과정 개발・운영 성과를 확인하고, H대학 교육과정의 질 관리 혁신을 시도하기 위해 전공교육과정 인증제의 최종 단계인 ‘성과인증’의 평가지표를 개발하는 데 그 목적이 있다. 우선, H대학의 전공교육과정 성과인증 평가지표 개발의 방향과 근거를 설정하기 위해 문헌 및 타 대학의 사례를 분석하였으며, 이를 바탕으로 1차 평가지표(안)을 개발하였다. 도출된 1차 평가지표(안)에 대해 내외부 전문가에게 2회의 자문을 받아 3차 수정안을 도출하였다. 이와 더불어 평가지표의 내용타당도 확보를 위해 학내 전문가(학부(과) 대표 교수, 교무학사지원 업무 담당자, 교육인증제 전문가, 교육학 분야 전문가) 25명을 대상으로 전문가 델파이 조사를 3회에 걸쳐 진행하였으며, 지속적인 수정・보완 과정을 거쳐 전공교육과정 성과인증 평가지표의 최종안을 도출하였다. H대학의 전공교육과정 성과인증 평가지표는 CIPP 평가모형에 기반하여 교육과정 상황분석 성과, 교육과정 개발운영 성과, 교육과정 중간 성과, 교육과정 산출 성과로 최종 4개의 교육성과 항목이 도출되었으며, 16개의 평가영역, 62문항으로 구성된 평가준거가 평가지표로 도출되었다. 최종 도출된 평가지표의 내용타당도 확보를 위해 수정 델파이 기법을 활용해 영역별, 지표별 내용타당도 비율을 산출하였다. 최종적으로 전문가 델파이 조사 분석에서 활용되고 있는 내용타당도 비율 최소값(Lawshe, 1975)을 기준으로 내용타당성(CVR)을 확보하였다. 이 연구는 H대학의 역량기반 전공교육과정 질 관리 방안으로 성과인증의 평가지표를 도출하는 과정에 있어, 대학에서 자체적으로 평가지표를 개발하여 적용하였을 뿐만 아니라 대학 수준을 넘어 학부(과) 수준에 적합한 교육성과를 확인하고 개선하는 모델을 시범적으로 보여주었다는 점에서 의미가 있다. The purpose of this study was to develop an evaluation index for performance accreditation at the final stage of the major curriculum accreditation to confirm performance in development and operation of the competency-based curriculum for higher education institutions and make an attempt at reforming the quality management for the curriculum of H University. To set a direction and basis for developing a major curriculum performance accreditation evaluation index for H University, literature and cases of other universities were analyzed; on the basis of the analysis, the first evaluation index (plan) was developed. The third revision was drawn with two sessions of advice from internal and external experts in terms of the first evaluation index (plan). To secure content validity of the evaluation index, a professional delphi survey was conducted in 25 internal experts (professors representative of the department, those in charge of support for academic affairs and education matters, experts in the education accreditation system, and education professionals) in three sessions and was constantly revised and complemented to generate a final plan for the major curriculum performance accreditation evaluation index. As for the major curriculum performance accreditation evaluation index of H University, four educational performance items—curricular situation analysis performance, curricular development and operation performance, interim performance of the curriculum, and curricular output performance—were finally drawn on the basis of the CIPP evaluation model, and an evaluation index consisting of 62 items in 16 areas was developed. To secure content validity of the final evaluation index, the revised delphi method was used to estimate the content validity rate for each area and index. On the basis of the minimum content validity ratio (CVR) used for analysis in a professional delphi survey (Lawshe, 1975), content validity was finally obtained. This study is meaningful in that a university has not only developed and employed its own performance accreditation evaluation index but also demonstrated a model of verifying and improving educational performance appropriate for the level of faculty beyond that of university in drawing an evaluation index for performance accreditation as a plan for managing the quality of the competency-based major curriculum for H University.

초등 실과 교원능력개발을 위한 평가지표의 중요도 조사 연구

정진현,김유정 한국실과교육학회 2011 한국실과교육학회지 Vol.24 No.4

The purpose of this study is to offer the basic materials which to need the development of training program for teacher ability development in elementary practical arts. For achieving the purpose of this study, it was developed the items at each of 12evaluation indexes, and was investigated the importance level of evaluation index on the elementary teacher, and was analysed the survey data. Results of this study were as follows:1. Teachers recognized that goal of curriculum, content element, teaching learning method, and evaluation method are important in 'the understanding and improvement effort of practical arts' evaluation index, and that the method understanding to students'level exactly and the method of instruction design reflecting in students' level are important in 'the subject content analysis and learner's characteristic' evaluation index. 2. Teachers recognized that the understanding about practical arts subject content is very important in 'the establishment of practical arts teaching learning strategy'evaluation index, and that the relationship and achievement of instruction to learner are very important in 'the instruction induction' evaluation index. 3. Teachers recognized that the fitting epilogue for practical arts instruction situation and the case promoting creative thinking and open-hearted thinking are important in 'teacher's epilogue' evaluation index, and that the kind attitude is very important in 'teacher's attitude' evaluation index. 4. Teachers recognized that the role of teacher is very important in 'interaction of teacher-student' evaluation index, and that the proper material and media for practical arts content are very important in 'use of practical arts teaching-learning material(media)'evaluation index. 5. Teachers recognized that the interesting content for practical arts instruction is important in 'process of practical arts instruction' evaluation index, and that the proper content for learning arrangement action is important in 'learning arrangement of practical arts' evaluation index. 6. Teachers recognized that the concrete and essential content for evaluation method,evaluation tool, and question production is important in 'evaluation content and method of practical arts' evaluation index, and that the various methods for instruction improvement based on evaluation results are important in 'use of practical arts evaluation results'evaluation index. 본 연구는 초등 실과 교원능력개발을 위한 맞춤형 연수프로그램 개발과 관련한 각 평가지표별 항목을 개발하여 초등 교사를 대상으로 평가지표별 항목의 중요도를 조사⋅분석하는데 그 목적이 있다. 이 목적을 달성하기 위해서 12개의 평가지표별로 항목을 개발하고, 12개 평가지표별로 항목의 중요도를 초등 교사를 대상으로 설문조사하여 그 결과를 분석하였다. 그 결과는 다음과 같다. 1. ‘실과교육과정의 이해 및 개선 노력’에서는 현행 교육과정을 파악할 수 있는 내용이, ‘학습자의 특성 및 교과내용 분석’에서는 학생들의 수준을 정확하게 파악하는 방법 및 학생들의 수준을 반영하여 수업을 설계하는 방법이 중요하다고 인식하였다. 2. ‘실과 교수·학습전략 수립’에서는 실과 교과내용에 대한 이해를, ‘수업의 도입’에서는 실과 학습자에게 수업의 관련성과 성취감 제시가 가장 중요하다고 인식하였다. 3. ‘교사의 발문’에서는 실과 수업 상황에 적절한 발문 및 창의적이고 개방적인 사고를 촉진하는 사례를, ‘교사의 태도’에서는 친절한 태도가 가장 중요하다고 인식하였다. 4. ‘교사-학생 상호작용’에서는 교사의 역할을, ‘실과 교수-학습 자료(매체)의 활용’에서는 실과 교과 내용에 적합한 자료와 매체를 적절히 하는 것이 가장 중요하다고 인식하였다. 5. ‘실과 수업의 진행’과 ‘실과 학습 정리’에서는 실과 수업을 자연스럽게 진행하기 위한 내용과 실과 수업에서 필요한 학습정리 활동을 적절하게 하기 위한 내용이 중요하다고 인식하였다. 6. ‘실과 평가 내용 및 방법’에서는 평가 방법과 평가 도구 및 문항 제작에 대한 구체적이고 실질적인 내용이 중요하다고 인식하였으며, ‘실과 평가 결과의 활용’ 지표에서는 실과 평가 결과에 대한 분석을 바탕으로 하여 학생들을 수준에 맞게 지도하고 상담하는 기법 및 교사 자신의 실과수업을 개선하기 위한 내용이 중요하다고 인식하였다.

유니버설디자인 원리 기반 장애인체육시설의 프로그램평가지표 개발

이은석 ( Eunsurk Yi ),오아라 ( Ahra Oh ) 한국특수체육학회 2020 한국특수체육학회지 Vol.28 No.4

본 연구는 전문가 델파이를 통하여 UD 원리 기반의 장애인체육시설의 운영 반영되어야 하는 프로그램의 UD요소 분석하고 프로그램의 방향을 제시하는 평가지표를 개발하는 것에 목적을 가지고 진행되었다. 문헌조사에 사용된 UD관련 문헌은 11편 이었고, 평가지표에 관련된 문헌은 7편 이었다. 수집된 문헌을 숙독하고 의미 있다고 판단되는 내용을 분석하여 평가지표의 도출 방법과 기준을 선정하였다. 내용분석에서 선정된 방법과 기준을 토대로 3차에 걸쳐 전문가 14명에게 구조화된 델파이를 실시하였다. 그 결과 최종으로 개발된 평가지표는 모집 및 편성, 프로그램 개설, 프로그램 연계, 프로그램 평가로 4가지 범주가 구성되었다. 첫째, 모집 및 편성의 하위항목은 3개의 평가준거와 10개의 평가지표로 구성되었고, UD의 1원칙과 PPP의 3부칙이 평가지표에 적용되었다. 둘째, 프로그램 개설의 하위항목은 5개의 평가준거와 18개의 평가지표로 구성되었고, UD의 1원칙과 7원칙이 평가지표에 적용되었다. 셋째, 프로그램 연계는 1개의 평가준거와 3개의 평가지표로 구성되었고, UD의 7원칙이 평가지표에 적용되었다. 넷째, 프로그램 평가는 1개의 평가준거와 3개의 평가지표로 구성되었고, UD의 1원칙이 평가지표에 적용되었다 This study was conducted with the purpose of analyzing the UD elements of the program that should be reflected in the operation of sports facilities for the disabled based on the UD principle through expert Delphi and developing evaluation indicators that suggest the direction of the program. There were 11 documents related to UD used in the literature search, and 7 were related to the evaluation index. By carefully reading the collected literature and analyzing the contents judged to be meaningful, the method and criteria for deriving the evaluation index were selected. Based on the method and criteria selected in the content analysis, a structured Delphi was conducted with 14 experts in 3 rounds. As a result, the finally developed evaluation index consisted of four categories: recruitment and organization, program opening, program linkage, and program evaluation. First, the sub-items of recruitment and organization consisted of 3 evaluation criteria and 10 evaluation indices, and 1 principle of UD and 3 supplementary provisions of PPP were applied to the evaluation index. Second, the sub-items of program establishment consisted of 5 evaluation criteria and 18 evaluation indices, and the 1 and 7 principles of UD were applied to the evaluation index. Third, program linkage consisted of one evaluation criterion and three evaluation indicators, and the seven principles of UD were applied to the evaluation index. Fourth, the program evaluation consisted of one evaluation criterion and three evaluation indicators, and one principle of UD was applied to the evaluation index.

헬스케어 재활훈련기 디자인 평가 요소 개발에 관한 연구

조재상 ( Jae Sang Cho ),권대규 ( Tae Kyu Kwon ),홍정표 ( Jung Pyo Hong ) 한국감성과학회 2014 감성과학 Vol.17 No.3

오늘날 고령인구의 증가와 장애인 인구의 증가로 인해 재활훈련기의 수요가 증가하고 있고, 재활훈련기와 사용자간의 제공받아야 할 서비스에 대한 평가 요소의 요구가 커지고 있다. 본 연구에서는 재활훈련기 디자인 평가에 있어서 평가 방안을 모색하기 위해 디자인 평가를 위한 기본 요소를 파악하고 이를 통하여 재활의료전문가, 의공학자, 디자이너들의 토의 및 분석, 실험을 통하여 새로운 평가 요소들을 도출하였다. 연구의 결과는 다음과 같이 요약된다. 첫째, 기존 디자인 평가 요소들을 수집, 분석하여 10가지의 재활훈련기 디자인 평가요소와 44개의 세부 평가항목을 구축하였다. 이는 앞으로 재활훈련기를 디자인하는데 있어서 중요한 평가 기준이 될 것이다. 둘째, 헬스케어 재활훈련기 디자인 개발 시 고려해야 할 디자인 평가요소로는 사용성, 인지성, 안전성, 학습성, 운동성, 내구성, 경제성, 공간성, 심미성, 환경성의 10가지 디자인 평가요소가 있다. 셋째, 환경성, 공간성, 인지성, 사용성, 경제성, 심미성의 디자인 평가요소는 제품디자인에서 공통적으로 고려해야 할 요소들이고, 학습성, 안전성, 운동성, 내구성의 요소는 재활훈련기 디자인 평가요소에서 매우 중요하게 고려해야 할 요소이다. 넷째, 재활 훈련기 디자인 평가요소는 제품디자인요소에서 중요하게 고려되는 환경성, 공간성, 인지성, 사용성, 경제성, 심미성에 학습성, 안전성, 운동성, 내구성을 의 요소를 더해 중요하게 생각한 것이 기존 제품디자인 평가요소와 재활훈련기 디자인 평가요소의 차이점이다. 본 연구에서는 10개의 재활훈련기 디자인 평가요소와 44개의 세부 평가항목 구축에 대한 연구를 진행하였다. 이는 전체적인 재활훈련기 디자인 평가요소만을 연구한 것으로, 향후연구 에서는 시 제품 제작을 통하여 평가요소들을 실제 재활훈련기 디자인에 적용해 보고, 미진한 점들을 수정 보완할 예정이다. Due to the increase of the aged population and population of the disabled today, there is a growing demand for rehabilitation medical instruments. Furthermore, there is a growing demand for evaluation indices for services that should be provided for uses of the rehabilitation medical instruments. In order to evaluate rehabilitation medical instrument designs in this study, the basic index for design evaluations shall be identified to search for assessment plans. Through this, new evaluation indices will be deduced through discussions and analysis of rehabilitation medical experts, biomedical engineers, and designers. The results of this study are summarized as follows. First, the existing design evaluation indices were collected and analyzed to construct 10 rehabilitation medical instrument design evaluation indices and 44 sub-evaluation items. These will be important evaluation standards for designing rehabilitation medical instruments in the future. Second, the design evaluation indices that must be taken into consideration when developing health care rehabilitation medical instruments are the 10 design evaluation indices of usability, cognition, safety, learning, motility, durability, economic feasibility, space, aesthetics and environmental aspects. Third, design evaluation indices of environment, space, cognition, usability, economic feasibility and aesthetics are indices that must be taken into consideration for product design, while learning, safety, motility and durability are factors that must be given special consideration for rehabilitation medical instrument design evaluation indices. Fourth, if existing product design evaluation indices placed importance on environment, space, cognition, usability, economic feasibility and aesthetics of products for design evaluation indices, rehabilitation medical instrument design evaluation indices placed importance on learning, safety, motility and durability on top of usability and economic feasibility, which are the differences between the design evaluation indices of rehabilitation medical instrument and other product designs. The 10 rehabilitation medical device design evaluation indices and 44 sub-evaluation items were carried out in this study. This research is only on the overall rehabilitation medical device design evaluation indices. In future research, the evaluation indices will be applied in the actual rehabilitation medical design device through production of prototypes, while making revisions and supplementations where necessary.

갱생보호사업 평가지수 개발에 관한 연구: 한국법무보호복지공단의 갱생보호사업을 중심으로

조희원,도광조 한국교정복지학회 2019 교정복지연구 Vol.0 No.62

본 연구는 형사정책의 마지막 단계인 갱생보호사업에 대한 효과적이며 신뢰성 있는 평가방식을 마련하고, 성과평가 지수개발을 통하여 효율적인 갱생보호사업의 방향성제시를 목적으로 하였다. 이 연구를 통하여 새롭게 도출된 갱생보호사업 성과지표는 SMART 기준에 따라 점검결과 적정한 성과평가 지표이며, 공단의 설립목적 및 사회적 기대, 주요사업에 대한 실질적 노력도를 반영하고 있는 것으로 추정된다. 이런 일련의 목적과 지표개발 과정을 바탕으로 새롭게 도출된 지표는 다음과 같다. 첫째, 사회복귀촉진 지수는 갱생보호대상자의 법률적 의미를 구체화 할 수 있는 형사처분 및 보호처분 받은 자를 모집단으로 갱생보호사업 이용자수를 의미화 하였다. 둘째, 직업안정 지수는 취업에 어려움을 겪는 갱생보호대상자들이 공단의 취업지원 사업을 통하여 직업안정을 꾀할 수 있도록 갱생보호사업의 기여정도를 파악하기 위한 지표를 조합하였다. 셋째, 생활안정 지수는 주거 불안정, 경제적 어려움, 심리·정서적 힘들므로 불편함을 겪는 갱생보호대상자를 위하여 주거안정 지원, 심리 및 원호지원을 하여 최소한의 생활안정을 꾀할 수 있도록 기여한 정도를 파악하기 위한 지표를 조합하였다. 넷째, 유효데이터 관리지수는 범죄경력자의 사회내 처우를 위한 갱생보호사업 수행기관으로서 한국법무보호복지공단에서 관리하는 데이터관리에 대한 지수이다. 다섯째, 사회적 지지척도는 갱생보호대상자의 사회적 지지에 대한 인식의 정도를 파악하는 척도이다. 지금까지 갱생보호사업의 평가지표는 단순 산출지표(갱생보호이용자수) 수준이었다. 본 연구를 통하여 개발된 성과평가 지수는 기존의 틀을 벗어나 다양한 관점에서 갱생보호사업의 성과를 평가하는 새로운 척도이다. 그렇지만 어떠한 성과평가 지수라도 모든 것을 담고 총체적인 평가를 보장 할 수 없다. 다만 본연의 사업 수행의 목적을 다시 돌아보고 일련의 과정을 환류(還流) 하는 계기를 마련하는 것 자체만으로 큰 의미가 있을 것이다. 갱생보호사업을 다방면으로 평가하기 위하여 새롭게 개발한 성과평가 지수에 대한 활용 및 향후 과제를 다음과 같이 제언하고자 한다. 첫째, 갱생보호사업의 평가 척도를 단순한 양적지표의 평가방식에서 벗어나 질적 성과를 반영 할 수 있는 통합지수화를 위한 지속적인 노력이 필요하다. 즉, 객관성이 담보된 데이터 관리를 위한 노력이 필요하다. 둘째, 개발된 지수의 신뢰도와 타당도 검증을 위한 심층연구를 통하여 지속적인 모니터링이 필요하다. 셋째, 4차 산업혁명 시대를 대비한 미래 사회의 준비를 해야 한다. 즉, 갱생보호사업과 연관된 신뢰성 있는 데이터 기반으로 사물인터넷(Internet of Things) 기술력이 접목될 수 있는 신 성장 산업의 초석을 마련해야 한다. 넷째, 갱생보호사업의 활성화를 위한 인공지능·빅데이터의 융합력을 바탕으로 해법을 찾기 위한 노력이 수반되어야 한다. 예를 들어 갱생보호돌봄로봇(가칭)이 갱생보호대상자와 의미 있는 대화서비스를 지원하는 방식을 생각 할 수 있을 것이다. 우리사회는 급변하고 있다. 지금보다 더욱 다양한 문화 속에서 다른 생각을 하는 사람들을 존중하는 사회가 되었다. 이제는 더 이상 범죄경력자(갱생보호대상자)에 대한 막연한 불안감을 바탕으로 불필요한 에너지를 소진 할 필요가 없는 시대가 될 것이다. 결국, 이러한 긍정적 인식 ... The purpose of this study was to preparean effective and reliable evaluation method for the rehabilitation projection project, the final stage of criminal policy, and propose an efficient operation strategy through developing a performance evaluation index. In the results of checking newly derived rehabilitation projection project performance indexes according to SMART criteria, this study is believed to reflect an appropriate performance evaluation index, establishment purpose of the corporation, social expectations, and actual efforts of major projects. Based on this series of objectives and index development process, newly derived indexes are as follows. First, the social return promotion index specifies the number of users of the rehabilitation projection project, with the criminal disposition to embody the legal meaning of the rehabilitation protection target and the population receiving the protection disposition. Second, the occupational stability index is a combination of indexes to identify the contribution of the rehabilitation projection project so that rehabilitation protection targets who are having difficulty finding employment can seek occupational stability through the employment support project of the corporation. Third, the life stability index is to combine indexes for identifying the degree of contribution to the minimum life stability by providing housing stability support, psychology and assistance for rehabilitation protection targets that suffer from housing instability, economic difficulties, and psychological/emotional difficulties. Fourth, the effective data management index is an index for data management managed by the Korea Rehabilitation Agency as a rehabilitation projection project agency for the treatment of offenders in society. Fifth, the social support scale measures the level of awareness of the social support of the rehabilitation protection target. So far, the evaluation index for rehabilitation projection projects has been at the level of simple output index (number of rehabilitation protection users). The performance evaluation index developed through this study is a new measure of evaluating the performance of a rehabilitation projection project from various perspectives. However, no performance evaluation index can contain everything and guarantee a total evaluation. It would be significant to simply look back at the purpose of performing projects and to provide an opportunity to reflux a series of processes. To evaluate the rehabilitation projection project in various perspectives, the application of the newly developed performance evaluation index and future tasks are suggested as follows. First, continuous efforts are needed to integrate the index of rehabilitation projection project to reflect the qualitative performance beyond the quantitative indexes. In other words, it is necessary to make efforts for data management with objectivity. Second, continuous monitoring is needed through in-depth research to verify the reliability and validity of the developed index. Third, it is necessary to prepare for the future society for the 4th Industrial Revolution era. In other words, it is necessary to prepare the foundation of a new growth industry in which the Internet of Things (IoT) technology can be incorporated into the reliable data base associated with the rehabilitation projection project. Fourth, efforts to find a solution based on the convergence of artificial intelligence/big data for activation of rehabilitation projection project should be accompanied. For instance, you might think of how the Rehabilitation ProtectionCare Robot(tentative name) can support meaningful conversations with the rehabilitation protection target. As such, our society is changing rapidly. It has become a society that respects people who think differently in more diverse cultures than now. It is no longer necessary to exhaust unnecessary energy based on vague anxiety about ex-criminals(rehabilit...

인도의 포용적 성장 평가를 위한 지표 개발: 평가지수를 활용한 인도, 중국, 한국, OECD회원국의 비교

김신주 한국외국어대학교 인도연구소 2016 남아시아연구 Vol.22 No.1

Since the global financial crisis of 2007-2008, debate of inclusive growth, which goals the harmonization between economic growth and issues on employment, unemployment and poverty, has been risen in the international society. In this study, inclusive growth was defined as ‘the sustainable growth which its’ result can be offered economic, social, and institutional circumstance to the all social members equally, and on the basis of the definition inclusive growth index was developed. The inclusive growth index of this study has three categories (economic factors, social factors, and institutional factors), nine sub-categories, and thirteen sub-sub-categories. And then, for the resolving the problem of difficulty on evaluation of each unit different indexes, this study uses the LSM (Linear Scaling Method) which facilitates comparison of unit different indexes. In this study, indexes from LSM is defined as ‘evaluation index’, and, with the evaluation indexes, India’s global status from 1995 to 2013 was evaluated compared with Korea, China, and OECD members. As a result of inclusive-growth-evaluation index, for the more development of economic factors, it evaluated that more improvement in technological factor was required. In the social factors, the evaluation index of livelihood stabilization indicated good performance, and the evaluation index of opportunity and welfare indicated more improvement requirement. India’s evaluation indexes on the institutional factors indicated at a very low level, which it was evaluated more improvement of institutional factors. 2007-2008년 글로벌 금융위기 이후, 국제 사회에서는 고용, 실업, 빈곤 등의 문제를 해결하면서 경제 성장을 도모할 수 있는 포용적 성장(inclusive growth)에 관한 논의가 이어지고 있다. 본 연구에서는 포용적 성장을 ‘사회 모든 구성원들에게 경제적·사회적·제도적 환경이 공평하게 제공되는 지속적인 성장’이라 정의하고, 이에 따라 포용적 성장 지표를 구성하였다. 본 연구에서의 포용적 성장 지표는 3개의 대분류(경제적 요인, 사회적 요인, 제도적 요인), 9개의 중분류, 13개의 세부 지표로 구성하였다. 그런데 포용적 성장 평가에 사용된 세부 지표들은 지표 단위가 각기 달라 원자료로 지표 간 비교가 어렵다는 한계가 있어, 각기 다른 단위의 지표 간 비교가 가능하도록 표준화방식(Linear Scaling Method: LSM)을 활용하였다. 본 연구에서는 LSM으로 산출된 지수를 ‘평가지수’라 하고, 평가지수를 활용하여 1995년부터 2013년까지 한국, 중국, OECD회원국과의 비교를 통해 포용적 성장의 관점에서 인도의 세계적 위상을 살펴보았다. 포용적 성장 평가지수 산출 결과 인도는 경제적 요인의 보다 나은 발전을 위해서는 기술 개선의 노력이 필요한 것으로 나타났다. 사회적 요인 중 생활 안정은 좋았으며, 기회 및 후생에서는 더 많은 개선이 필요한 것으로 나타났다. 제도적 요인에서는 중국과 함께 인도의 평가지수가 매우 낮게 나타나 제도적 요인의 많은 개선이 필요한 것으로 나타났다.

CMF 디자인 제품에 대한 사용자 경험 품질 평가 지표 개발

이재인,김민주,김성희,조아라,이인호,한지영,김선주,임영재 대한인간공학회 2023 大韓人間工學會誌 Vol.42 No.6

Objective: The goal of this study is to develop an evaluation index to lay the foundation for a system that evaluates the quality of the user's experience with products to which CMF design is applied. In addition, it is also to develop quantified evaluation indicators by analyzing the developed index from the perspective of an actual specific product group. Background: A variety of research on the subject of evaluating specific targets is being conducted, and in relation to this, there are many existing studies on product evaluation, evaluation systems, CMF design, and CMF design products. However, there is not much research on the evaluation of experience quality for products with CMF design, which is one of the important elements in the design field. Method: A systematic approach was taken by dividing it into two major stages. In the first stage, final indicators were derived from basic data collection as the primary outcome. First, the literature is selected using the PRISMA method based on systematic literature review reporting guidelines, the basic data of the evaluation indicators are collected, the results are organized based on the affinity diagram, and the final indicators are verified through expert review. In the second step, a second affinity method is performed and 22 specific indexes on home appliance are derived, and a fitness analysis is performed on these indices with the CMF design experience quality from the perspective of the kitchen appliance product line, and the results are obtained. An ANOVA was performed on the results to derive final indicators organized by priority. Results: In the first step, final indices were derived as the primary outcome. This final indicator has 69 detailed indicators, all of which can be used as evaluation indicators and can be used selectively depending on the evaluation object. In the second step, a secondary affinity method was performed on the primary 69 detailed indicators to derive 22 specific indexes on home appliance, and a fitness analysis of these indicators with the CMF design experience quality from the perspective of the kitchen appliance product line was conducted. Final Specific Indexes on home appliance organized by priority were derived from the results of the evaluation. Conclusion: Although there are many existing studies on product evaluation, evaluation system, CMF design, and CMF design products, there is a lack of research on experience quality evaluation of products to which CMF design is applied. Therefore, we conducted a systematic study on this and derived indicators that can be applied in practice and it has meaning as worth studying. Application: The indicators for the kitchen appliance product line derived from this study can be selected and immediately applied according to priority when evaluating the quality of the CMF design experience of the product, and can also be selectively applied to other products through an evaluation of suitability with the corresponding product. It has high field applicability in related research and practice.

A Study on the Reliability Evaluation Index Development for the Information Resources Retained by Institutions: Focusing on Humanities Assets

Dae-Keun Jeong,Younghee Noh 건국대학교 지식콘텐츠연구소 2019 International Journal of Knowledge Content Develop Vol.9 No.2

This study has the aim of developing an evaluation index that can help evaluate the reliability of the information resources of institutions retaining humanities assets for the purposes of laying out the foundation for providing one-stop portal service for humanities assets. To this end, the evaluation index was derived through the analysis of previous research, case studies, and interviews with experts, the derived evaluation index was then applied to the humanities assets retaining institutions to verify the utility. The institutional information resources’ reliability evaluation index consisted of the two dimensions of the institutions’ own reliability evaluation index. The institution provided a service and system evaluation index. The institutions’ own reliability evaluation index consisted of 25 points for institutional authority, 25 points for data collection and construction, 30 points for data provision, and 20 points for appropriateness of data, for a total of 100 points, respectively. The institution provided service and system evaluation indexes consisting of 25 points for information quality, 15 points for appropriateness (decency), 15 points for accessibility, 20 points for tangibility, 15 points for form, and 10 points for cooperation, for the total of 100 points, respectively. The derived evaluation index was used to evaluate the utility of 6 institutions representing humanities assets through application. Consequently, the reliability of the information resources retained by the Research Information Service System (RISS) of the Korea Education & Research Information Service (KERIS) turned out to be the highest.

공기업과 준정부기관 경영성과의 영향요인분석: 평가지표체계와 평가방법의 변경 전후를 대상으로

라영재 한국정책분석평가학회 2019 政策分析評價學會報 Vol.29 No.4

Since the evaluation index system of SOEs and quasi-governmental organizations was based on the Malcolm Boldridge model in the United States, it was estimated that leadership factors had an effect on management and performance, as in the study of Wilson and Collier(2000), Collier (2001). As with the empirical study by Flynn and Saladin(2001) and Mellat-Parast (2015), the changes in the evaluation index system could change the relationship between management factors and management performance. In addition, since the leadership index has been replaced by strategic planning, it can be estimated that the strategic planning index also influenced the management factors and performance. In addition, the leadership and strategic planning indicators also analyzed the mediating effects of direct and indirect effects on management performance through other management factors. The results of the empirical analysis based on the results of the three-year evaluation indicators showed that in the 2013 evaluation model, leadership, financial management, remuneration management, and business management were influencing work efficiency and major business performance. In the 2014, 2015 model, strategic planning did not affect management performance. Only organizational human resources, financial budget, and business management factors had a limited effect on work efficiency and major business performance. Therefore, the preceding studies were statistically supported that leadership factors affect management and performance, and the relationship between management and management performance is changing according to the change of evaluation index. Therefore, when developing detailed sub-management indicators, the components and weights of the evaluation indicators should be determined based on theoretical prior studies, and the evaluation model should be revised through periodic verification of the suitability of the evaluation model. In addition, improving the fairness and professionalism of evaluation teams may have an effect on improving the validity and reliability of management evaluation results. 공기업과 준정부기관의 평가지표체계는 미국의 말콤볼드리지 모델을 기반으로 해서 만들어졌고 변화하고 있으므로 Wilson and Collier(2000)와 Collier(2001)의 실증연구 결과와 같이 리더십과 전략기획 요인은 경영관리와 경영성과에 영향을 주었을 것으로 추정해 볼 수 있다. 또한 Flynn and Saladin(2001)과 Mellat-Parast(2015)의 실증연구와 같이 평가지표체계가 변화하게 되면 경영관리와 경영성과와의 영향관계도 변화할 수 있다는 연구가설을 설정했다. 3개년도 평가지표의 결과값을 통해서 실증분석한 결과를 보면 2013년도 평가모델에 한해서 리더십, 재무관리, 보수관리, 주요사업관리가 업무효율과 주요사업성과에 통계적으로 유의한 영향을 주고 있었고, 2014년도, 2015년도 평가모델에서 전략기획은 경영성과에 영향을 주지 않았으며 조직인적자원, 재무예산, 주요사업관리 요인만이 업무효율과 주요사업성과에 제한적인 영향을 주고 있었다. 그리고 연도별 평가지표의 변화에 따라서 경영관리와 경영성과간의 영향관계가 변화하고 있다는 선행연구는 통계적으로 지지되고 있었다. 그러므로 세부적인 하위 평가지표를 개발할 때에는 이론적 선행연구를 바탕으로 해서 평가지표의 구성요소와 가중치를 결정해야만 하고, 주기적인 평가모델의 적합성 검증을 통해서 평가모델을 수정해야만 한다. 또한 평가단의 공정성과 전문성을 제고하는 것도 평가결과의 타당성과 신뢰도를 제고하는데 영향을 줄 수 있다.

국책연구기관 사회적 가치 평가 개선방안 - 경제인문사회분야 국책연구기관을 중심으로 -

권청재 충북대학교 국제개발연구소 2019 사회적경제와 정책연구 Vol.9 No.1

The purpose of this study is to determine whether the evaluation index of social value related to the national research institutes in the areas of economics, humanities and social sciences is well-designed and appropriately evaluated. To suggest improvements, the social value evaluation indexes of government evaluation system were compared and analyzed in the literature. Furthermore, the study utilized Analytic Hierarchy Process(AHP) Model to conduct a survey for stakeholders in national research institutes regarding the social value indicator of the research institute evaluation index in 2018. Then the priorities and weights among the evaluation indexes were measured. The literature review and survey analysis results to draw the following points; the concept of social value was unclear, so evaluation items and detailed evaluation factors of social value indexes were vaWried from institution to institution; the proportion of the social value evaluation index of the research institute was significantly lower than that of other public organization; the priorities and weights of social value evaluation indexes differed between the research institute evaluation index in 2018 and the survey analysis results. For the policy suggestions, the concept of social value and evaluation index setting need to be systematically studied of the whole of public institutions. Also in order to compensate for the lower proportion of the social value indicator, including job creation research projects in research project evaluation is suggested by benchmarking the case of central administrative agencies is suggested. And the priorities and weights of the social value indicators, which show a big difference from the research institute evaluation in 2018, need to be improved in the future. 본 연구는 경제인문사회분야 국책연구기관의 사회적 가치 관련 평가지표들이 적정하게 설정되고 평가되는 지를 파악하기 위해 정부업무평가 체계에서 사회적 가치 평가지표를 문헌으로 비교 검토하였고, 2018년도 연구기관 평가편람 상의 사회적 가치 평가지표에 대해 국책연구기관 이해관계자를 대상으로 분석적 계층절차(AHP) 방법을 통한 설문조사 분석을 실시하여 평가지표 간 우선순위 및 가중치를 측정하였다. 문헌 검토 및 설문조사 분석 결과 사회적 가치의 개념이 불명확하여 평가기관 마다 사회적 가치 평가지표의 평가항목·세부평가요소가 달랐으며, 2018년도 연구기관 평가편람 상의 사회적 가치 평가지표의 배점 비중이 타 공공기관에 비해 낮았다. 그리고 사회적 가치 평가지표의 우선순위 및 가중치도 현재의 평가편람과 설문조사 분석결과 간에 차이가 나타났다. 정책 제언으로 사회적 가치 개념 및 평가지표 설정에 대해 공공기관 전체를 대상으로 체계적인 연구가 필요하며 타 공공기관에 비해 낮은 사회적 가치 평가지표 배점 비중을 보완하기 위해서 중앙행정기관의 사례를 벤치마킹하여 연구사업 평가에 일자리 창출 관련 연구를 포함하는 방안을 제안하였다. 그리고 현재 평가편람과 큰 차이를 나타내는 사회적 가치 평가지표 간의우선순위 및 가중치는 향후 개선이 필요하다.