연구기관 종합평가를 위한 평가요소의 개발과 가중치 설정 연구

국문 초록 (Abstract)

이 연구는 이공계 및 사회계 정부출연연구기관의 평가를 위한 종합평가모형을 개발하고， 각 유형의 연구기관들을 평가하기 위한 평가요소들의 상대적인 중요도(가중치)를 설정하기 위한 연구이다. 이 연구에서는 정부출연 연구기관의 평가로부터 달성하고자 하는 목표를 정부출연 연구기관의 ‘연구 경쟁력 강화’에 두고， 이에 따라 정부출연 연구기관의 연구 경쟁력을 측정하기 위한 평가모형을 개발하였다. 본 연구에서는 연구기관을 하나의 개방 시스템으로 이해하여， 연구 경쟁력을 투입을 산출로 전환시키는 과정의 효과성으로 정의하였다. 개방시스템 Copen system) 에서는 하나의 시스템이 환경과의 상호작용을 통하여 영향력을 주고받을 뿐만 아니라 그 시스템을 구성하고 있는 요소들인 하위 시스템들도 상호작용을 통하여 전체로서의 시스템에 영향을 주게 된다. 연구기관을 구성하는 하위의 시스템들을 어떻게 나누는가는 연구기관을 이해하는 관점에 따라 달라질 수 있는데 연구기관의 경쟁력 제고라는 관점에서 본다면 연구기관의 구성 요소는 전략관리， 연구과정관리， 연구지원관리， 의식 관리의 네 부문으로 나눌 수 있다. 전략관리 부문에서는 연구기관의 장기적 비션 Cvision) 과 장 · 단기적 발전 목표가 설정되고 전략이 수립된다. 연구과정관리 부문에서는 연구 과제의 선정 · 수행 ? 평가가 이루어지며 연구지원관리 부문에서는 연구기관의 운영을 위한 제반 자원의 확보 ? 유지 ? 활용이 이루어진다. 의식 관리 부문에서는 연구기관의 혁신을 위한 조직 문화의 창출 ? 유지와 이를 위한 리더쉽 등이 포함된다.종래에는 정부출연 연구기관의 구조 및 운영 체계를 연구과정관리 및 연구지원관리 중심으로 인식하였으나， 연구기관의 경쟁력을 제고하기 위해서는 연구기관의 방향을 설정하고 이끌어 나갈 연구개발 전략과 이를 지원할 운전자의 역할을 할 조직 문화와 리더쉽이 아울러 중요시되어야 할 것이다. 위의 모형에 따르면 정부출연 연구기관의 연구경쟁력은 두 측면에서 평가할 수 있다. 첫 번째는 연구기관의 산출물(ouφut) 인 연구 ·사업 수행의 성과 및 대외적 영향력으로 평가하는 것이고， 두 번째는 투입을 산출로 전환시키는 연구 시스템(즉 연구기관의 구조 및 운영)의 효과성， 효율성， 또는 적정성에 대하여 평가하는 것이다. 첫 번째가 경쟁력의 결과에 대한 평가인데 비해 두 번째는 경쟁력을 만들어 내는 기초 또는 원인으로서의 과정에 대한 평가라고 할 수 있다.이와 같은 ‘구조 및 과정 평가’와 ‘결과 평가’의 두 측면에 대한 각각의 평가 항목， 요소 및 지표를 개발함에 있어서는 새로운 지표를 만들기보다는 기존에 개발된 평가 지표를 바탕으로 하되 ‘연구경쟁력의 평가’라는 본 연구의 평가 목표에 비추어 적절치 않다고 생각되는 지표들은 제외하고 기존의 평가 지표에서는 고려되지 않았으나 필요하다고 판단되는 지표들은 추가하는 방법을 취하였다.기존의 평가 지표를 제외시키거나 새로운 평가 지표를 추가시키기 위해서는 계층적인 평가모형을 구성하였다. 즉， 연구경쟁력의 측정이라는 평가의 목표를 정점으로 하여 이를 ‘연구기관의 구조 및 운영상태’와 ‘연구기관의 산출물’에 대한 두 측면의 평가로 분리한 후， 각각을 다시 평가 항목이라는 구성 요소로 분해하고， 그 각각을 다시 더 작은 세부의 구성 요소언 평가요소로 분해하여 일련의 계층으로 나타냈다. 최종적인 평가 지표의 선택은 바로 위 단계에 위치한 평가요소를 적절하게 평가할 수 있는가 하는 기준에 의해 이루어졌는데 이러한 일련의 목표-수단의 연쇄적인 계층 모형은 최종적인 평가 목표의 달성을 위해 적절한 평가 지표들을 명확한 기준에 의해 선택하는 것을 가능하게 해 준다. 평가 지표의 선택에 있어서는 정부출연연구기관을 이공계 순수 연구기관， 이공계 교육 연구기관， 이공계 연구규제 ? 지원기관 및 사회계 정책연구기관으로 분류하여， 본 연구의 연구자들이 적절하다고 판단되는 지표들을 잠정적으로 선정한 후 전문가들의 의견 조사를 통하여 보완한 후 최종적으로 확정하였고 이원비교 방법을 통하여 평가항목과 평가요소들에 있어서 상대적인 중요도를 설정하였다.정부출연연구기관의 평가를 위한 평가항목 빛 평가요소의 설정과 상대적인 우선순위에 관한 전문가의 의견조사 결과 다음과 같은 중요한 사실이 발견되었다.첫째 평가항목， 평가요소 및 평가지표에 있어서는 전문가들에 대한 의견조사 결과 본 연구에서 개발한 평가항목 및 평가지표들에 대하여 뚜렷한 異見이 제시되지 않았다. 따라서 본 연구에서 설정한 평가항목 및 평가요소들은 그 타당성이 높은 것으로 보인다. 단 소수의견으로 평가요소 중 인력관리 재무관리 조직관리 감사기능 등은 정부에 의하여 결정되기 때문에 기관자체의 능력평가 결과로서 해석하는데는 신중을 요한다는 의견이 제시되었다. 또한 평가항목 「비천과 목표」에 대한 평가요소 중의 하나인 「계획의 인지 및 수용도」는 r 임무와 계획의 인지도 및 수용도」로 바꾸는 것이 바람직하다는 의견도 제시되었다.둘째 각 평가요소들을 측정하기 위한 평가지표들에 대해서는 전문가들에 따라 소수이나마 몇 가지 평가지표들에 대해서는 재검토가 요망된다는 지적이 있었다. 이들 중 중요한 것으로는 사업시행 실적을 평가하기 위한 지표로서 연구 및 사엽비 계약고 증가율， 기술정보 제공실적， 연구비 및 사업비 계약고 증가율 등은 사회계 정책연구기관의 평가지표로서 적당하지 않으며， 재무관리 평가요소 중 재정자립율 개선정도와 독자적인 재원확보 노력은 역시 사회계 정책연구기관 평가지표들로서 적합하지 않다고 하는 의견이 제시되어 이러한 지표들은 정책연구기관의 평가지표에서 제외하도록 하였다. 또한 평가요소「임무와 계획의 인지도 및 수용도」에 대한 평가지표는 「연구개발 계획에 대한 내부성원의 수용도」와 「연구개발 계획에 대한 이해관계 집단의 수용도」를 각각 r 임무와 연구개발 계획에 대한 내부성원의 수용도」와 「임무와 연구개발 계획에 대한 이해관계집단의 수용도」로 수정하도록 함으로써 위에서 수정한 「임무와 계획의 인지도 및 수용도」를 측정할 수 있도록 하였다.셋째 평가의 측면， 평가항목에 대한 가중치의 부여에 있어서는 다음과 같은 특징을 발견하였다. 즉， 네 유형의 연구기관들이 모두 ‘연구기관의 경쟁력’을 평가하는데 있어서 「연구기관의 구조 및 운영상태」 에 대한 평가를 「연구 ? 사업 수행의 성과 및 대외적 영향력」에 대한 평가보다 중요시하였다. 이 결과는 기존의 정부출연 연구기관 평가모형에서의 가중치와는 상반되는 결과이다. 즉 현행의 평가모형은 「연구 및 사업 수행 성과」 에 대하여 0.5 보다 큰 가중치를 부여한데 비하여 본 연구에서는 「연구 ? 사업 수행의 성과 및 대외적 영향력」 에 대한 가중치가 모든 유형별 연구기관에서 0.5 미만으로 나타났다.또한 E연구기관의 구조 및 운영 상태」 를 평가하기 위한 평가 항목 사이의 가중치에서 특기할 것은 ‘비전과 목표’ 항목에 대한 가중치가 네 항목 중에서 가장 높게 나타났으며 ‘의식관리’ 항목에 대한 가중치가 ‘연구과정관리’나 ‘연구지원관리’의 가중치와 비슷하게 나왔다.기존의 평가모형에서는 ‘비천과 목표’ 및 ‘의식관리’의 평가 항목 자체가 빠져 있으며， 연구기관 운영에 대한 평가는 대개 ‘연구과정관리’와 ‘연구지원관리’의 항목에 의해 평가하고 있는데 비하여， 전문가들은 ‘비션과 목표’ 및 ‘의식관리’의 항목을 ‘연구과정관리’ 및 ‘연구지원관리’의 항목보다도 오히려 연구기관의 평가에 있어서 중요한 항목으로 여기고 있었다넷째， 평가요소들 가운데 가장 중요한 여섯 가지 요소는 연구수행실적， 계획내용의 적정성， 연구결과의 대외적 영향력， 외부와의 네트워크， 문화와 분위기， 임무와 계획의 인지도 및 수용도 등인 것으로 나타났다. 이들 평가요소들 가운데 연구수행실적이나 계획내용의 적정성은 비록 표현형태는 다르나 측정의 목적에 있어서는 종래의 평가모형에서 측정하려고 하였던 요소들과 일관성을 유지하고 있으나 나머지 다섯 가지 요소들은 평가요소에 포함되지 않았던 요소들이다.그러나 연구기관의 연구경쟁력의 평가라는 목적에 볼 때는 이들 요소들이 매우 중요한 평가요소로서 고려되어야 할 것이라는 것을 전문가들의 의견조사 결과 분명히 밝혀졌으며 앞으로의 연구기관 평가에 우선적으로 고려되어야 할 요소들로 보인다