구성타당도 평가에서 성분점수에 의한 변수 군집분석의 활용

윤이나,강현철 한국자료분석학회 2016 Journal of the Korean Data Analysis Society Vol.18 No.2

Valid and reliable measurement instruments are essential components in all the studies. Since the interpretation of results is dependent on the validity of the measurement instrument, the researcher must verify the validity of the instrument. Validity of an instrument denotes how much it measures what is supposed to. Its measuring is difficult and challenging and take a lot of time. Factor analysis is considered one of the strongest which is more commonly used for establishing the construct validity measured by an instrument. However, in the view of grouping variables, the model of factor analysis has too many unrealistic assumptions, and the model building and interpretation of the results in factor analysis have a lot of difficulties. Variable clustering can be used as a variable-reduction method. A large set of variables can often be replaced by the set of cluster components with little loss of information. A given number of cluster components does not generally explain as much variance as the same number of factors on the full set of variables, but the cluster components are usually easier to interpret than the factors, even if the latter are rotated. In this paper, we introduce variable clustering technique, which divides a set of variables into disjoint of hierarchical clusters. Associated with each cluster is a linear combination of the variables in the cluster. Especially, we discuss the usefulness of variable clustering as a tool of assessment of construct validity. 타당하고 신뢰로운 측정도구는 모든 연구에 있어서 필수적인 구성요소이며, 연구결과에 대한 해석은 측정도구의 타당성에 의존하므로 연구자는 측정도구의 타당도를 검증해야 한다. 타당도(validity)란 그 측정도구(검사)가 원래 측정하려 했던 것을 실제로 잘 측정하는가를 의미한다. 일반적으로 타당도 분석방법은 크게 내용타당도, 준거타당도, 구성타당도로 구분되는데 이러한 타당도를 평가하는 과정에는 여러 가지 통계분석 기법들이 사용된다. 측정도구의 구성타당도(construct validity) 분석은 검사도구가 심리적 구성개념을 제대로 측정하고 있는지를 평가하는 방법이다. 구성타당도 분석은 쉽지 않고 시간소모적인 여러 절차들이 포함될 수 있는데, 인자분석은 하나의 개념을 측정하는 도구가 여러 하위개념을 구분하여 측정한다고 가정하는 경우 구성타당도 분석을 위해 가장 널리 사용되는 통계적 분석기법이다. 그러나 변수 군집화의 관점에서 본다면 인자분석의 모형은 너무 많은 비현실적인 가정들을 내포하고 있으며, 모형구축 및 결과의 해석에 많은 난점을 가지고 있다. 변수 군집분석(variable cluster analysis)은 변수의 군집화라는 직접적인 목적을 수행하며, 차원의 축소, 변수들 간의 상호의존관계 분석이라는 관점에서는 인자분석 등의 다변량분석 방법 등과도 밀접한 관련을 가지고 있다. 본 연구에서는 다변량분석 방법의 관점에서, 군집성분을 이용한 변수 군집분석과 탐색적/확증적 인자분석의 수행, 결과의 해석, 이들 분석방법들 간의 관계 등을 살펴볼 것이다. 특히 문항의 구성타당도를 평가하기 위한 도구로서 변수 군집분석의 유용성에 대하여 논의할 것이다.

예비타당성조사 제도를 통해 본 국가재정법의 개정방안 연구

김현일(Kim, Hyun-il) 국민대학교 법학연구소 2013 법학논총 Vol.26 No.2

국책사업 프로젝트를 차질없이 수행하기 위해서는 사업의 경제적·정책적·기술적 타당성에 대한 면밀한 사전 검토가 필요하며, 과거부터 국책사업을 추진하기 위해 사전에 타당성조사가 실시되고 있다. 그러나 과거의 경우 사업 주무부처가 해당 사업의 타당성을 평가하는 타당성 제도는 대상사업의 선정절차 및 타당성 조사결과의 객관성에 제약이 있다는 비판이 제기됨에 따라 정부는 공공투자사업의 효율성을 제고하기 위하여 예산제도 개선에 초점을 둔 연구를 추진하여 1999년 4월 예산회계법시행령 제9조의2를 신설하여 예비타당성조사의 근거를 마련하여 시행하였다. 예비타당성조사는 철저한 사전적 검토 필요성과 기존 타당성조사의 문제점을 보완한다는 측면에서 그 의의를 찾을 수 있다. 본 논문에서는 예비타당성제도에 관하여 규정하고 있는 국가재정법과 동법 시행령, 예비타당성조사운용지침을 위주로 예비타당성제도에 대하여 개괄적으로 살펴보고, 4대강 사업의 추진과 관련하여 국가재정법상 문제점을 검토하고 이와 관련하여 국가재정법의 개정방안을 제시하고자 한다. A preliminary feasibility study have been conducted to promote a large-scale national development policy, since it needs a preparatory research on economical, political, and technical validity in order to perform large-scale national projects without a hitch. However, many critics pointed out the feasibility assessment system that has constraints on the objectivity of the survey results and the selection of the target business process in that the competent ministry assesses a validity on the business. As a result, the government promoted the research focused on improving the budget system to heighten the efficiency of public investment project. Eventually it acted an enforcement ordinance of Budget and Accounts Acts 2 of Article 9 on April 1999. The preliminary feasibility study is meaningful at two level. One is in needs of a thorough review, the other is the complement of past feasibility studies. This study overview the preliminary feasibility study system focused on national finance law, Acts, and preliminary feasibility study guidelines. First, the study inspect the problems on the promotion of Four-River Project with national financial law. Secondly, in line with this, the study provides the revision of national financial law.

타당화 개념모형을 이용한 대학수학능력시험 체제 진단

김성훈 한국교육평가학회 2010 교육평가연구 Vol.23 No.1

This study was to diagnose the College Scholastic Ability Test(CSAT) with an application of a logical model. The logical model was made to evidence the assumptions underlying the (planning, operation, outcome, and context) phases of the CSAT. The diagnosis of the CSAT was done by checking the validity of each phase; content validation for planning phase, context validation for operation phase, prediction and consequence validation for outcome phase. The finding was that the CSAT was not sufficiently justifiable with respect to the validations. Content validity was decreased as the expansion of the test area; prediction validity was hardly supported by CSAT-GPA coefficients; lack of consequence validity was evidenced by the lack of content validity, existence of abnormal classes and private educating, and universities' practices of using CSAT sub-scores. It was discussed that the CSAT system could be simplified assuming the contextual change such as new and varying tryout of highschool programs and of college entrance screening practices. 대학수학능력시험체제를 진단하기 위해서 타당화 논리모형을 만들고, 그 모형에 근거하여 시험체제가 정당화될 수 있을 것인지 논의하였다. 논리모형은 그 시험 체제의 개념화, 시행, 성과 등의 국면을 상정하였다. 개념화 국면의 가정 충족하기 위한 타당성으로서, 계획국면은 내용타당성을; 시행국면은 상황타당성을; 성과 국면은 예언타당성과 결과타당성을 충족하는지를 분석하였다. 내용타당성은 시험범위의 확장과 함께 떨어졌으며, 예언타당성은 부분적으로만 확인될 뿐 내신점수에 비해서 떨어지며, 결과 타당성으로서는 고등학교 교육정상화나 사회적 신뢰 구축 어느 것에서도 만족스럽지 못했다. 이상의 타당성 미흡에도 불구하고 그 체제는 상황타당성에 근거하여 유지되는 것으로 해석되었다. 고등학교 프로그램 및 대학의 입학전형의 다양화와 같은 상황 변화를 전제한 대학수학능력시험 영역의 축소, 복수 시행 및 문항은행제 등이 제언되었다.

국가 교육 재정사업의 타당성 확보를 위한 분석 프레임 개발

김수진(Kim, Sujin),도재우(Do, Jaewoo),강성국(Kang, Seongguk) 경인교육대학교 교육연구원 2021 교육논총 Vol.41 No.2

교육 사업에 대한 국가의 예산 투자 사례와 규모는 지속적으로 증가하고 있다. 특히, 코로나19가 가져온 교육의 디지털화는 에듀테크를 포함한 다양한 교육 사업의 추진을 촉진하고 있다. 실제 정부는 K-에듀 통합 플랫폼 구축, 콘텐츠 유통 환경 조성 등 공교육 차원의 대규모 교육 재정사업을 기획 및 추진하고 있다. 이러한 국가 주도의 교육 사업 성장 속에서 예산의 적합한 활용을 위해 해당 사업에 대한 타당성 분석이 요구된다. 지금까지 국가 예산이 투입되는 대규모 재정사업에 대한 타당성 분석은 건설, 정보화, R&D 분야에서 주로 이뤄졌으며, 교육 사업의 경우 해당 사업이 가지는 공공성으로 타당성 확보에 대한 별도의 노력은 대부분 이루어지지 않았다. 본 연구는 국가 교육 재정사업의 타당성 분석 필요성을 바탕으로 교육 사업의 타당성 확보에 활용할 수 있는 타당성 분석 프레임을 개발하는 데 목적이 있다. 국가 교육 재정사업의 타당성 분석 프레임 개발은 문헌분석, 전문가 자문, 포커스그룹 인터뷰, 전문가 검토의 과정을 통해 이루어졌다. 특히, 국가연구개발사업 예비타당성조사 전문가 3명과의 포커스그룹 인터뷰를 통해 기존 예비타당성조사 틀의 교육 사업 타당성 분석에 적용 방안을 탐색하였다. 연구 결과, 교육 사업의 특성을 반영한 타당성 분석 프레임(기술적 타당성, 정책적 타당성, 경제적 타당성)을 개발하였고, 개발된 프레임을 사이버 고등학교 설립 방안에 적용한 사례를 제시함으로써 해당 프레임의 적합성 및 활용가능성을 제시하였다. 본 연구는 교육 사업에 타당성 분석의 도입을 제안하는 초기연구로서 그 연구적 의의가 있다. 연구가 제시하는 타당성 분석 프레임은 점차 늘어나고 있는 국가 교육 재정사업에 대한 정책적 의사결정에 중요하게 활용될 수 있을 것이라 기대한다. The portion of the government´s budget invested in educational projects continues to grow. In particular, the digitalization of education due to COVID-19 is facilitating many such projects. The government plans to conduct large-scale financial endeavors, such as establishing a K-Edu integrated platform. Due to the expansion of government-led educational projects, it is necessary to analyze the feasibility of these undertakings to ensure appropriate budget use. Feasibility analyses of large-scale financial projects with national budgets have primarily been limited to the construction, informatization, and R&D sectors. Moreover, the feasibility analyses of educational projects have taken limited approaches. This study serves is to develop a feasibility analysis frame that may be used to ensure the feasibility of educational funding projects. To that end, researchers conducted a literature review, expert interviews, focus group interviews, and an expert review. Using a focus group interview with three preliminary feasibility analysis experts, we explored the application of the existing preliminary feasibility analysis framework for educational funding projects. As a result of the research, a feasibility analysis framework (technical, policy, and economic feasibility) was developed to reflect the characteristics of the educational project. We present an example of the framework s application to the cyber high school establishment plan, proposing the suitability and usability of the former. The feasibility analysis framework presented in this study is expected to meaningfully contribute to policy decisions for future educational projects.

정보화사업 타당성분석제도의 개선방향 모색 : 공공분야 타당성분석제도들의 비교를 중심으로

김기환 한국정보사회진흥원 2005 정보화정책 Vol.12 No.1

2003년부터 우리나라 공공정보화사업에 대한 타당성분석이 사전평가의 일환으로 시범적으로 실시되기 시작하여 2005년부터 제도화단계를 거쳐 본격적으로 이루어질 전망이다. 대규모 공공사업의 추진여부를 판단하는 사전 검토작업으로서의 타당성분석은 사업의 효과적인 추진 및 정부재정의 효율적 운용이라는 측면에서 매우 중요하다. 정부사업에 대한 타당성분석 결과가 객관성과 신뢰성을 확보하고 정부예산과정에 적극적으로 반영되기 위해서는 타당성분석을 위한 방법론에 대한 심도 있는 연구가 필요하다. 이 글은 현재 우리나라 공공부문에서 시행중인 사전분석(또는 평가)제도들을 종합하여 비교해보고 이를 통해 올해부터 시행될 정보화부문 타당성분석제도의 효과적인 개선방안을 제시해보고자 한다. 현행의 대표적인 공공부문 타당성분석제도는 국가연구개발사업에 대한 사전조정제도, 지방투자사업에 대한 사전타당성조사제도, SOC사업에 대한 예비타당성조사제도 등이 있다. 이들은 분석의 대상이 되는 사업의 특성은 약간씩 다르지만 공공사업이라는 공통점을 갖고 있으며, 대상사업의 선정기준, 분석의 지표 및 측정항목, 분석의 방법, 결과의 활용방안 등 비교가능한 요소들을 적지 않게 포함하고 있다. 이들 요소들에 대한 체계적인 비교검토는 특정부문에 대한 타당성분석제도를 바람직한 방향으로 운영하기 위한 지침을 제시하는 데에 도움을 줄 것이라 기대한다.

전시컨벤션센터 확장에 대한 예비타당성 조사의 비판적 고찰

이태규 ( Tae Gyu Lee ),김봉석 ( Bong Seok Kim ) 한독경상학회 2010 經商論叢 Vol.28 No.4

예비타당성조사는 조사 자체의 투명성과 공정성 그리고 객관성을 보다 높이기 위해 한국개발연구원이 자체 개발한 조사수행의 일반지침과 사업부문별 세부적 분석 표준지침에 입각하여 조사가 수행되었다는 점에서, 기존의 타당성조사 등 여타의 조사보고서에 비하여 진일보된 체계를 갖추었다는 평가를 받았다. 그러나 예비타당성조사의 기타사업(문화·관광·체육·과학부분 사업)부분은 예비타당성조사의 타 부분에 비해 사업의 성격과 기능이 복잡·다양해서 사업에 따라서 편익, 수입의 주요항목에 큰 차이가 있어 표준화가 어렵다는 한계가 있으며, 문화·관광·체육·과학부분의 예비타당성조사의 표준지침 연구를 위한 사례 분석 시 전시컨벤션센터의 특징과 역할, 경제적 파급효과에 대한 심도 있는 검토가 없었다. 이로 인해 전시컨벤션센터의 확장에 대한 예비타당성조사를 표준지침에 따라서 진행할 경우 전시컨벤션센터의 특성을 정확히 반영하지 못한다는 문제가 발생하게 되었다. 본 연구는 예비타당성조사가 포함하여야 할 정책적, 경제적 분석의 일환으로서 전시컨벤션센터의 특징과 역할, 그 경제적 파급효과를 살펴보고, 이를 기존에 시행된 전시컨벤션센터의 확충을 위한 예비타당성조사의 사례와 비교하여서 전시컨벤션센터의 실질적인 가치와 경제적 파급효과를 예비타당성조사에 반영하는 방안을 모색하는 것을 목적으로 하였다. 연구를 위한 이론적 기초를 위하여 전시컨벤션센터의 기능과 역할, 파급효과, 전시컨벤션산업의 경제적 파급효과에 대한 국내외 선행연구를 분석하였으며, 예비타당성조사의 절차와 그 이론적 배경을 분석하였다. 일련의 분석을 통해 예비타당성조사는 경제적 타당성을 NPV, IRR, B/C ratio 등의 계량화가 가능한 수익률지표를 통해 검증한다는 점을 확인하였다. 전시컨벤션센터의 확장에 따른 예비타당성조사의 사례는 그 동안 시행된 KINTEX, EXCO, BEXCO 3건의 전시컨벤션센터의 확장에 따른 예비타당성조사를 분석하였다. 결론적으로 본 연구를 통해서 전시컨벤션센터의 확장에 대한 예비타당성조사는 다른 분야의 예비타당성조사를 통해 정형화된 수익률지표나 분석방식을 준용할 경우, 전시컨벤션센터의 기능과 역할, 특성을 제대로 반영하지 못하며 그 결과가 일정부분 왜곡될 수 있다는 사실을 확인하였다. 또한 예비타당성조사는 전시컨벤션센터가 가지고 있는 파급효과를 반영하여야 하며, 이를 위해서 전시컨벤션센터의 경제적 가치에 초점을 둔 다양한 파급효과를 분석하고, 파급효과의 편익을 추정하는 방안에 대한 고려가 있어야 함을 시사하고 있다. This study tried to find out the measure of the economic value of an exhibition and convention center for economic analysis of preliminary feasibility study(PFS). To achieve this purpose, the basic theory on the major concepts and characteristics of an exhibition and convention center were reviewed. The major factors related to the benefits on regional economy of an exhibition and convention industry were reviewed. Also, the basic theory and characteristics of PFS and it`s tools of economic analysis were studied and fact-finding was made. The review and study on the benefits on regional economy of an exhibition and convention industry, showed that there is no debate as to the place of trade fairs and conventions in city and national economic development. It generates local income, employment, and output, and increases the volume of economic activity occurring nationally. But all the fact-finding results of PFS on expansion of three exhibition and convention centers(KINTEX in Goyang, EXCO in Daegu, and BEXCO in Busan) reveled some doubts on expansion in terms of economic efficiency. This study discovered that PFS`s economically doubtful results of expansion of 3 exhibition and convention centers were came from mis-estimating the benefit categories on the economic effects of the centers. Underestimating the benefits and overestimating the costs on expanding and operating the centers were resulted by the logical mistakes in estimating benefit categories of the centers. Also, benefits of exhibition and convention industry related those companies who directly increase their sales through on site the events such as contractors, logistics, food and beverage, etc., were missing in estimating the benefits of the centers by the logical mistakes. And the same happening was occurred to benefits of tenants of the center who create added value in operating the centers.

질적 연구의 다양한 타당성에 대한 비교 분석 연구

나장함(Na Jangham) 한국교육평가학회 2006 교육평가연구 Vol.19 No.1

  타당도에 관한 논의는 실증주의적 패러다임에 근거한 양(계량)적 연구에 뿌리를 두고 있다. 양적 연구와는 다른 자연주의적 패러다임에 근거한 질적 연구에서는 양적 연구에서 제시하는 타당도 개념과는 다른 나름대로의 타당도를 개념을 설정하기 위한 노력이 지속적으로 있어왔다. 1990년대 이후부터 우리나라에서도 질적 연구에 대한 관심이 교육학계에서 꾸준히 고조되고 있으나, 우리의 학문적 맥락에서는 질적 연구의 타당도에 관한 논의가 활성화 되어 오지 않아, 오늘날 양산되는 질적 연구물의 질적 수준에 대한 문제가 제기되고 있다. 이러한 문제의식에서 본 연구는 1)양적 연구와 질적 연구의 특성 비교, 2) 타당도 정의 재고, 3) 질적 연구 타당도 확보 선정틀로서의 연주자 렌즈와 연구자 패러다임, 4) 질적 연구 타당성의 유형과 타당도 확보 기법의 조화 등을 논의하였다. 즉, 본 논문은 질적 연구수행에서 혼란을 초래하였으며, 간과되었던 영역을 종합적으로 논의하여, 질적 연구 타당성에 대한 통찰을 제공하고 있다.   Because the various definitions of validity is rooted in positivist quantitative approach, qualitative research should redefine them for their use in naturalistic approach. Although the total number of research using qualitative approach has rising since the 1990s in Korea, the quality of their comes call into question. One of the major reason responsible for this problem is the lack of discussions on the quality criteria of qualitative research. In this sense, this study explores and analyzes the nature of validity in both quantitative and qualitative research in order to provide a insight into insuring rigor in qualitative research. I begin this study by comparing some of the major differences in quantitative and qualitative research. Next, I review and analyze a range of various definitions for validity given by leading authors. Than, I discuss the lens of researcher and researcher"s paradigm assumption as a determinant of choosing validity procedures. Finally, I offer 3 type of validity in qualitative research and its application with verification procedures. This study concludes with recommendations for enhancing the quality of qualitative research.

질적 연구의 타당성 문제에 대한 고찰

이혁규 한국교육인류학회 2004 교육인류학연구 Vol.7 No.1

우리 나라 교육학계에도 질적 연구가 하나의 유행으로 등장하였지만 질적 연구의 질적 수준에 대한 논의는 아직 활성화되지 못한 편이다. 이 글의 목적은 질적 연구의 타당성 문제에 대한 논의를 통해서 질적 연구의 질적 수준에 대한 논의를 활성화시키는 계기를 마련해 보고자 하는 데 있다. 초기 질적 연구들은 실증주의와 패러다임적 결별을 선언하고자 하였지만 타당성 개념에 있어서는 여전히 실증주의적 요소를 지니고 있었다. 이런 초기 질적 연구의 타당성 개념에 대한 비판은 다양한 갈래로 전개되어 간다. 본 연구자는 질적 연구의 타당성 개념을 새롭게 하려는 여러 논의들을 구성주의적 입장, 비판적 입장, 참여적 실행 연구의 입장으로 나누어 논의하였다. 각 접근법들은 독특한 이론적 입장에 따라 상이한 타당성 개념을 정식화해갔다. 그러나, 각각의 입장 차에도 불구하고 전체적으로 질적 연구 진영의 타당성에 대한 논의는 재현의 위기라는 반정초주의적 인식론의 영향 하에서 전통적 지식 개념에서 탈피하여, 관계적이고 성찰적이며 윤리적인 실천까지를 함의하는 새로운 지식 개념을 포함하는 것으로 확대되고 있다. 이를 통해 삶/앎, 진리/비진리, 인식/실천, 사실/가치 등 전통적 이분법이 해체되고 있으며 연구자와 연구대상자가 사회적 실천 속에서 함께 변화해 가는 새로운 연구 경향이 나타나고 있다. 질적 연구에 대한 하나의 타당성 기준이 해체되고 다양한 타당성 기준이 공존하는 현 상황은, 질적 연구의 위기 상황이라기보다는 인간 연구로서의 질적 연구의 진정성이 심화되어 가는 국면이라고 볼 수 있다. 현실과 이론 사이를 끊임없이 중재하는 질적 연구자들의 존재론적 자각과 성찰이 더욱 요청되는 시대에 우리는 서 있다. Although scholars have been using qualitative methods in education research frequently since 1980 in Korea, discussions on the quality criteria of qualitative research have been rare and sporadic. The purpose of this study is to analyse the nature of validity in qualitative research in order to enhance the quality of qualitative research in Korea. Validity has long been a key issue in debates over the legitimacy of qualitative research. Early qualitative researchers recognized the difference between qualitative and quantitative research and tried its own concept of validity. But the development of alternative concepts of validity have been slow. Early validity concepts of qualitative research differed from those of quantitative research, but had a foundational base and did not much depart from positivistic perspective. Criteria for judging the quality of qualitative research are even more fluid and emergent than before. Under the more and more recognition of the crisis of representation, Conventional function of the criteria that divide good research and bad research has been criticized by many postmodern scholars. Qualitative researchers have invented new types of validity which accommodated postmodernism and nonfoundationalism. As result, new kinds of knowledge have been legitimatized, in which the boundaries between life and knowledge, fact and value, truth and untruth, theory and practice has been blurred. This move from uniform criteria that function as regulative power to competing diverse criteria that emphasis the use of multiple voice, the reciprocal relationships between the inquirer and participator in the inquiry, and the social action that may help related people in the research process means not the crisis, but the maturation of qualitative research. We stand in the dawn of new era when ethical and epistemic reflexivity is urgently needed for qualitative researcher.

검사 타당화에 있어서 통합적 접근의 적용

이경희 한국교육평가학회 2019 교육평가연구 Vol.32 No.3

The purpose of this study is to propose an analysis process to confirm validity evidence based on the unified approach of validity and apply it to empirical data to explore methodological appropriateness. For this purpose, the study reviewed the unified approach to validity which is the theoretical consensus of the recent scholarly field, proposed a method which evaluates the validity evidence using the Structural Equation Model(SEM) and the Rasch Model for the unified approach of validity and presented the validation process in which validity is assessed through the integrated approach by applying the analysis methods based on the integrated approach to empirical data of CACV. The results of an analysis on the validity evidence are as follows. It was concluded that the test items were appropriately representative of the constructs to be measured to obtain the evidence based on the test content and by verifying that the construct to be measured and the response of the examinees’ are consistently and properly related, the evidence based on the response precesses was obtained. The six-factor model was found to be appropriate for this empirical data to obtain evidence based on internal structure, and evidence based on gender-specific generalizations was also obtained by verifying the measurement invariance. This study shows the step-by-step process of confirming the validity evidence on the basis of an unified approach of validity, making this process more easily applicable to further validity studies and assessment developments. 본 연구는 타당도의 통합적 접근에 근거하여 타당도를 확인하는 과정을 제안하고 이를 경험적 자료에 적용하는 방법론적 적합성을 탐색하였다. 이를 위해, 타당도의 통합적 접근에 대해서 살펴보고, 이를 적용하기 위한 다양한 방법 중 하나로, 구조방정식모형과 Rasch 모형을 적용하여 타당도의 근거를 확인하는 방법을 제안하며, 이 방법을 종합진로직업적성검사(CACV) 중 직업선호도검사 응답자료에 적용하여 타당도 근거들을 수집하고 타당도를 통합적으로 평가하는 과정을 제시하였다. 직업선호도검사의 타당도 근거를 분석한 결과, 검사 문항이 측정하고자 하는 구인을 적절하게 대표하고 있음을 확인하였고, 측정하려는 구인과 피험자의 응답반응이 일관적으로 적절하게 관련되어 있는 것을 확인하였으며, 6요인 모형이 본 응답자료에 적절함을 확인하였고, 성별에 따른 측정동일성이 확보됨을 확인하여, 검사 내용, 반응 과정, 내적 구조, 일반화에 기초한 타당도 근거를 수집하여 통합적 접근에 근거하여 직업선호도검사의 타당도를 종합적으로 확인하였다. 본 연구는 타당도의 통합적 접근에 근거하여 타당도의 근거를 확인하는 과정을 단계적으로 보여줌으로써 이러한 과정은 추후 검사를 개발하고 타당화하는 연구에 보다 쉽게 적용할 수 있을 것이다.

일반의사결정유형척도의 타당화

김은주,김정일,남승규,노길광 한국소비자·광고심리학회 2011 한국심리학회지 소비자·광고 Vol.12 No.4

The purpose of this paper was to examine and validate of scale for classification of decision making style. In first study that was exploratory study, 242 undergraduates were asked to answer Korean version of general decision making style(GDMS) scale(Scott & Bruce, 1995) and scale of decision making competency(Nam, 2005). Each scale was consisted of Likert 5 points scale. To examine reliability and validity of Korean GDMS scale, data were analyzed by internal consistency, factor analysis, and correlation analysis. The result showed that internal consistency was high, that 5 factors were extracted and that relationships between factors of decision making style with factors of decision making competency scale were high. Also, construct validity, convergent and discriminant validity as well as reliability were accepted as recognized level. In second study that employed covariance structure model analysis as confirmatory study, 215 participants who include various ages were asked to fill out the shortened Korean version of GDMS that consisted of 20 items. Results showed that both reliability and validity of the shortened Korean version of GDMS were high. Though items were reduced, internal consistency was still high and fitness indexes of confirmatory factor analysis model were high. Finally, in addition to limitations of this study, themes and directions of future research were discussed. 이 논문의 목적은 의사결정유형을 분류할 때 사용할 수 있는 일반의사결정유형(general decision making style; GDMS) 척도를 국내에서 사용가능하도록 검토하고 타당화하는 것이다. 사람들이 보여주는 판단과 선택의 기초가 되는 의사결정유형을 분류하는데 있어서 여러 나라들에서 신뢰도와 타당도를 지닌 것으로 밝혀진 GDMS 척도의 한국어판을 두 개의 연구를 통하여 검토하고 타당화하였다. 첫 번째 연구는 242명의 대학생들을 대상으로 이루어진 탐색적 연구로, 한국어판 GDMS 척도가 동일한 요인구조를 이루고 있는가를 알아보면서 구성 타당도를 검토하고, 의사결정역량과의 관련성을 살펴봄으로써 척도의 수렴타당도와 변별타당도를 살펴보았다. 연구결과는 한국어판 GDMS 척도의 신뢰도와 타당도가 있음을 보여주었다. 내적일관성계수가 높았기 때문에 신뢰도가 확인되었고, 선행연구들과 동일하게 5개의 요인이 추출되었으며, 의사결정역량 요인들과의 관련성도 유의한 것으로 나타났기 때문에, 구성타당도, 수렴타당도, 및 변별타당도를 지니는 것으로 확인되었다. 두 번째 연구는 215명의 다양한 연령층을 대상으로 공분산구조모형분석을 사용한 확인적 연구로, 축약형 GDMS 척도에 대한 타당화 연구를 실시하였다. 연구결과는 20개의 문항으로 측정되는 5개의 요인을 상정한 축약형 의사결정유형척도의 신뢰도와 타당도가 인정할 수 있음을 보여주었다. 문항수를 줄였음에도 높은 내적일관성계수를 보여주었기 때문에, 척도의 신뢰도를 확인할 수 있었고, 확인적 요인분석 모형의 적합도 지수들도 높게 나타났기 때문에 축약형 의사결정유형척도의 적합도도 확인되었다. 끝으로, 연구의 한계점과 앞으로 연구방향을 논의하였다.