관광․호텔 분야의 조절회귀분석: 3단계 위계적 절차 사용이 필요한가?

김진후 한국관광학회 2019 관광학연구 Vol.43 No.6

Moderation analysis is conducted frequently because it helps to better understand human behavior and social phenomena. Korean tourism and hospitality research investigating moderation effects often uses a three-step hierarchical variable entry procedure, which incorporates an independent variable first, moderator variable next, and the interaction term last in a regression model. Reviewing the articles published in the Journal of Tourism Sciences for 2016-2018, this study examined how often this procedure was used, what problems it had, and how it should be changed to test moderation properly. Results include: (1) the three-step hierarchical procedure was widely used; (2) the procedure is based on the premise that the independent variable and the moderator variable must have a significant effect on the dependent variable for a significant moderating effect to exist; and (3) the three-step procedure has no theoretical basis and increases the probability of missing moderation when in fact it exists. Based on the results, this study urges researchers to discard the idea that the three-step procedure is necessary in testing moderation. Using the procedure itself may not be wrong, but whether the independent or moderator variable has a significant effect on the dependent variables in the first- and the second-step models should not affect determining moderation effects between them. 조절효과 분석은 인간 행동이나 사회 현상을 깊이 이해하기 위해 여러 분야에서 자주 수행하는 분석이다. 그런데 관광․호텔 분야 국내 연구가 회귀모형을 사용해 조절효과 분석을 할 때 독립변수, 조절변수, 상호작용항을 하나씩 차례로 투입하는 3단계 위계적 절차를 따르는 경우가 많다. 본 연구는 2016년부터 2018년까지 최근 3년간 관광학연구에 실린 조절효과 분석 논문을 검토해 그러한 절차가 얼마나 자주, 어떤 방식으로 사용되며, 거기에 어떤 문제가 있는지 논한다. 그 결과는 다음과 같다. 첫째, 3단계 위계적 회귀분석 절차가 조절효과를 검증하는 관광․호텔 분야 국내 연구에서 하나의 규범처럼 널리 쓰인다. 둘째, 이 절차는 독립변수, 조절변수의 주효과가 존재할 때에만 조절효과가 존재할 수 있고, 그렇기 때문에 독립변수, 조절변수를 단계적으로 투입하면서 각각의 주효과 존재를 확인하는 것이 꼭 필요하다고 본다. 셋째, 이 방법은 그 이론적 근거가 없고, 실제로 존재하는 조절효과를 확인하기 어렵게 만드는 문제가 있다. 이러한 논의를 바탕으로 본 연구는 조절효과를 검증할 때 3단계 위계적 변수 투입 절차가 꼭 필요하지는 않다고 주장한다. 즉, 3단계 절차를 따르지 않았다는 이유로 조절효과 검증을 잘못했다고 비판해서는 안 된다. 연구 목적상, 또는 논리 전개상 필요해 3단계 위계적 방법을 사용해도 틀린 것은 아니지만, 그때도 독립변수와 조절변수가 각각 종속변수에 유의한 영향을 주는지를 조절효과 존재의 필요조건으로 여겨서는 안 된다.

사회과학분야의 구조방정식모형에서 매개효과 검정 방법에 대한 논의

지성호,강영순 한국자료분석학회 2014 Journal of the Korean Data Analysis Society Vol.16 No.6

This article discusses about the difference of mediation procedures, in regression and in structural equation model, which universally applied in social science field. And then, we review both limitations in previous mediation studies applied structural equation model and give an alternative suggested by Holmbeck so as to improve reliability of mediation studies analyzed by structural equation model. The procedure for mediation test in the previous studies was mostly applied in the approach suggested by Baron, Kenny (1986). In addition, in the structural equation model, the mediation tests was proved on the basis of approach by Baron, Kenny (1986), but both limitations of previous studies in structural equation model are 1) non-consideration of mediation types (full, partial) which will evokes the importance of mediator's under or over-estimation, 2) non-test of total effects which are enable to make a bias of mediation results. With regard to the non-test of total effects, there are both issues; validity of fit index in comparison of non-nested model, and non-consideration of significance on total effects in structural equation model. The implication of this study contribute to advance the reliability of research results in structural equation model. 본 연구는 사회과학 연구에서 보편적으로 활용되는 있는 매개효과 검정 과정에 있어 회귀분석을 활용한 접근과 구조방정식모형을 활용한 접근에 있어 차이점을 논의한 후, 특히 구조방정식모형을 활용한 매개효과 검정 과정에서 나타나는 문제점과 이에 대한 보완방법으로 Holmbeck (1997)에 의해 제안된 매개효과 검정과정에 대해 고찰하고 있다. 기존연구에서 회귀분석을 활용한 매개효과 검정은 Baron, Kenny(1986)의 3단계 검증 과정을 통해 주로 이루어지고 있다. 또한 구조방정식모형의 매개효과 검정에서도 Baron, Kenny(1986)의 3단계 과정에 기초하여 분석이 이루어지고 있으나, 검증과정에 있어 매개효과 유형 미고려로 인한 매개변인의 중요성에 대한 과소 및 과대평가, 매개효과 검증 과정에서 총효과 검증 부재로 인한 매개효과 연구결과에 대한 편의 가능성이 내포되는 한계가 있다. 따라서 본 연구에서는 구조방정식모형에서 매개효과 검증시 위계적 chi^2검증과 Holmbeck(1997)의 매개효과 검정단계를 제안한다. 특히 총효과 검증과 관련하여 총효과 검증 부재 및 총효과 유의성 검증 미고려와 매개변인 배제모형과 매개변인 추가모형 비교에 활용되는 적합도 지수의 타당성에 대해 논의하고 있다. 이러한 논의는 향후 구조방정식모형을 활용한 매개효과 연구에 있어 연구결과의 편의 가능성을 사전에 보완하여 연구의 신뢰성 확보에 기여한다는 점에서 의미가 있다.

위계선형모형(HLM)을 이용한 정부 성과평가제도의 효과성에 관한 연구

고영석 한국정책분석평가학회 2016 政策分析評價學會報 Vol.26 No.2

본 연구는 정부기관에서 운영하는 성과평가제도의 효과성에 영향을 미치는 요인이 무엇인지를 위계 선형모형(HLM)을 활용하여 개인수준과 조직수준으로 구분, 다수준분석(multi-level analysis)함으로써 성과평가제도의 효율적 정착을 위한 시사점을 찾고자 하였다. 그 결과 성과평가제도 효과성에 영향을 미치는 개인수준 변수는 평가자 적절성, 기관장 리더십, 구성원의 명예 등으로 측정한 인적요인과 담당자 교육훈련, 인센티브, 통제부서 업무연계성 등으로 측정한 제도적 요인이 통계적으로 유의미하게 영향을 미치는 것으로 나타났다. 또한 조직수준 변수는 조직규모와 1인당 예산이 성과평가제도 효과성에 미치는 영향에서 조직효과로서 인적 요인과 제도적 요인의 영향관계를 조절하는 것으로 분석 되었다. 이 연구는 성과평가제도의 효과성을 분석하는데 다층자료에 대한 위계선형모형 적용의 타당성을 실증적으로 보여주는 것이라 할 수 있으며, 국방기관에서 시행중인 성과평가제도의 효과성이라는 척도에 조직효과의 존재를 밝힘으로써 조직특성 변수로서 다양한 조직환경에 대한 정책적 관심을 높이는 데 기초를 제공하였다는데 의의가 있다.

방학생활 효과 인식에 영향을 미치는 학생 및 학교 특성 - 경기도교육청의 방학분산제를 중심으로

민윤경(Min, Yunkyung),정혜주(Jung, Hyejoo),신동용(Shin, Dongyong) 한국교육행정학회 2018 敎育行政學硏究 Vol.36 No.2

본 연구는 경기교육종단연구(GEPS) 5차년도(2016) 데이터를 사용하여 방학분산제 정책이 학생들의 방학생활 효과 인식에 영향을 미치는지를 탐색하고 아울러 학생들의 방학생활 효과인식에 영향을 미치는 학생 개인 및 학교 관련 변인이 무엇인지 밝혀내고자 하였다. 이를 위해 위계적 선형 모형(Hierarchical Linear Model)을 활용하여 다층 분석을 실시하였으며 분석결과는 다음과 같다. 첫째, 학생특성 변수 중 부모의 혼인상태, 학생의 수업 태도 및 진로 이해가 방학생활 효과인식에 대해 각각 통계적으로 유의미한 영향을 미치고 있는 것으로 나타났다. 둘째, 학교특성 변수는 방학생활 효과 인식에 대해 통계적으로 유의미한 영향을 미치지 못하는 것으로 나타났다. 마지막으로 정책특성 변수인 방학분산제의 실시여부 및 실시유형은 방학생활 효과 인식에 대해 통계적으로 유의미한 영향을 미치지 않아 방학분산제의 정책적 효과를 확인할 수 없었다. 이처럼 분석 결과 방학분산제는 정책 도입 시 의도와 달리 학생들에게 목표한 만큼의 정책효과를 미치지 못하는 것으로 나타났다. 논의 부분에서는 방학분산제가 향후 본연의 목적을 달성하고 그 효과를 제대로 달성할 수 있도록 정책 부문과 설문 조사 부문에서 제언점을 제시하였다. The purpose of this study is to investigate the effects of vacation policy on the perception of vacation effects in the fifth year(2016) data of GEPS, and school - related variables. To do this, a hierarchical linear model(HLM) was used to conduct multi-level analysis. First, the parental marital status, the students" attitudes and career understanding among the student characteristics variables have statistically significant effects on the perception of vacation effect. Second, the school characteristics do not have statistically significant effect on the recognition of vacation effect. Finally, the implementation and implementation type of the vacation characteristics, which is a policy characteristic variable, do not have a statistically significant effect on the recognition of the vacation effect. As a result of this analysis, it was found that four seasons vacation system did not achieve the policy effect as much as the aim for the students. In the discussion section, we propose a policy section and a questionnaire section to make four seasons vacation system achieve its original purpose and achieve its effect properly.

정책수단의 효과성 인식에 관한 탐색적 연구 -한국 중앙행정기관 공무원을 중심으로-

송성화 ( Sunghwa Song ),전영한 ( Young Han Chun ) 한국정책학회 2015 韓國政策學會報 Vol.24 No.4

정부가 활용하는 정책수단은 매우 다양하며, 각각의 정책수단이 갖는 효과성에 대한 인식도 인식주체 혹은 정책수단의 유형에 따라 달라진다. 이 연구에서는 우리나라 중앙행정기관에 근무하는 공무원들이 보다 효과적이라고 인식하는 정책수단은 무엇이며, 이러한 정책수단 효과성 인식에 영향을 미치는 조직적 혹은 개인적 요인은 무엇인지에 대한 실증적 분석을 실시하였다. 총 39개 중앙행정기관에 소속된 공무원 1,200여명을 대상으로 수집된 자료에 대한 위계적선형모형(HLM) 분석 결과에 따르면, 우리나라 정부에서 시장유인을 활용한 정책수단에 대한 관심과 활용이 증대하고 있다는 일부의 시각에도 불구하고 공무원들은 규제와 같이 강제적인 수단이 정책목표 달성에 더욱 효과적인 것으로 인식하는 경향이 있음이 확인되었다. 또한 공무원의 정책수단 효과성 인식의 영향요인으로는 해결해야 할 정책문제의 다양성, 정책기능, 제도적 위치, 인적규모 등의 조직적 특성과 직급과 재직기간 등의 개인적 특성 등이 중요한 요인으로서 발견되었다. 이러한 공무원의 정책수단 효과성 인식은 정책수단의 효과에 대한 이론적 주장과 실제정책수단의 활용간의 간극을 설명할 수 있는 중요한 단서가 될 수 있다는 점에서 매우 시사적이다. 특히 정책결정과 집행과정에서 핵심적 역할을 담당하는 공무원들이 강제적 규제를 매우 효과적인 수단으로 인식하고 있다는 점은 기존의 규제완화 노력이 실질적 결과로 이어지지 않고 있는 현실을 이해할 수 있는 새로운 관점을 제공해 준다고 볼 수 있다. A government utilizes multiple policy instruments to achieve policy goals. A perception about the effectiveness of policy instruments differs depending upon evaluators’ personal characteristics and types of policy instruments. This study examined which instruments are more effective to achieve policy goals and which factors influence on the perception about effectiveness of policy instruments by using survey data collected from 1,200 public officials working in 39 central government agencies in Korea. The data for this study was analyzed in hierarchical linear model. The findings suggest that public officials perceive that coercive instruments such as regulation are more effective to achieve policy goals despite the increasing interest in and use of market-based instruments. At the organizational level, policy problem complexity, policy function, institutional location, and organization size were founded as statistically significant factors that influence on the perceived effectiveness of policy instruments. At the individual level, position and tenure had a statistically significant relationship with perceived effectiveness of policy instruments. The results are important in that it could explain the gap between theoretical claims of policy instruments and actual utilization of policy instruments to accomplish policy goals. In particular, public officials, who take central roles in the policy implementation, recognize that the mandatory regulations are effective instrument. This finding shows that the efforts for deregulation might not have practical effects.

조직문화 유형이 조직효과성에 미치는 영향에 관한 연구: 공항운영 공기업을 대상으로

이제윤(Lee, Je-Yun),임도빈(Im, To-Bin) 한국공기업학회 2017 공기업논총 Vol.18 No.1

본 연구는 조직문화 유형인 집단문화, 발전문화, 위계문화, 합리문화가 조직효과성인 직무만족, 조직몰입, 경영성과에 각각 어떠한 영향을 미치는가를 실증적으로 분석하였다. 그 결과, 첫째, 조직문화는 네 가지 조직문화 유형 모두가 직무만족에 긍정적인 영향을 미치는 것으로 나타났다. 둘째, 조직문화는 조직몰입에 유의미한 영향을 미치며, 이 중 집단문화, 발전문화, 합리문화가 조직몰입에 긍정적인 영향을 주는 것으로 나타난 반면, 위계문화는 유의미한 영향을 미치지 않는 것으로 나타났다. 셋째, 조직문화 유형 중 합리문화만이 경영성과에 긍정적인 영향을 미치는 것으로 나타났다. 조직문화 유형과 조직효과성 간의 관계에 개인특성의 매개효과가 있는지 분석한 결과는, 성취욕구, 통제위치, 집단주의 성향 변수 모두 집단문화-직무만족, 발전문화-직무만족, 합리문화-직무만족, 집단문화-조직몰입, 발전문화-조직몰입, 합리문화-조직몰입의 관계에서 부문매개효과가 있는 것으로 나타났으나, 그 외에는 없는 것으로 나타났다. 이상의 결과는 조직문화의 변화가 조직효과성에 영향을 미치는 중요한 요인임을 보여주고 있다. 따라서 조직구성원의 성취욕구를 조직효과성 향상과 조화될 수 있도록 하고, 내부적 통제위치를 가진 구성원들의 동기화와 구성원들의 집단주의 성향의 촉진을 통해 조직효과성을 향상시킬 수 있는 방안을 모색할 필요가 있다. This study examines how changes in organizational culture affect organizational effectiveness. First, we defined organizational culture for four types; group culture, development culture, hierarchical culture, and rational culture. From the empirical study, we found that all four types of organizational culture made significantly positive effect in employee’s job satisfaction. In the case of the organizational commitment, group culture, development culture and rational culture are identified to be influential positively. However, hierarchical culture has no meaningful effect on the organizational commitment. For the management performance, only the rational culture has been studied as a positive factor. Between the typology of organizational culture and organizational effectiveness, individual characteristics such as need for achievement, locus of control and collectivism acted as strong mediating affect.

정부출연 연구기관의 조직효과성에 관한 연구

고성희(Sung Hee Ko),박형준(Hyung Jun Park),김동현(Dong Hyun Kim) 한국인사행정학회 2015 한국인사행정학회보 Vol.14 No.2

본 연구는 현재 정부산하 및 출연연구기관의 연구직 구성원을 대상으로 원장의 리더십과 대상자들의 팔로워십, 그리고 조직효과성에 대한 위계적 조절회귀분석을 실시하였다. 분석결과 선행연구와 같이 순응형과 소외형의 출현빈도는 낮았다. 위계적 조절회귀분석 결과에서는 리더십 요인이 팔로워십 요인과 상호작용되었을 때 다른 결과가 도출됨을 확인할 수 있었다. 다음으로 직무만족을 종속변수로 하는 회귀분석 결과 비판의식이 높을수록 카리스마 리더십은 역효과였으며, 개별배려와 상황보상은 정(+)의 효과를 보였다. 적극적으로 행동하는 연구직의 경우는 상황에 따른 보상이 부(-)의 효과를 보였다. 조직몰입을 종속변수로 하는 회귀분석에서는 개별배려가 부(-)의 효과를, 상황보상이 정(+)의 효과를 보였다. 조절회귀분석 결과에서는 비판의식이 높아질수록 지적자극은 부(-), 개별배려는 정(+)의 효과를 보였으며, 적극적으로 행동할수록 개별배려와 예외관리가 모두 부(-)의 효과를 보였다. 즉 리더십 요인이 팔로워십을 통하여 조절효과가 있음을 검증하였다. Followership' had began to refocus and about many discussions of their active role were actively. In particular, research organization that has an organizational culture different from general business operated on the project so it influenced its successful by the expertise of members. This study explored followership types of the employees of government affiliated organizations and government-funded research institutions those have "publicity", Secondly, analyzing the moderating effect of followership type to the effect of the leadership characteristics of leader of research institutions to the organizational effectiveness. Finally, finding out the combination of the followership and leadership type that has positive effect to organizational commitment. The Results show us exemplary followers to be effectiveness with transformational leadership of trust and charisma, Because this type have independent thinking and an active and positive behavioral characteristics. Pragmatist showed negative effect with management by exception of transactional leadership because this type have independent thinking and dependent thinking and active participation and passive participation of the intermediate characteristics. So director's aggressive intervention was needed.

구조적 지역특성이 성범죄에 미치는 영향 : 전국 읍면동과 시군구를 대상으로 한 위계적선형모형 분석

정진성,홍성욱,이가을 한국치안행정학회 2015 한국치안행정논집 Vol.12 No.1

본 연구는 구조적 지역특성이 성범죄에 어떤 영향을 미치는 지 살펴보기 위해 읍면동 단위와 시군구 단위로 구성된 위계적선형모형(HLM)을 구축·분석했다. 국내 최초로 전국의 3,468개 읍면동과 251개 시군구를 대상으로 최근 3년간(2011-2013) 발생한 성범죄율에 대한 분석을 수행한 결과, 성범죄율의 분산 가운데 77.97%는 시군구 내 분산이, 22.04%는 시군구 간 분산이 차지하였다. 읍면동 단위에서는 인구이동비율, 외국인비율, 이혼율, 1인가구비율, 숙박음식업비율이 정적 효과를 보였고 비아파트거주비율이 부적 효과를 보였다. 시군구 단위에서는 숙박음식업비율과 비아파트거주비율이 부적 효과를 보였으며, 읍면동 단위 변수들과의 층위간 상호작용효과는 인구밀도와 인구이동비율, 1인가구비율, 비아파트거주비율 간에 발견되었다. 비아파트거주비율은 가설과 달리 읍면동과 시군구 단위에서 모두 성범죄를 감소시켰는데, 층위간 상호작용효과를 고려하면 이러한 현상은 인구밀도가 낮은 시골 지역에는 해당되지 않는 것으로 판단되었다. 숙박음식업비율은 읍면동 단위에서는 정적 효과를 보인 반면, 시군구 단위에서는 부적 효과를 보였는바, 숙박음식업비율의 의미가 읍면동 수준에서는 유흥과 향락이 발달한 도시적 특성을 반영하지만 시군구 수준에서는 관광과 생업으로서의 시골적 특성을 반영하는 것으로 사료되었다. 인구밀도가 인구이동비율, 1인가구비율과 보인 층위간 상호작용효과를 비롯하여 본 연구의 전반적인 결과는 보다 세분화된 지역 특성(예, 도시 vs. 시골, 사회경제적 지위)에 따른 추가적인 연구와 정책개발이 필요함을 시사하였다. 경제적 열악성과 같은 주요 변수가 모형에서 제외된 점 등의 한계가 있었지만, 전국의 모든 읍면동과 시군구를 대상으로 연구를 진행한 점, 지역 수준의 변수들이 성범죄에 미치는 영향력의 범위를 입증한 점, 보다 세부적인 지역사회 연구의 필요성을 제시한 점 등에서 본 연구의 의의를 찾을 수 있었다. This study attempted to examine the effect of structural neighborhood characteristics on sex crime. To this end, a hierarchical linear model was constructed for sex crime of 2011-2013 using national data of 3,468 Eup-Myon-Dong(level 1) and 251 Si-Gun-Gu(level 2). The results showed that the total variance of sex crime rates was divided into within variance of Si-Gun-Gu, 77.97% and between variance of it, 22.04%. At the level of Eup-Myon-Dong, rate of population mobility, rate of foreigners, divorce rate, rate of single family, and rate of food and lodging had a positive effect on sex crime rates. At the Si-Gun-Gu level, rate of food and lodging and rate of non-apartment residency showed a negative effect. Also, cross-level interaction effects were discovered in population density with rate of population mobility, rate of single family, and rate of non-apartment residency. Contrary to the hypothesis, the rate of non-apartment residency lowered sex crime rates at both levels. However, its cross-level interaction effect with population density showed that the negative effect might be limited to rural areas with low population density. The different direction of food and lodging’s influences indicated that it reflects urban feature of adult entertainment and hedonism at level 1, while reflecting rural feature of sightseeing and means of living at level 2. The overall patten of results including the cross-level interaction effects suggested that more subspecialized research and policy development are necessary depending on the regional characteristics such as urban vs. rural and socioeconomic status. Despite some limitations such as the exclusion of important variables like economic disadvantage, this study made important contributions to current neighborhood crime research at least in three aspects: First, it made the first attempt to reveal the causal relationship between structural characteristics and sex crime using nation-wide data of all Eup-Myon-Dong and Si-Gun-Gu. Second, it discovered the extent of influences that each level’s characteristics have on sex crime. And lastly, it suggested that future research have to focus more on subspecialized neighborhood characteristics.

위계선형모형으로 추정한 학교효과를 고려하여 고교내신등급을 보정하는 방안

남현우(Nam Hyun-Woo) 한국교육평가학회 2006 교육평가연구 Vol.19 No.2

  2-수준 위계선형모형(HLM)으로 학교 효과성을 측정하고, 이를 바탕으로 단위 학교의 내신 등급을 보정하는 방안을 제시하고, 이 방안의 타당성을 검토하였다. 1-수준 변인은 성, 개인과외 경험, 사회경제적 지위(SES) 등이었고, 2-수준 변인은 평균 SES, 학교 규모, 지역 등이었으며, 종속 변인은 수능의 언어, 수리, 영어 점수였다. 본 연구에 사용된 자료는 한국직업능력개발원에서 수집한 한국교육고용패널(KEEP 2005)의 일부이다. 전국 평균과 학교 평균의 단순 차이로 학교 효과성을 측정하는 평균 점수 방식을 준거로 HLM 방식의 타당성을 검증하였다. 학교 효과성을 표준 점수로 환산하여 최대 3등급까지 상향 또는 하향 보정하였다. 평균 점수 방식과 HLM 방식을 비교할 때, 상대적으로 과대평가되는 학교는 영역별로 15∼19%, 상대적으로 과소평가되는 학교는 영역별로 19∼24% 정도였으며, 어떤 방식으로도 보정되지 않는 학교가 과목별로 56∼66% 정도였다. 과대평가되는 학교들은 다른 학교들에 비해 수능의 평균 점수와 평균 SES가 높거나 최소한 비슷했고, 과소평가되는 학교들은 낮았다. 기본 모형인 ANOVA 모형과 비교할 때 HLM2 모형의 무선 효과 비율이 어떠한지, 자료의 원천과 분석 모형이 달라짐으로써 집단 내 상관 계수(ICC)가 어떤 변화를 보이는지 등을 논의했다. 학교 효과성이 모든 영역에서 동일하게 나타나는지, 특정 학교 내의 모든 영역의 내신 등급이 천편일률적으로 상향되거나 하향되는 것은 아닌지를 검토하였다. 모든 영역이 동일한 방향으로 변화되는 학교는 19% 정도에 불과했고, 100개교 중 아무런 변화가 없었던 34개교를 제외한 66개교 중 47개교(71%)는 영역별 등급 변화가 달랐다.   This research was intended to suggest and validate a method of compensating the high school record with the school effectiveness estimated by HLM2.<BR>  The school effectiveness was estimated by using the KEEP 2005 data. The data are composed of Verbal, Math, and English scores in KSAT as dependent variables, SES, gender, private tutoring experience as 1-level independent variables, and mean SES, school size, schol location as 2-level independent variables. The HLM method was validated by comparing the so called Mean method, which estimated the school effectiveness by the difference of school mean and grand mean. The high school records were compensated upward or downward on the ground of standard scores of school effectiveness.<BR>  Comparing the HLM method with Mean method, schools of 15∼19% were over-evaluated, 19∼24% were under-evaluated, and 56∼66% were not changed at all.<BR>  KSAT scores and mean SES of schools over-evaluated were higher than the other schools. On the other hand, those of schools under-evaluated were lower than the other schools.<BR>  Some issues were discussed. Comparing HLM2 model with ANOVA model, was there any change in random error variance? When the data sources or the estimating models were changed, was there any change in ICC(intra-class correlation coefficients)? This research also investigated whether the school effectiveness of Verbal, Math, and English were same or not, and the directions of compensating high school record were same or not.

학생들의 성취도 변화점수에 기초한 학교효과 평가 모형 개발 연구: 학교책무성평가를 위한 다양한 접근 방법 비교

성기선 한국교육사회학회 2008 교육사회학연구 Vol.18 No.4

본 연구의 목적은 한국교육개발원에서 실시한 ‘한국교육종단연구’(KELS) 자료를 이용하여 우리 나라 중학교의 학교효과를 분석하는 다양한 접근방법들을 검토하면서 각각의 장단점을 비교분석하 는 것이다. 아울러 이 연구에서는 최근 학교책무성에 대한 요구가 급증하면서 학교를 단순한 성취 도 수준으로 서열화하고 평가하려는 움직임이 얼마나 비과학적이며 오류가 많이 발생할 수 있는지 를 제시하고자 하였다. 횡단적인 자료에 근거한 학생들의 성취도 수준이 해당 학교의 교원과 학교 의 교육적 노력의 결과물이라고만 볼 수는 없다. 누적적으로 발생하는 학생들의 성취도 격차는 다 양한 변인에 의해 영향을 받는다고 볼 때 고유하게 해당 학교를 다니면서 변화한 점수 중에서 가 정배경변인이나 개인 노력변인의 효과를 제외한 학교효과의 크기가 어느 정도이며 그 크기는 기존 의 학교 입학 당시의 학생들의 가정배경에 의한 학업성취도 격차를 줄여주는 효과를 보일 수 있는 지에 대해서도 살펴보았다. 연구결과에 따르면 평균점수, 2-수준분석, 3-수준 성장모형 분석을 통해 얻은 학교효과에 대한 결과자료들은 서로 이질적이며 일관성이 매우 낮았다. 아직까지 고부담 학교 책무성 평가를 학생들의 성취도를 기준으로 시행하기에는 이론적으로 뿐만 아니라 사회적으로 준 비가 부족한 실정이다. 따라서 학교책무성 평가를 위해 학생들의 성취도를 사용하기 위해서는 향후 우리 사회에 적합한 학교효과 모델이 무엇이 될 것인가에 대한 추가적인 연구가 더욱 필요하다고 판단된다. The major concern of this study is comparing the diverse methods of educational accountability evaluation using KELS(Korea Education Longitudinal Study) and finding the meaningful implication for policy in Korea. To evaluate genuine school effects we have to consider the starting point of students and the growth rates of students during school years. In this study I criticized the general approaches and common perceptions about school accountability evaluation. In this society people think that a school with a high student achievement level is an effective school, while one with a low student achievement school is ineffective. This is a very unscientific approach and also distorts teacher and school's efforts to teach students. And so I tried to compare the results of four methods to evaluate the school effects. First, I calculated the mean score of first grade year for each school, and ranked the order of the schools. And second, using the difference score of third grade score and first grade score, I also ranked the order of the schools. Third, using 2-level HLM model I could get the residual file, including the school score, and rank them. Finally I tried to run 3-level growth model so I could get the school score and rank them also. Between these indexes there were no positive relationship and consistency. These results show that using the simple mean score of school to evaluate high-stake accountability is a dangerous and irrational approach. From now we have to develop more reasonable school effect model to know the authentic school effect, and so we cannot use school accountability system using school achievement level. More time and more efforts will be necessary for adopting this school accountability system to our nation.