다양한 분할 잠재성장모형 비교

박소영,정혜원 한국교육평가학회 2019 교육평가연구 Vol.32 No.1

잠재성장모형은 종단연구에서 주로 활용되고 있으며, 변화 측정에 매우 유연하다. 교육학 분야에서는 초등학교에서 고등학교까지의 교육성과를 확인하기 위해 학교급의 변화를 반영할 수 있는 분할 잠재성장모형의 소개 및 적용의 필요성이 제기되고 있다. 이에 본 연구는 서울교육종단연구(Seoul Education Longitudinal Study)의 1차(초등학교 4학년)-8차(고등학교 2학년) 학업성취도 자료를 활용하여 학교급의 변화를 반영하여 적용할 수 있는 5가지 분할 잠재성장모형을 모형화하여 제시하였다. 구체적으로 분할 잠재성장모형, 비연속 분할 잠재성장모형, 선형-비선형 분할 잠재성장모형, 선형-비선형 비연속 분할 잠재성장모형, 초․중․고 분할 잠재성장모형을 적용하였다. 본 연구는 패널자료가 장기간 축적됨에 따라 자료의 특성에 맞는 잠재성장모형을 탐색해야 할 필요성을 강조하며, 다양한 분할 잠재성장모형을 패널자료에 적용하여 잠재성장모형의 활용 가능성을 높였다는 데 의의가 있다. Latent growth modeling(LGM) has been popularly used in longitudinal data analysis, and the LGM approach is extremely flexible in the measurement of change. In educational field, in order to confirm the performance in education from elementary to high school, the characteristics of data should be reflected in the model. This study presented five piecewise LGMs that can be applied to changes of the school stages. Specifically, piecewise LGM, discontinuous piecewise LGM, linear-nonlinear piecewise LGM, linear-nonlinear discontinuous piecewise LGM and multiphase piecewise LGM were applied to Seoul Education Longitudinal Study(SELS) panel data(from 1st to 8th waves). This study emphasized the necessity of exploring various piecewise LGMs to fit the characteristics of data and increased possibility of using various piecewise LGMs.

선형 잠재성장모형 모수의 추정에 대한 오차 공분산행렬 적용의 영향력 검토

구남욱(Namwook Koo),김현철(Hyunchul Kim) 한국교육평가학회 2012 교육평가연구 Vol.25 No.4

잠재성장모형과 시계열모형은 사회과학분야의 종단자료를 분석하기 위해 자주 사용되고 있으며, 두 모형은 잠재성장모형의 오차 공분산행렬에 시계열과정을 포함시킴으로써 통합될 수 있다. 그렇지만 잠재성장모형을 이용하여 종단자료를 분석할 때, 과연 시계열 과정이 존재하는지, 만약 존재한다면 어떤 시계열과정을 선택해야 하는지 결정하기는 쉽지 않다. 따라서 이 연구는 모의실험을 이용하여 선형 잠재성장모형의 오차 공분산행렬에 잘못된 시계열과정이 포함될 경우에 모수 추정치들이 어떻게 영향을 받는지 검토하였다. 이 연구의 결과에 따르면 오차 공분산행렬에 AR(1) 시계열과정이 포함된 잠재성장모형으로 시계열과정이 존재하지 않는 자료, MA(1) 시계열과정이 존재하는 자료, 그리고 ARMA(1,1) 시계열과정이 존재하는 자료를 분석했을 때, 모든 조건에서 모수 추정치들이 적합한 것으로 관찰되었다. 따라서 종단자료에 특정한 시계열과정이 존재하는지 판단하기 어려울 경우에는 잠재성장모형의 오차 공분산행렬에 AR(1) 시계열과정을 포함시키는 것이 모수 추정치들의 편향을 최소화할 수 있는 안전한 방법이라고 판단된다. In the social sciences, latent growth modeling and times series analysis are popular methods for longitudinal data analysis and two methods can be combined by including a time series process in an error covariance matrix in a latent growth model. However, it is difficult to either to detect a time series process or select a correct time series process when we fit a latent growth model to data. Thus, this Monte Carlo simulation study investigated the impact of a misspecified time series process in an error covariance matrix on the estimates of parameters in linear latent growth modeling. The results showed that a latent growth model with an AR(1) error covariance matrix produced acceptable parameter estimates across all conditions when it was fitted to the three types of datasets which contained no time series process, MA(1), and ARMA(1,1) time series processes. Therefore, the results of this study can recommend an AR(1) error covariance matrix in linear latent growth modeling when it is difficult to select a correct time series process.

분할함수 및 다항함수 비선형 잠재성장모형을 이용한 진로성숙도 성장선 모형화

박산하(PARK SANHA),김성은(KIM SUNG EUN) 한국교육평가학회 2020 교육평가연구 Vol.33 No.1

This study use various types of Latent Growth Models (Polynomial, Exponential, Piecewise, Polynomial-Piecewise function) to find the best fit trajectories of career maturity in adolescence. We analyze the changing patterns of career maturity over 7 years(from grades six to twelve) using the data from ‘Seoul Education Longitudinal Study’. As a result, the model that best describes the career maturity of adolescents is the quadratic-linear piecewise model in which the knot point is the first year of high school. The results indicate that the application of non-linear LGM needs to provide more accurate growth trajectories estimation in long term longitudinal study. In addition, this study suggests that flexible thinking is necessary for choosing the knot point since there are many ways to find the optimal knot point in piecewise LGM. 본 연구는 선형 잠재성장모형과 다항함수, 지수함수, 분할함수, 다항-분할함수 등 비선형 잠재성장모형과 다양한 분할점을 고려하여 청소년기 진로성숙의 양상을 가장 잘 반영하는 성장선을 찾고자 하였다. 이를 위해 서울교육종단연구 초등패널(초4)의 2012년(3차년도, 초6)~2018년(9차년도, 고3) 자료를 활용하여 7년에 걸친 변화 양상을 잠재성장모형을 적용하여 분석하였다. 분석결과, 청소년의 진로성숙도를 가장 잘 설명하는 모형은 분할점이 고등학교 1학년인 분할이차-일차함수 모형으로 나타났다. 추정된 성장선은 초등학교 6학년 이후 중학교 3학년까지 감소하다가 다시 증가하는 모양을 보였다. 증가하는 경향은 고등학교 1학년까지 나타나다가 이후 고등학교 3학년까지 감소하였다. 본 연구는 잠재성장모형의 확장을 위한 기초단계의 연구로서, 장기간의 종단연구에서 정확한 성장선 추정을 위한 비선형 잠재성장모형의 적용을 보여주는데 의의가 있다. 또한 분할점을 찾기 위해 다양한 방법이 있으며 분할하는 시점에 대한 유연한 사고가 필요함을 시사한다.

어머니가 지각한 부부갈등과 자아존중감이 양육스트레스에 미치는 영향에 대한 종단 연구

김춘경(Kim, Choon-Kyung),조민규(Cho, Min-Kyu) 한국영유아보육학회 2015 한국영유아보육학 Vol.0 No.94

본 연구에서는 잠재성장모형(Latent Growth Model)에 근거하여, 어머니가 경험하는 부부갈등, 자아존중감, 양육스트레스의 변화양상과 어머니가 지각한 부부갈등과 자아존중감이 양육스트레스에 미치는 영향을 살펴보았다. 이러한 효과를 검증하기 위하여 육아정책 연구소(KICCE)의 자료를 활용하여 잠재성장모형을 실시하였다. 잠재성장모형을 통해 세 변인 각각의 변화 양상을 살펴본 결과, 부부갈등, 자아존중감, 양육스트레스는 선형변화모형을 적용할 수 있었다. 다음으로, 다변량 잠재성장모형을 적용해서 종단적으로 세 변인간 관계를 살펴본 결과, 부부갈등은 자아존중감의 초기값과 양육스트레스의 초기값에 영향을 미치고 자아존중감의 초기값은 양육스트레스에 영향을 미치는 매개경로를 확인하였다. 또한, 자아존중감 변화율은 양육스트레스 변화율에 영향을 미치는 것으로 나타났다. In this study, self-esteem, and marital conflict, parenting stress of changing patterns experienced by mothers to take advantage of the latent growth model. Also, looked at the effect of parenting stress on marital conflict and self-esteem. In order to verify this effect, Latent Growth Curve Modeling were adapted to KICCE data. The results analyzed by the Lantent Growth Curve Model indicated that the level of marital conflicts, self-esteem and prenting stress increased as time passed. The results also analyzed by the Multivariate the Lantent Growth Curve Model revealed that marital conflicts and prenting stress were mediated through self-esteem had a negative efect on the change of prenting stress. In addition, Self-esteem is the rate of change had significant influence on parenting stress rate.

잠재성장모형(Latent Growth Modeling)분석의 활용

여승수(呂承壽),박소희(朴昭憙) 서울대학교 교육연구소 2012 아시아교육연구 Vol.13 No.4

본 연구의 목적은 종단자료를 분석할 때 사용될 수 있는 잠재성장모형에 대한 이해와 분석절차를 설명하는 것이다. 잠재성장모형은 종단자료를 분석하는 연구방법 중 한가지로 기존의 종단연구에 비해 뛰어난 장점을 가지고 있다. 하지만 이러한 장점에도 불구하고 교육연구에서는 종단자료를 이용한 잠재성장모형이 활발히 사용되지 못하고 있다. 이러한 원인 중 하나는 통계를 전공하지 않은 학자나 현장 전문가들이 잠재성장모형을 쉽게 이해하고 활용하는데 도움이 될 수 있는 정보의 부족 때문일 것이다. 따라서 본 연구는 잠재성장모형의 통계적 수식과 개념에 초점을 맞추기 보다는 현장 전문가들도 잠재성장모형을 쉽게 이해할 수 있도록 개념을 설명하고 실제 분석 사례를 제공하는 것이 주된 목적이었다. Latent Growth Modeling(LGM) is now regarded as one of the most powerful methods for analyzing longitudinal data. Although LGM has many unique advantages, in fact, there are still few education studies using LGM as the main research method. One of major reasons for the lack of research using LGM is due to little guidance on how to analyze longitudinal data and interpret outcomes from longitudinal data analyses. For this reason, the main purpose of this paper is to help education scholars improve the conceptualization of longitudinal research by presenting them with a non-technical source rather than providing highly technical overview on LGM. In addition, in order to improve the understanding of LGM, education data were used in this paper.

민간경비 성장추세에 대한 종단연구

주일엽(Joo, Il-Yeob) 한국민간경비학회 2017 한국민간경비학회보 Vol.16 No.1

본 연구는 종단연구(longitudinal study)인 잠재성장모형(Latent Growth Model, LGM)을 사용하여 민간경비 성장추세에 대해 실증적으로 규명하는데 그 목적이 있다. 이에 따른 연구결과는 다음과 같다. 첫째, 경비업체수(법인수)에 대한 잠재성장모형은 ‘유의한 모형’으로 나타났으며, ICEPT이 203.988이고, SLOPE는 24.863으로 나타났다. 둘째, 경비원수에 대한 잠재성장모형은 ‘유의하지 않은 모형’으로 나타났으며, ICEPT이 8673.606이고, SLOPE는 350.0123으로 나타났다. 셋째, 시설경비에 대한 잠재성장모형은 ‘유의한 모형’으로 나타났으며, ICEPT이 197.025이고, SLOPE는 24.869로 나타났다. 넷째, 신변보호에 대한 잠재성장모형은 ‘유의하지 않은 모형’으로 나타났으며, ICEPT이 12.262이고, SLOPE는 9.075로 나타났다. 다섯째, 호송경비에 대한 잠재성장모형은 ‘유의하지 않은 모형’으로 나타났으며, ICEPT이 22.394이고, SLOPE는 -8.513으로 나타났다. 여섯째, 기계경비에 대한 잠재성장모형은 ‘유의하지 않은 모형’으로 나타났으며, ICEPT이 9.006이고, SLOPE는 .069로 나타났다. 일곱째, 특수경비에 대한 잠재성장모형은 ‘유의하지 않은 모형’으로 나타났으며, ICEPT이 5.656이고, SLOPE는 1.219로 나타났다. 이러한 연구결과는 민간경비 성장이론을 근거로 전국 경비업체수(법인수), 경비원수 등 거시적 지표를 근거로 민간경비 산업이 성장하고 있다는 일방적인 인식에서 탈피하는 근거를 제공하며, 시설경비 외에신변보호, 호송경비, 기계경비, 특수경비 등에 대한 지역별 경영환경개선이 필요하다는 것을 알 수 있다. The purpose of this study is to empirically identify the trends of private security growth using the Latent Growth Model (LGM). The results of the study were as follows. First, the latent growth model for number of security firms(number of corporations) was significant because the model had 203.988 of ICEPT, 24.863 of SLOPE. Second, the latent growth model for number of security guards was not significant and the model had 8673.606 of ICEPT, 350.0123 of SLOPE. Third, the potential growth model for facility security was significant and the model had 197.025 of ICEPT, 24.869 of SLOPE. Fourth, the latent growth model for protection security was not significant and the model had 12.262 of ICEPT, 12.262 of SLOPE. Fifth, the latent growth model for convoy security was not significant and the model had 22.394 of ICEPT, -8.513 of SLOPE. Sixth, the latent growth model for electronic security was not significant and the model had 9.006 of ICEPT, .069 of SLOPE. Seventh, the latent growth model for special security was not significant and the model had 5.656 of ICEPT, 1.219 of SLOPE.

영과잉 가산 자료의 분포 특성을 고려한 포아송 및 음이항 성장모형 및 잠재계층성장모형 비교: 청소년 가출빈도의 종단적 변화 분석을 중심으로

나우열(Wooyoul Na),이현숙(Hyun Sook Yi) 한국교육평가학회 2018 교육평가연구 Vol.31 No.4

본 연구에서는 영과잉 가산자료를 분석하는 데 있어서 관찰변수들의 정규분포 가정이 요구되는 잠재성장모형 및 잠재계층성장모형의 대안으로, 포아송, 음이항, 영과잉 포아송, 영과잉 음이항 분포를 적용한 모형을 제시하고 자료의 특성에 보다 부합한 모형을 탐색하였다. 이를 위하여 본 연구에서는 한국아동청소년패널조사(KCYPS) 중1패널 2차년도부터 6차년도의 청소년 연간 가출빈도 자료를 사용하 였다. 본 연구에서는 정규분포를 가정한 잠재성장모형과 함께 포아송, 음이항, 영과잉 포아송, 영과잉 음이항 잠재성장모형 및 잠재계층성장모형의 적합도지수 및 관찰평균-추정평균 그래프를 바탕으로 모형 간 비교를 수행하였다. 그 결과, 음이항, 영과잉 포아송, 영과잉 음이항 모형의 적합도가 정규분포를 가정한 모형과 포아송분포를 가정한 모형에 비해 더 좋은 것으로 나타났으며, 대체로 영과잉 음이항 모형이 자료에 더 잘 부합하였으나 이러한 경향은 비교 준거에 따라 다소 차이를 보였다. 마지막으 로, 각 모형별 적합도 차이의 원인에 대해 고찰하고, 영과잉 가산자료의 성장모형 분석에 있어 본 연구 결과의 함의에 대해 논의하였다. The purpose of this study is to compare latent growth models and latent class growth models based on various distributional assumptions for analyzing longitudinal trends of zero-inflated count data, with adolescents’ runaway as a focal variable. As alternatives to the normal distributional assumption usually made for the analysis of continuous and symmetric data, this study compared growth models based on distributional assumptions that reflect the nature of the zero-inflated count data more accurately, such as Poisson, negative binomial(NB), zero-inflated Poisson(ZIP), and zero-inflated negative binomial (ZINB) distributions. For this purpose, we used the Korean Children and Youth Panel Survey (KCYPS) data for the 7 th grade panel. The second year to the sixth year data were used. Major findings of this study are as follows. First, NB model, ZIP model, and ZINB model performed better than others in Latent growth model and Latent class growth model. Second, ZINB model was generally better than others. However, inconsistent patterns were observed for the performance of each model over different criteria. Implications from the findings of this study were discussed with suggestions for further studies.

범죄발생 인식에 대한 잠재성장모형 분석

주일엽 한국치안행정학회 2017 한국치안행정논집 Vol.13 No.4

본 연구는 통계청에서 2010년, 2012년, 2014년, 2016년 등 격년으로 실시하는 사회안전에 대한 인식(범죄발생) 중 ① 범죄발생 안전인식, ② 범죄발생 보통인식, ③ 범죄발생 불안인식 등에 대한 잠재성장모형 분석을 통해 국민의 범죄발생 인식정도 변화를 규명하는데 그 목적이 있다. 구체적인 연구결과는 다음과 같다. 첫째, 범죄발생 안전인식에 대한 잠재성장모형(비조건 자유모수)은 카이제곱의 p-value는 .600, NFI는 .945, CFI는 1.000, RMSEA는 .000이므로 적합도 판정 결과 유의한 모형으로 나타났다. ‘범죄발생 안전인식 2010년’에서 ‘범죄발생 안전인식 2016년’으로의 성장은 전반적으로 상승하였다. 둘째, 범죄발생 보통인식에 대한 잠재성장모형(비조건 자유모수)은 카이제곱의 p-value는 .148, NFI는 .864, CFI는 .945, RMSEA는 .137이므로 적합도 판정 결과 유의하지 않은 모형으로 나타났다. ‘범죄발생 보통인식 2010년’에서 ‘범죄발생 보통인식 2016년’으로의 성장은 전반적으로 감소하였다. 셋째, 범죄발생 불안인식에 대한 잠재성장모형(비조건 자유모수)은 카이제곱의 p-value는 .003, NFI는 .816, CFI는 .864, RMSEA는 .274이므로 적합도 판정 결과 유의하지 않은 모형으로 나타났다. ‘범죄발생 불안인식 2010년’에서 ‘범죄발생 불안인식 2016년’으로의 성장은 전반적으로 증가하였다. 범죄발생 안전인식이 전반적으로 상승한 것은 2008년 2월부터 2013년 2월까지 이명박 정부와 2013년 2월부터 출범한 박근혜 정부가 사회안전 관련 국정과제를 지속적으로 추진하고 실천한데 따른 것이라고 할 수 있다. 그러나 범죄발생 불안인식의 경우에 전반적으로 증가한 것으로 나타나 범죄발생 불안인식을 해소할 수 있도록 다양한 범죄 예방 및 근절 활동이 필요하며 사회안전 국가정책에 대한 적극적인 대국민 홍보가 필요하다. The purpose of this study is to clarify the change of people’s awareness on crime occurrence in 2010, 2012, 2014, 2016 from analysis of Latent Growth Model(LGM) on Crime Occurrence Awareness, such as ① Crime Safety Awareness, ② Crime General Awareness, ③ Crime Anxiety Awareness. The results of this study are as follows. First, Latent Growth Model(LGM) of Crime Safety Awareness was significant because the model had .600 of Chi Squared’s p-value, .945 of NFI, 1.000 of CFI, and .000 of RMSEA. It could be seen that the growth from ‘Crime Safety Awareness 2010' to ‘Crime Safety Awareness 2016' had increased overall. Second, Latent Growth Model(LGM) of Crime General Awareness was not significant because the model had .148 of Chi Squared’s p-value, .864 of NFI, .945 of CFI, and .137 of RMSEA. It could be seen that the growth from ‘Crime General Awareness 2010' to ‘Crime General Awareness 2016' had decreased overall. Third, Latent Growth Model(LGM) of Crime Anxiety Awareness was not significant because the model had .003 of Chi Squared’s p-value, .816 of NFI, .864 of CFI, and .274 of RMSEA. It could be seen that the growth from ‘Crime Anxiety Awareness 2010' to ‘Crime Anxiety Awareness 2016' had increased overall.

잠재성장모형의 사용을 위한 표본크기 결정

김수영,석혜은 한국심리학회 2015 한국심리학회지 일반 Vol.34 No.2

Recently, latent growth models (LGMs) have been widely used in education or psychology for analyzing behavioral change over time. Although there have been a plethora of methodological research for the last couple of decades, required sample sizes for the model under various conditions still remains unclear for most substantive researchers. The present study carried out a series of Monte Carlo simulations with three mostly used types of LGM and tried to provide general guidelines for minimum required sample sizes for accurate estimation. According to the results, larger sample sizes were required when the number of measurement occasions were small, when missing responses were present, and when a binary outcome variable was included in the model. In particular, when the complex conditions were combined, very large sample sizes were required showing interactions between those conditions. Additionally, we discovered that quadratic growth models required remarkably larger sample sizes compared to linear or lambda-estimated growth models with minimal number of time points. Finally, we discussed how to apply the simulation results to determining appropriate sample sizes in practical situations. 시간의 흐름에 따른 행동변화를 분석하기 위한 방법으로서 잠재성장모형은 최근 교육학이나 심리학 등의 여러 학문 분야에서 활발하게 사용되고 있다. 하지만 지난 수년간 성장모형에서의 여러 발전적 연구가 진행되어 왔음에도 불구하고, 모형의 적절한 표본크기를 결정하는 문제는 여전히 충분한 연구가 존재하지 않는다. 본 연구에서는 세 가지 활발하게 이용되는 잠재성장모형(선형모형, 2차 함수모형, 요인부하추정모형)을 이용하여 다양한 조건에서 시뮬레이션을 실시하였고, 각 모형의 모수를 정확히 추정하기 위해 요구되는 최소한의 표본크기에 대한 가이드라인을 제공하고자 하였다. 시뮬레이션 결과, 측정시점의 수가 적고 결측치가 존재하며 이분형 결과변수가 모형 안에 포함되었을 때 큰 표본크기가 필요하였다. 특히 모형을 복잡하게 만드는 조건들이 동시에 발생했을 때(예를 들어, 모형추정을 위한 최소한의 측정시점을 가진 상태에서 결측치 및 이분형 결과변수가 동시에 존재할 때), 각 조건들이 서로 상호작용을 일으켜 매우 큰 표본크기에서도 정확한 모수추정이 가능하지 않은 경우도 발생하였다. 또한 추가적인 성장요인(growth factor)을 가지는 2차 함수 성장모형은 선형모형이나 요인부하추정모형에 비해 눈에 띄게 큰 표본을 필요로 하였음을 발견하였다. 마지막으로 다양한 조건하에서 이루어진 시뮬레이션의 결과를 이용해 이를 실질적으로 어떻게 적용해야 할지에 대하여 논의하였다.

잠재성장모형을 활용한 지역사회 특성과 공공체육시설 공급의 지역별 차이에 관한 종단 연구

강민욱(Kang Min Uk) 한국체육측정평가학회 2018 한국체육측정평가학회지 Vol.20 No.2

체육학 분야에서 종단자료를 활용한 잠재성장모형 분석을 시도하기 위하여 지역사회와 시간 흐름에 따른 공공체육시설 공급 변화를 중심으로 연구주제를 선정하였다. 구체적으로 잠재성장모형을 활용하여 지역별 1인당 소득, 신체활동 실천율 등과 같은 지역사회 특성과 공공체육시설 공급 변화 관계를 분석하고자 하였다. 본 연구에서는 그동안 체육학계에서 자료 접근의 제한점 등의 이유로 학문적 탐구가 부족하였던 잠재성장모형을 분석틀로 하여 지역별 특성과 시간 흐름에 따른 공공체육시설공급을 시계열적 자료로 구성하여 결과를 도출하고자 하였다. 연구대상 및 자료의 수집은 2010~2015년까지 6년간 1인당 지역소득과 공공체육시설 공급, 신체활동 실천율 대상으로 하였다. 잠재성장모형 분석을 위하여 AMOS(ver 23.0)과 SPSS(ver 23.0) 통계 패키지를 사용하였으며, 유의수준은 .05로 설정하였다. 연구결과 첫째, 연도별 공공체육시설 공급과 신체활동 실천율은 지역간 차이가 존재하며, 시간흐름에 따라 차이의 간극 정도가 증가하는 것으로 나타났다. 둘째, 1인당 지역소득에 따라 공공체육시설 공급은 지역 차이가 있는 것으로 나타났다. 셋째, 지역 간 공공체육시설 공급의 차이가 증가할수록 해당 지역의 신체활동 실천율 차이 또한 증가하는 것으로 나타났다. The purpose of this study is to identify the relationship between the variables at the community level, focusing on the changes of public sports facilities in each region. In the past, research on the latent growth modeling(LGM) was limited due to problems such as data collection and analysis in the field of sports science. This analysis will stimulate academic curiosity in terms of trying various research methods. The data collection would be subject per capita income per person, public sports facilities and practice rate of sports participation for 6years(2010~2015). The statistical package of AMOS (ver. 23.0) and SPSS (ver. 23.0) was used for the analysis of potential growth model. The significance level set to .05. The results of this study are as follows. First, there is a regional difference between the provision of public physical education facilities and the physical activity rate by year. Second, according to the regional income per capita, the provision of public sports facilities showed regional differences. Third, as differences in the provision of public sports facilities between regions increased, the difference in the practice rate of sports participation in the region also increased.