방과후학교 참여가 학업성취 및 사교육 경감에 미치는 효과

윤유진(Yoon, Eu Gene) 한국방과후학교학회 2017 방과후학교연구 Vol.4 No.1

본 연구는 경향점수매칭 분석방법을 이용하여 방과후학교 참여가 학업성취 및 사교육 경감에 미치는 효과를 검증하였다. 그동안 방과후학교 프로그램의 효과를 논의하면서 참여학생과 비학생 사이에는 배경변인에서 가시적인 차이가 있다는 사실을 지적하였다. 방과후학교에는 사회경제적 지위가 낮은 계층의 학생이나 농어촌 지역의 학생들이 보다 활발하게 참여하는 것으로 알려져 있다. 이러한 현상은 방과후학교 참여에 있어서 선택편의(selection bias)의 경향이 있음을 의미한다. 이러한 편의를 제거하기 위하여 본 연구에서는 경향점수매칭 분석방법을 이용하여 분석하였다. 그 결과, 방과후학교 프로그램 참여는 비참여에 비해 학업성취 및 사교육비경감에 긍정적인 효과가 있는 것으로 나타났다. 초․중․고 학생의 방과후학교 참여여부가 학업성취 및 사교육경감에 미치는 효과가 있는가를 분석한 결과, 방과후학교 프로그램에 참여하는 학생이 비참여에 비해 학업성취가 높게 나타났다. 더 나아가 예체능을 제외한 교과(국․영․수․과․사)방과후학교 참여 여부에 따라 경향점수매칭 전․후에 학업성취도 차이가 있는가를 알아본 결과 교과방과후학교 프로그램에 참여하는 학생이 비참여학생에 비해 학업성취도가 높게 나타났다. 또한 방과후학교 참여여부에 따라 사교육비 경감에 차이가 있는가를 살펴본 결과, 방과후학교참여가 사교육비 경감에 긍정적인 효과가 있는 것으로 나타났다. The main purpose of this study is to investigate how participation in ASOCP affects school achievement and private tutoring fee deduction by using the propensity score matching analysis method. First of all, the ASOCP policy was examined as alternatives to private tutoring in order to study how they affect private tutoring costs and participation in private tutoring, and how effective they were. For this study, data researched in 2013 by Statistics Korea were used. Samples were collected twice in a year (June: costs in March-May; October: costs in July-September) through an Internet survey from a total of 78,000 subjects, including approximately 44,000 parents (private tutoring costs, attitude survey) and 34,000 students (attitude survey) in nearly 1,094 elementary, middle or high schools nationwide. The impact of variables deemed influential on school achievement was analyzed first. In order to investigate the impact of ASOCP on school achievement, an effectiveness analysis was performed using propensity score matching methods. In this study, SAS (Ver. 9.3) was used for analysis. Estimation and matching of propensity scores were stratified and conducted for each school level. Specifically, propensity scores were estimated for each of elementary, middle, general high and specialized high school and used for matching. For such propensity score matching, participation in private tutoring, participation in private English tutoring and participation in private mathematics tutoring were established first as treatment variables. The results of the study are as follows. Firat, according to a comparison analysis on school achievement affected by participation in ASOCP based on propensity score matching, students who participated in ASOCP showed better school performance than those who did not, before and after the matching. Nevertheless, students who took ASOCP had 4.64% higher school achievement than those who did not before the matching, whereas the difference in school achievement between the two groups grew to 5.81% after the matching. This means that the effects of ASOCP increased. In particular, the difference escalated even further in elementary and middle schools. Second, the propensity score matching method was also used to confirm how ASOCP affect private tutoring costs. Students who took ASOCP spent KRW456,200 less on private tutoring than those who did not. ASOCPparticipants in elementary school spent KRW679,100 less, those in middle schools KRW301,700 less and those in general high schools KRW471,100. Reductions in private tutoring costs created by participation in ASOCP were significantly different from one region to another. Effects of ASOCP were particularly substantial in elementary schools of each region.

연구논문 : 응답자의 성격특성과 성향점수 매칭기법을 활용한 모바일 조사 향상방안 연구

강정한 ( Jeong Han Kang ),강예원 ( Yewon Kang ),임정재 ( Jeong Jae Lim ) 한국조사연구학회 2014 조사연구 Vol.15 No.2

본 연구는 성격특성변수를 활용하여 성향점수 매칭방법을 실시하고 성향점수 가중법을 보완하여 모바일 조사의 추정치 보정을 향상시키는 데 그 목적이 있다. 이를 위해 모바일 조사회사의 협조하에 모바일 조사자료를 수집하고, 한국종합사회조사(KGSS)의 2009년 및 2011년도 자료를 준거자료로 삼아 분석을 실시하였다. 우선 준거자료와 사회 인구학적 변수를 매칭시켜 모바일 응답자를 표집하여 성향점수 추정에 사용되는 변수를 성격특성 10문항만으로 최소화하였다. 다음으로 실험집단으로 설정한 KGSS 응답자와 유사한 성향점수를 가진 모바일 응답자를 매칭으로 추출하여 모바일 응답자의 주관적 정치성향을 보정하였다. 분석의 결과 성향점수 매칭방법은 가중법과 일관되며 다소 향상된 추정결과를 보였는데, 인근이웃 매칭방법의 경우 자료 간 정치성향의 차이를 보정 전에 비해 33.6%, 성향점수 가중법에 비해 9.4%를 줄였으며, 두 자료 간 성격특성의 분포 또한 가장 동일하게 조정하였다. 본 연구의 의의는 첫째, 성격특성은 가변성이 적은 응답자 특성으로서 성향점수 계산에 유용함을 보였으며, 둘째, 신속성을 요구하는 모바일 조사의 특성에 맞게 적은 문항수를 보정방식에 활용 하였으며, 셋째, 매칭기법을 통해 보정의 직관성을 높이고 가중법을 포함한 성향점수 활용의 타당성을 검토하였다는 데 있다. This study aims to reduce estimation biases from mobile survey by employing propensity score matching based on respondents` personality. Firstly, we selected 2009 and 2011 Korean General Social Surveys(KGSS) as reference data and then sampled mobile survey respondents by one-to-one matching to those of 2011 KGSS based on sociodemographic dimensions. Secondly, we chose subjective political orientation as an outcome variable for estimation whose mean values are statistically identical between the two years of KGSS but more conservative than that of mobile respondents. Thirdly, we performed propensity score matching by 10 items of personality in a consistent way with propensity score weighting and produced a comparable but better performance than that of weighting. Our conclusions are threefold: First, personality traits are stable enough to be a basis of propensity score. Second, combining pre-survey matching by sociodemographic traits and after-survey matching by the small number of items can provide a cost-effective way of bias correction by coping with impatient mobile respondents. Third, propensity score matching provides us with more intuitive tools than weighting to improve the validity of propensity score methods.

경향점수 추정 모형에 따른 매칭 및 인과효과 검정 결과 비교 : 다층자료의 모의분석

송승원(Seungwon Song),강상진(Sang-Jin Kang),이규민(Guemin Lee) 한국교육평가학회 2015 교육평가연구 Vol.28 No.3

이 연구는 경향점수의 추정과 인과효과 검정에서 분석 자료의 다층구조가 미치는 영향을 밝히고자 하였다. 동일한 모집단에서 반복 표집하여 생성한 모의표본 자료를 분석하는 실험을 통하여, 다층구조를 무시한 로지스틱 모형과 다층구조를 반영하는 로지스틱 다층모형으로 각각 추정한 경향점수에 어떠한 차이가 있는지 밝히고, 추정된 경향점수를 바탕으로 진행되는 경향점수매칭 및 인과효과 검정결과에서 어떠한 차이가 있는지 알아보았다. 연구 결과, 로지스틱 다층모형으로 추정된 경향점수가 로지스틱 모형으로 추정된 경향점수보다 더 큰 변산을 갖는 것으로 나타났으나, 해당 경향점수를 기준으로 매칭된 처치집단과 통제집단의 사례 수는 로지스틱 모형의 경우보다 더 작았다. 매칭 후 경향점수, 학교 및 학생수준 공변수의 처치집단과 통제집단 동등성 정도는 학생수준 공변수의 경우 로지스틱 모형이, 학교수준 공변수의 경우 로지스틱 다층모형이 두 집단의 분포를 보다 유사하게 만드는 효과가 있었다. 마지막으로 실시한 인과효과 검정 결과, 로지스틱 다층모형의 경우 대다수의 데이터 세트에서 처치효과가 없었다고 분석된 반면, 로지스틱 모형의 경우 100개의 데이터 세트 모두 처치효과가 있다고 분석되었다. 따라서 인과효과를 분석하고자 하는 비실험연구의 데이터가 위계적 구조의 자료인 경우, 두 모형은 전혀다른 결론에 도달한다는 증거가 발견되었다. 이 연구의 결과에서는 로지스틱 모형과 다층로지스틱 모형의 선택은 분명하지 않으며, 두 모형에 의한 교차타당화 작업이 요청된다. 또한 경향점수 추정에서 모형의 적절성을 평가할 수 있는 모의실험이 필요하다. This study examined the effect of multilevel structure of data on the estimation of propensity score and causal inference. By analyzing multilevel data sets repeatedly sampled 100 times from the statistically recovered population data, we investigated the differences of matching and those of causal inference when the logistic multilevel- and regression model were applied in estimating the propensity score. The results indicated that the distributions of propensity scores, and the number of matched data sets all differ when the propensity scores were estimated by the two models. In the case of matching students level covariates, logistic regression model performed better than logistic multilevel model in matching the covariate distributions between treatment and control groups. However, in case of school level covariates, we found the opposite results, in which multilevel model performed better. The results also showed two models influenced differently on the causal inference. Therefore this study reports that two models lead to different conclusion in causal inference via propensity score matching under the circumstance when the data are hierarchical. We suggest that cross validation is needed when causal inference is made based on propensity score matching in the analysis of multilevel data. Also, it is necessary to conduct a simulation study in order to evaluate the adequacy of a model to estimate the propensity score.

치의학 연구에서 R program을 이용한 성향점수매칭의 단계적 안내

안화연(Hwayoen An),임회정(Hoi-Jeong Lim) 대한치과의사협회 2020 대한치과의사협회지 Vol.58 No.3

The propensity score matching method is a statistical method used to reduce selection bias in observational studies and to show effects similar to random allocation. There are many observational studies in dentistry research, and differences in baseline covariates between the control and case groups affect the outcome. In order to reduce the bias due to confounding variables, the propensity scores are used by equating groups based on the baseline covariates. This method is effective, especially when there are many covariates or the sample size is small. In this paper, the propensity score matching method was explained in a simple way with a dental example by using R software. This simulated data were obtained from one of retrospective study. The control group and the case group were matched according to the propensity score and compared before and after treatment. The propensity score matching method could be an alternative to compensate for the disadvantage of the observation study by reducing the bias based on the covariates with the propensity score.

Propensity Score Matching: A Conceptual Review for Radiology Researchers

백승희,박성호,Eugene Won,박유랑,김화정 대한영상의학회 2015 Korean Journal of Radiology Vol.16 No.2

The propensity score is defined as the probability of each individual study subject being assigned to a group of interest for comparison purposes. Propensity score adjustment is a method of ensuring an even distribution of confounders between groups, thereby increasing between group comparability. Propensity score analysis is therefore an increasingly applied statistical method in observational studies. The purpose of this article was to provide a step-by-step nonmathematical conceptual guide to propensity score analysis with particular emphasis on propensity score matching. A software program code used for propensity score matching was also presented.

1인 가구 여부가 범죄두려움에 미치는 영향: 성향점수매칭을 이용한 차이 분석

최형근,박신의,민동기,장현석 대한범죄학회 2022 한국범죄학 Vol.16 No.2

This study focused on single-person households, which have steadily increased since the 2000s, and attempted to analyze how their fear of crime differs from those of multi-person household members. While the attention to the safety of single-person households has been raised, studies on the fear of crime in single-person households have been reported, but those are insufficient, and the results are also different from theoretical discussions. Thus, additional research is needed. Furthermore, the statistical methods that prior studies utilized were limited to OLS regression analysis. However, regression analysis has a limitation in that it cannot completely remove the selection bias of the analysis samples. In this study, in order to compensate for the limitations of this OLS regression, the difference in fear of crime between single-person and multi-person households from Korean Crime Victimization Survey 2018 was investigated through propensity score matching. The results revealed that significant difference in the fear of crime between two types of households existed before the propensity score matching, but after the matching, no significant difference in the fear was discovered. In addition, through comparison of regression analysis before and after matching, it was intended to understand which factors affecting fear of crime changed. The influencing factors that were significant after the matching included perceived disorder, sex, victimization experience, confidence in the police. Based on these findings, implications for policies were presented. 본 연구는 지난 2000년대부터 꾸준히 증가해온 1인 가구에 초점을 맞추어 이들의 범죄두려움 이 다인 가구 구성원의 범죄두려움과 어떠한 차이를 보이는지 분석하고자 하였다. 1인 가구의 안 전에 대한 관심이 제고된 가운데 이들의 범죄두려움에 대한 연구가 보고되고 있지만 부족한 실정 이며 선행연구의 결과 또한 이론적 논의와 달라 추가적인 연구가 필요하다. 분석방법 또한 회귀분 석에 그친 경우가 대부분이다. 하지만 회귀분석은 분석대상의 선택 편의(selection bias)를 완전히 제거하지 못한다는 한계가 있다. 본 연구에서는 이러한 회귀분석의 한계를 보완하기 위해 성향점 수매칭(Propensity Score Matching)을 통해 1인 가구와 다인 가구의 범죄두려움 차이를 알아보 고자 하였다. 전국 범죄피해조사 2018 데이터를 활용하여 분석한 결과 성향점수매칭 이전에는 1인 가구와 다인 가구의 범죄두려움에는 유의미한 차이가 있었지만 매칭을 실시한 후에는 두 집단의 두 려움에 실질적인 차이가 없는 것으로 나타났다. 또한 매칭 이전과 이후의 회귀분석 비교를 통해 범 죄두려움을 설명하는 요인들이 어떻게 변화했는지 파악하고자 하였다. 매칭 이후에도 유의미했던 범 죄두려움 설명 요인은 무질서, 성별, 범죄피해경험, 경찰신뢰도 순으로 나타났다. 이러한 결과를 바 탕으로 논의와 정책적 제언을 제시하였다.

다층자료에서 경향점수 활용 방법에 따른 처치효과 추정치 양호도 분석

전현정(Jeon, Hyeonjeong),정혜원(Chung, Hyewon) 한국교육학회 2020 敎育學硏究 Vol.58 No.1

본 연구는 2수준 다층자료의 상위수준에서 처치가 발생한 경우에 경향점수 활용 방법(2단계대응 가중치 결합 방법, 역 확률 가중치, 대응)의 적용이 안정적으로 처치효과를 추정하는지 확인하고자 모의실험 연구를 실시하였다. 모의실험 연구를 위한 모의자료 조건은 1:3, 1:1의 처치- 통제집단 사례수의 비율, 50, 100의 집단 수와 20, 40, 50의 집단 크기를 고려하였다. 본 연구의주요한 연구결과는 다음과 같다. 집단 간 동등성 정도를 진단하기 위한 표준화 차이 계수를 분석한 결과, 모든 모의실험 조건 하에서 2단계 대응 가중치 결합 방법이 역 확률 가중치 방법과대응 방법에 비해 상대적으로 작은 표준화 차이 계수를 갖는 것으로 나타났다. 효율성을 평가하는 평균제곱오차의 분석 결과에 의하면 모든 모의실험 조건에서 2단계 대응 가중치 결합 방법의 평균제곱오차가 역 확률 가중치와 대응 방법의 평균제곱오차 보다 작은 것으로 나타나 2단계 대응 가중치 결합 방법의 효율성이 더 높은 것을 확인할 수 있었다. 또한 상대적 표준오차의경우에서도 모든 모의실험 조건에서 2단계 대응 가중치 결합 방법이 역 확률 가중치와 대응 방법에 비해 효율성이 높음을 확인할 수 있었다. 따라서 본 연구결과를 고려할 때, 2수준 다층자료의 상위수준에서 처치가 발생한 경우에는 보편적으로 사용되고 있던 역 확률 가중치와 대응방법보다는 다층자료 특성을 반영한 2단계 대응 가중치 결합 방법을 적용하는 것이 보다 안정적인 처치효과를 추정하게 된다. The purpose of this study was to analyze the impact of the propensity score method on the treatment effect estimates, when the treatment effects were estimated using propensity scores for multievel data structure. This simulation study was conducted for treatments occurring at the school level (level 2) to analyze the quality of treatment effect estimations for the three implementation of propensity score methods(two-stage matching/weighting combination method, inverse probability of treatment weighting method, and matching method). The ratios of treatment to control group members (1:3, 1:1), the number of groups (50, 100), and the average group sizes (20, 40, 50) were considered in the simulation conditions. The findings were as follows. Across all conditions, the standardized mean difference was relatively smaller in two-stage matching/weighting combination method, compared to the inverse probability of treatment weighting method and matching method which have been more popularly used. Further, the mean squared error was smaller when the two-stage matching/weighting combination method was used rather than the two other methods was. As for the relative standard error results, the two-stage matching/weighting combination method also had a higher efficiency than the inverse probability of treatment weighting method and matching method. Across all conditions, the selection of two-stage matching/weighting combination method in multilevel data structure was supported.

다문화가족지원센터 이용 경험이 다문화 청소년의 이중문화 정체성에 미치는 영향: 성향점수매칭을 중심으로

박미경,차용진,이홍재 숙명여자대학교 아시아여성연구원 2019 다문화사회연구 Vol.12 No.3

본 연구는 다문화 청소년들의 다문화가족지원센터 이용 경험이 이중문화 정체성 형성에 미치는 영향을 분석하였다. 이를 위해 2015년 전국다문화가족실태조사 자료를 활용하였으며, 다문화 청소년의 다문화가족지원센터 이용이 이중문화 정체성에 미치는 효과를 분석하기 위해 회귀분석과 성향점수매칭 분석을 시도하였다. 회귀분석 결과에서는 다문화 청소년의 다문화가족지원센터 이용 경험이 이중문화 정체성 형성에 긍정적인 것으로 나타났다. 여성일수록, 연령이 낮을수록, 한국 국적이 없을 경우, 외국생활 경험이 있을수록, 자아존중감이 높을수록, 사회적 차별경험이 있을수록 이중문화 정체성 형성이 높은 것으로 나타났다. 성향점수매칭 분석에서도 회귀분석과 동일하게 다문화가족지원센터 이용 경험이 있는 다문화 청소년이 이용 경험이 없는 청소년에 비해 긍정적인 이중문화 정체성을 형성하는 것을 확인할 수 있었다. 다문화가족지원센터 이용 여부가 다문화 청소년의 이중문화 정체성을 형성하는데 긍정적인 영향을 미친다는 결과는 회귀분석과 성향점수매칭에서 일관되게 나타났다. 다만 이중문화 정체성에 대한 다문화가족지원센터 이용의 회귀계수 값이 회귀분석과 성향점수매칭 분석에서 상이하게 나타나고 있다는 점은 주목할 필요가 있다. 이상의 분석결과를 토대로 본 연구에서는 다문화 청소년의 긍정적인 이중문화 정체성 형성을 위한 이론적⋅정책적 함의를 제시하였다. This study analyzes the effects of using the multicultural family support centers on the bicultural identity of multicultural youths. For this purpose, regression and propensity score matching analyses are attempted to examine the effects using the 2015 national multicultural survey. The results of regression analyses show that the experience of using multicultural family support centers is positive for forming a bicultural identity. For women, younger age, no Korean nationality, more foreign life experience, higher self-esteem, and more social discrimination experience, the formation of bicultural identity is found to be high. Similar to the results of regression, the results of propensity score matching indicate that multicultural adolescents experienced with multicultural family support centers have positive bicultural identities compared to adolescents without such experiences. The results indicate that the use of multicultural family support centers positively influences the formation of bicultural identities among multicultural adolescents. These results are consistent in regression and propensity score matching. However, it is worth noting that the regression coefficients for the use of multicultural family support centers among those with a bicultural identity differ between regression and propensity score matching. Based on the results, this study suggests theoretical and policy implications for the formation of a positive bicultural identity for multicultural youths.

코스닥시장에서 감사인 규모선택에 영향을 미치는 피감사기업의 특성 및 감사품질에 관한 연구 -성향점수 대응표본 설계에 의한 재검증

윤재원 ( Jae Won Yoon ) 한국회계학회 2016 회계저널 Vol.25 No.1

감사인의 규모와 감사품질과의 관련성은 학문적으로나 실무적으로 많은 관심을 받아왔으나 그 실증연구결과는 엇갈리고 있다. 이에 본 연구에서는 성향점수 대응표본법에 따라 피감사기업의 특성에 기인한 자기선택편의를 통제한 연구모형을 설계하여 코스닥시장에서 감사인규모와 감사품질관의 관련성을 재검증하였다. 2005년부터 2010년까지 코스닥시장에 상장된 기업을 대상으로 한 실증분석에서, 피감사기업의 총자산, ROA, 부채비율, 외국인지분율 및 신규상장여부가  선택에 유의한 영향을 미치는 것으로 나타났다. 성향점수대응표본에 대한 실증분석에서는, 재량적 발생액의절대값에 유의한 차이가 나타나지 않아 Big4와 NonBig4의 감사품질의 차이가 없는 것으로 해석된다. NonBig4를 소속공인회계사 수 50인 이상 기준으로 중형 NonBig4와 소형NonBig4로 나누어 비교한 추가분석에서도 일관되게 감사품질의 차이가 없는 것으로 나타났다. 또한 Big4를 개별 회계법인별로 나누어 비교한 결과도 동일하여, Big4내 회계법인간의 감사품질의 유의한 차이도 없는 것으로 해석된다. 본 연구의 공헌점은 선행연구의 결과가 엇갈리는 연구주제에 대하여 성향점수대응표본법에 의한 개선된 연구설계를 통해 새로운 실증증거를 제시한 점에 있으며, 자기선택편의를 명시적으로 고려하지 않은 선행연구의 결과가 피감사기업의 특성에 기인될 것일 수 있음을 보인 것이다. 실무적으로는 최소한 코스닥시장에서는 NonBig4 회계법인의 감사품질이Big4와 다르지 않음을 강건하게 입증하였다는 점에서 의의가 있다. 이는 그간 NonBig4감사품질이 객관적인 증거없이 저평가되었을 가능성을 시사하는 것으로, 피감사기업이 감사인 규모를 선택하거나 감독당국이 감독규정 등을 결정할 때에 본 연구의 결과를 유용하게 활용할 수 있을 것이다. 다만, 본 연구의 결과는 코스닥시장에 한정된 것이며, 성향점수대응표본법의 한계에 따라 분석대상에서 제외된 규모가 아주 크거나 작은 피감사기업에 대해서는 일반화할 수 없다는 점을 유의하여야 한다. Many empirical researches studies whether Big4 auditors provide higher level of audit quality. Early researches concluded that the audit quality of Big 4 auditors is generally higher than Non-Big4. Because Big 4 auditors are more independent to their client and have better knowledge and greater reputation to protect. However, recent evidences are not clearly supporting the argument that auditor size is a proxy for audit quality. Also, recent studies concern that the client characteristics of Big 4 and non-Big4 are different and empirical findings of prior researches reflect them not auditor characteristics. Practically, non-Big4 auditor argues that they can provide comparable audit quality, especially in local markets for up to medium size client. Thus this study reexamine the relation between auditor size and its quality in KOSDAQ market. I restrict analyses to KOSDAQ market because it allows relatively greater degree of dispersion in auditor choice between Big 4 and non-Big 4. For the analyses, data are selected from 2005 to 2010. There are 4,049 firm-year observations in the full sample, of which 45.6% and 54.4% reflect Big 4 and non-Big 4 clients, respectively. The descriptive statistics for the full sample indicate that Big 4 and non-Big 4 auditors are significantly different. Big 4 clients are larger, more profitable, less financed, more invested by foreign investor and shows high incidence of IPO. I match the Big 4 and non-Big 4 samples with propensity-score reflected multi-client characteristics. I use propensity-score matching models to control client characteristics between Big 4 and non-Big 4 auditor by estimating the probability of selecting a Big4 with logit model. The results show that the client’s size, ROA, debt ratio, foreign investor ownership and IPO variables are significant in logit model. I impose a caliper distance of 3 percent to match samples and obtain 2,442 firm-years for the propensity score matched sample. Mean difference test shows that Client characteristics are not different between two auditor groups. To examine whether the Big 4 effect can be attributed to specific client characteristics, I perform the regression analyses controlling for an extensive list of client and auditor variables. I measure performance-adjusted discretionary accruals as audit-quality proxy by the modified Jones model(Kothari et al, 2010). The results show that the Big4 auditors provide higher level of audit quality in full sample but superior quality of Big 4 vanishes in matched sample. The results show that the absolute value of discretionary accruals of Big 4 are not significantly different from those of Non-Big 4 in matched sample. I supports the concern that the result of prior research are influenced by client characteristics not auditor’s. The treatment effects of Big 4 auditors are insignificantly different from those of non-Big 4 auditors in our results. For the sensitivity test, I divide Non-Big 4 into middle and small Non-Big 4 groups. Middle Non-Big 4 includes the auditors that employ more that 50 CPAs and the small Non-Big 4 includes other Non-Big 4. There are no differences between Big 4 and middle Non-Big 4 and also between Big 4 and small Non Big 4. In the analysis between the individual Big 4 auditor and Non Big 4, I find consistent results. These results suggest that the findings of prior researchers which is not employing the methodologies correcting the self selection bias in their research design, are largely affected by client characteristics not auditor’s size. Practically, robust evidences that the audit quality of Non Big 4 is not different from that of Big 4, can be used usefully in selecting audit size for clients and in making regulation for the supervisory body. However I caution that these results are limited to KOSDAQ market and must be interpreted with regard to the limitation of propensity score matching model. The finding of this study should not be generalized for the clients excluded in the matching process.

Applications of propensity score matching: a case series of articles published in Annals of Coloproctology

Kim Hwa Jung 대한대장항문학회 2022 Annals of Coloproctolgy Vol.38 No.6

Propensity score matching (PSM) is an increasingly applied method of ensuring comparability between groups of interest. However, PSM is often applied unconditionally, without precise considerations. The purpose of this study is to provide a nonmathematical guide for clinicians at the stage of designing a PSM-based study. We provide a seed of thought for considering whether applying PSM would be appropriate and, if so, the scope of the list of variables. Although PSM may be simple, its results could vary substantially according to how the propensity score is constructed. Misleading results can be avoided through a critical review of the process of PSM.