지역아동센터 이용 아동의 자아존중감 향상 프로그램에 대한 설명적 메타분석: 단일변량 및 다중변량 메타회귀분석

서인해,공계순 한국사회복지연구회 2019 사회복지연구 Vol.50 No.4

The purpose of the study is to identify the characteristics of the effectiveness of self-esteem improvement programs for the children using Community Children Centers through meta-analysis. The research subject was 39 evaluation papers on self-esteem program in Community Children Center searched in June 2018. The variables included in the analysis were 9 variables in the areas of survey assessment, program composition and program development activities. Statistical analysis was conducted by the meta-anova, univariate meta-regression and mutivaratiate meta-regression analysis using CMA(Comprehensive Meta-Analysis) 3.0. The analysis results are as follows. The average effect size of the self-esteem improvement program at the Community Children Center is .942. Analysis of meta-anova for heterogeneity of effect size showed high effect size in pretest-posttest control group design, 11 to 20 sessions, 50 to 60 minutes per session, 10 participants or less, high degree of program theory and program development process. Univariate and multivatate meta-regression analysis of the causality of effect size heterogeneity showed that the number of program goal, number of participant, level of program theory and program development activity were statistically significant; the fewer program participants, the fewer program goals, the higher the program theory and program development process, the greater the effect. The program development process is the most important variate for the incremental change in the predictive model analysis. The academic meanings of the study results was discussed, and the future directions of practices and explanatory meta-analysis was suggested. 본 연구의 목적은 메타분석을 통하여 지역아동센터 이용 아동의 자아존중감 향상 프로그램의 효과성에 관한 특징을 규명하는 데 있다. 연구대상은 2018년 6월 현재까지 검색된 39편의 지역아동센터의 자아존중감 관련 프로그램 평가논문이며, 분석에 포함된 변수는 조사평가, 프로그램 구성 및 프로그램 개발 활동 영역의 9개 변수이다. 통계분석은 CMA (Comprehensive Meta-Analysis) 3.0을 사용하여 메타아노바와 설명적 메타분석으로서 단일변량 및 다중변량 메타회귀분석을 적용하여 분석하였다, 분석 결과, 지역아동센터의 자아존중감 향상 프로그램의 평균 효과크기는 .942로 나타났다. 효과크기의 이질성에 대한 메타아노바 분석 결과, 총 회기 11~20회, 1회기 당 50분~60분, 프로그램 참여자 10인 이하, 자아존중감 단일목표, 프로그램 개발 활동과 관련된 프로그램이론 및 프로그램 개발과정 정도가 높은 경우에 효과크기가 가장 높게 나타났다. 효과크기 이질성의 인과성에 대한 단일변량 및 다중변량 메타회귀분석 결과, 프로그램 목표 수, 프로그램 참여자 수, 프로그램 이론, 프로그램 개발과정의 정도가 통계적으로 유의미하며, 프로그램 목표가 자아존중감 단일목표일수록, 프로그램 참여자 수가 적을수록, 그리고 프로그램 개발이론과 프로그램 개발과정 정도가 높을수록 효과크기가 커지는 것으로 나타났다. 자아존중감 효과크기의 예측모형에서는 4개 변수 중에서 프로그램 개발과정 정도가 모형변화량에서 가장 큰 것으로 나타났다. 끝으로 메타분석 연구결과의 내용에 대한 학문적인 논의와 지역아동센터에서의 자아존중감 향상 프로그램 및 설명적 메타분석을 위한 제언을 하였다.

다변량 메타분석을 이용한 외국어 교수·학습에서 교정피드백 효과의 재분석

최세일(Sae il Choi) 한국교육평가학회 2020 교육평가연구 Vol.33 No.2

지금까지 제2외국어 학습에서 교정 피드백에 대한 메타분석은 주로 단변량 메타분석 방법에 의존하여, 개별 연구에서 동일한 실험자에 대한 반복 측정이나 유사한 변인을 동일한 학습 상황에서 반복 측정하는 데서 기인하는 측정 변인 간의 상호의존성을 고려하지 못하였다. 이러한 단변량 위주의 메타분석은 연구 결과의 신뢰도와 타당성에 상당한 의문을 갖게 하고 있다. 지난 수 십년간에 걸쳐 이루어진 심리학ㆍ교육학 분야의 메타분석 방법의 기술적 발전은 기존의 단변량 메타분석에서 다룰 수 없었던 다양한 형태의 데이터를 효율적으로 모델링할 수 있는 방안을 제시하고 있다. 이 연구에서는 제 2외국어 학습에서 교정 피드백에 대한 효과를 다변량 메타분석 방법을 이용하여 분석하고 이를 단변량 연구 결과와 비교함으로써 다변량 메타분석의 새로운 가능성과 수반되는 문제점을 논의하고 있다. This study reports the findings of multivariate meta-analysis on the effectiveness of corrective feedback (CF) in foreign or second language acquisition (SLA). Conventional univariate meta-analysis approach has been continuously adopted to research syntheses of diverse aspects of SLA including the effectiveness of CF. However, studies comparing and combining the effects of CF almost always yield multiple outcomes due to repeated measures or multiple dependent outcomes. These outcome measures are usually highly correlated to each other but the conventional univariate meta-analysis or meta-regression failed to consider the intercorrelation among the variables by analyzing the outcome measures one by one as if they were independent. This suboptimal analysis scheme has suffered from many methodological disadvantages, consequently producing doubtful research syntheses. Recent methodological developments in meta-analyses make it possible for researchers to apply advanced techniques to research syntheses. By applying a multivariate meta-analysis approach to integrating studies on the effectiveness of CF, this study shows how to overcome such methodological weakness originated from conventional univariate-based approach. The study also discusses some critical methodological issues frequently found in the current meta-analyses in SLA.

Meta-analysis with R on the Effectiveness of Emotional Coaching Programs

Park Yongmin,Lee Jae-Chang,Park Jong-Aye 한국코칭학회 2021 코칭연구 Vol.14 No.5

본 연구는 감정코칭 프로그램 효과성의 의미를 살펴보기 위하여 2010~2020년까지 11년간 국내에서 출판된 20편의 논문(효과크기 40개)의 메타분석을 시행하였다. 첫째, 효과크기(표준평균차, SMD)는 0.7240이며, 효과크기의 동질성보다는 이질성(Q값에 대한 유의확률 p값=0.0001, I2=89.8%)이 확인되었기 때문에 랜덤효과모형으로 해석되었다. 둘째, 하위집단 의 효과크기는 thesis(20) SMD=0.6108과 journal(20) SMD=0.4929로 나타났으며, 동질성 검증 결과는 I2이 50% 이상이지만, Q(=1.09, (d.f.=1), p<0.6943)가 0.01보다 크기 때문에 동질적으로 판단된다. 셋째, 조절변인 분석에서 조절변수 Alpha의 메타회귀식은 QM(df=1)=5.7625, p=0.0164, 회귀계수는 z=2.4005, p=0.0164로 통계적으로 유의하였지만, 회기시수(session time)는 통계적으로 유의하게 나타나지 않았다(QM(df=1)=0.9946, p=0.3186). 넷째, 출판편향 분석에서 숲 그림(funnel plot)은 효과 크기 0을 기준으로 오른쪽으로 편향되어 있었다. 또한 Egger 회귀분석 결과는 bias=3.0142(t=1.81, df=38, p=0.0782)로 귀무가설이 기각되어 출판편향이 있었다. 더하여 Fail-safe N 분석에서 Nfs=1287 로 나타나 신뢰성을 보여주었다. trim-and-fill 방법에서 보정값은 7개이며, 보정 전 평균 효과크기 SMD=0.7585이고, 보정 후 평균 효과크기 SMD=0.2818로 바뀌었다. 즉 보정된 연구 7개를 추가하 면, ‘파일 서랍에 묵혀둔 문제’가 해결되어 숲 그림에서 왼쪽 아래쪽에 7개의 효과크기가 채워져 좌 우 대칭이 되었다. 마지막으로 발전된 감정코칭 프로그램의 수행과 연구를 위한 기초자료를 제공하고자 한 본 연구 결과의 의미와 시사점에 대해 논의하였다. To evaluate the effectiveness of the emotional coaching program, this study conducted a meta-analysis of 20 articles (40 effect sizes) published in South Korea from 2010 to 2020. First, the effect size (standard mean difference, SMD) was 0.7240, and it was evaluated as a random effect model because heterogeneity (significance p-value for Q value=0.0001, I2=89.8%) was confirmed rather than the homogeneity of the effect size. Second, the effect size of the subgroups was shown as thesis (20) SMD=0.6108 and journal (20) SMD=0.4929, and the homogeneity test result was more than 50% of I, but Q (=1.09, (d.f.=1), p<0.6943) was evaluated homogeneous because it is greater than 0.01. Third, in the moderator variables analysis, the meta-regression of the moderator variables Alpha is QM (df=1)=5.7625, p=0.0164, regression coefficient was statistically significant with z=2.4005, p=0.0164, but session time did not appear statistically significant (QM (df=1)=0.9946, p=0.3186). Fourth, in the publication bias analysis, the funnel plot was biased to the right based on effect size 0. In addition, the Egger’s regression result was dismissed as bias=3.0142 (t=1.81, df=38, p=0.0782) and there was a publication bias. In addition, the Fail-safe N analysis showed reliability by appearing as Nfs=1287, with seven adjustment values in the trim-and-fill method, the mean effect size before adjustment SMD=0.7585, and the overall effect size SMD=0.2818 after adjustment. In other words, adding seven adjusted studies solved the 'file-drawer problem' and filled the bottom left corner of the forest plot with seven effect sizes to make it symmetrical. Finally, we discussed the meanings and implications of this study to provide basic resources for conducting and researching advanced emotional coaching programs.

국내 경제이해력 함양 교수-학습방법의 효과에 관한 메타분석

박상은 ( Sangeun Park ),서봉언 ( Bongeon Seo ) 한국경제교육학회 2018 경제교육연구 Vol.25 No.2

본 연구는 메타분석을 활용하여 국내 초중등 학생을 대상으로 경제교육에서 이루어지는 경제이해력 함양을 위한 교수학습방법의 효과를 종합적으로 평가하고 경제교육 연구와 실천을 위한 시사점을 도출하는 것을 목적으로 하였다. 연구대상을 선정하기 위하여 1990년부터 2018년 6월까지 국내에서 발표된 학술지와 학위논문 가운데 학술연구정보서비스, 누리미디어, 한국학술정보, 학술교육원, 교보문고 스콜라의 데이터서비스에서 경제이해력, 경제이해도, 경제사고력, 경제지식, 경제인지, 경제개념, 경제 학업성취도 등을 키워드로 하여 자료를 검색하였고 검색된 자료 중에서 실험집단과 통제집단을 설정한 실험연구와 평가도구를 사용한 논문을 기준으로 총 42편의 논문을 선정하였다. 이들 논문에서 추출한 총 42개의 효과크기 값은 메타분석 전문 프로그램인 CMA(Comprehensive Meta Analysis 2.0)를 이용하여 분석하였다. 분석결과 무선효과를 이용한 전체효과크기 값은 0.567인 것으로 나타났다. 즉 경제이해력 함양 교수학습방법을 받은 실험집단이 통제집단 보다 경제이해력이 약 21.5% 상승하는 것으로 나타났다. 또한 학교급별 분석 및 학년에 따른 메타회귀분석 결과, 초등학교에서 효과크기가 유의하게 큰 것으로 나타났다. 연구결과에 기초하여 향후 연구과제와 교수학습방법에 대한 시사점을 논의하였다. This study aims to evaluate the effects of teaching and learning methods for economic literacy using a meta-analysis and provide suggestions for future research and practice in economic education. We searched several databases including Riss, DBpia, Kiss, E-article, and Kyobo Scholar, using wide range of keyword such as economic literacy, economic recognition, economic concept, achievement from the beginning of 1990. 42 studies that included both treatment group and control group were analyzed using Comprehensive Meta-Analysis version 2.0. Overall effect size was large(g=0.567). Random effects meta-analysis showed that economic literacy of treatment group was improved about 21.5% compared with control group. Also, meta-ANOVA and meta-regression were performed. The effect size significantly increased in elementary schools. Based on these findings, suggestions for future research and teaching strategy were discussed.

Intervention meta-analysis: application and practice using R software

Sung Ryul Shim,Seong-Jang Kim 한국역학회 2019 Epidemiology and Health Vol.41 No.-

The objective of this study was to describe general approaches for intervention meta-analysis available for quantitative data synthesis using the R software. We conducted an intervention meta-analysis using two types of data, continuous and binary, characterized by mean difference and odds ratio, respectively. The package commands for the R software were “metacont”, “metabin”, and “metagen” for the overall effect size, “forest” for forest plot, “metareg” for meta-regression analysis, and “funnel” and “metabias” for the publication bias. The estimated overall effect sizes, test for heterogeneity and moderator effect, and the publication bias were reported using the R software. In particular, the authors indicated methods for calculating the effect sizes of the target studies in intervention meta-analysis. This study focused on the practical methods of intervention meta-analysis, rather than the theoretical concepts, for researchers with no major in statistics. Through this study, the authors hope that many researchers will use the R software to more readily perform the intervention meta-analysis and that this will in turn generate further related research.

Prevalence Ratio of Primary Angle-Closure and Primary Open-Angle Glaucoma in Asian Population: A Meta-Analysis and Multiple Meta-Regression Analysis

Jaekyoung Lee,Ji Sun Park,Yoon Jeong,Young In Shin,Min Gu Huh,Jin Wook Jeoung,Ki Ho Park,Young Kook Kim 대한안과학회 2024 Korean Journal of Ophthalmology Vol.38 No.1

Purpose: To investigate the prevalence ratio of primary angle-closure glaucoma (PACG) and primary open-angle glaucoma (POAG) in the Asian population. Methods: Systematic searches of PubMed, Embase, and Cochrane databases for population-based studies in Asia published until August 5, 2022. We conducted a meta-analysis for PACG to POAG prevalence ratio using inverse variance–weighted random- effects meta-analyses so as to combine the study-specific measures of association. Between-study outcome variation (i.e., heterogeneity) was quantified with the I2 statistic. The multiple meta-regression analyses were performed in order to further account for the reasons for heterogeneity. Results: Twenty studies, with a total study population of 52,522 individuals, had been conducted in 13 countries. The pooled PACG to POAG prevalence ratio was 2.204 (95% confidence interval, 1.617–3.004) with high heterogeneity (p < 0.001). In multiple meta-regression model, prevalence of POAG is the most important predictor for heterogeneity (model importance, 0.954), followed continent (0.508), and publication year (0.222). For every additional elevation of POAG prevalence (i.e., increase of 1.0%), the PACG to POAG prevalence ratio is expected to rise by 0.471. Conclusions: We estimated the pooled PACG to POAG prevalence ratio in the Asian population. The POAG prevalence is the most important factor to determine the PACG to POAG prevalence ratio.

일반가정의 아동을 대상으로 한 다문화교육 프로그램의 효과에 관한 메타분석

이정민,전경남 한국교원대학교 교육연구원 2013 敎員敎育 Vol.29 No.2

The purpose of the current meta-analytic study was to synthesize the results of studies on the effects of multicultural education program on Korean children's multicultural competences. Using the authors' own selection criteria, 36 studies were finally selected and used for the meta analysis, and 50 effect sizes were calculated from these studies. The grand mean effect sizes under the fixed-effect model and the random-effect model were 1.255 and 1.406, respectively. The magnitudes of the grand mean effect sizes indicated the overall effects of multicultural education program reported in the past studies are effective. To identify possible moderators that can explain extra variances among the individual effect sizes, a meta-regression was performed with four moderators of age level of the participating children, types of effect measures, types of research design, and the number of weeks used for the implementation of the programs. The results showed that the age level of the participating children had a statistically significant moderating effect. To examine further the moderators contributing to the distinct mean effects sizes of different age levels, two separate meta-regression analyses were conducted for each of the two age-level groups. The results of the meta-regression analyses showed that the types of effect measures had a statistically significant moderating effect both in the two groups, but the patterns and the relative magnitudes of mean effect sizes for different types of effect measures varied on the two age-level groups. Based upon the findings of the meta analysis, the effects of multicultural education programs in Korea were discussed, and some suggestions for future studies on the effects of multicultural education programs were made. 본 연구의 목적은 일반가정의 유아와 초등학생을 대상으로 하여 다문화교육 프로그램의 효과를 검증한 국내 연구의 결과를 메타분석의 방법을 이용하여 종합하는 것이다. 저자들이 정한 분석논문의 선정기준에 따라 36편의 연구를 메타분석에 사용하였으며, 이로부터 50개의 효과크기를 구하였다. 50개의 효과크기로부터 계산한 다문화교육프로그램의 효과에 대한 전체 평균효과크기는 고정효과모형의 경우 1.255, 무선효과모형의 경우 1.406으로 나타나 국내에서 수행된 다문화교육 프로그램은 전반적으로 효과적인 것으로 나타났다. 효과크기 간 이질성을 설명할 수 있는 조절변인의 효과를 검증하기 위해 연구대상의 연령, 효과변인의 유형, 연구설계의 유형, 그리고 프로그램 적용기간 등 네 개의 조절변인을 투입한 메타회귀분석을 실시하였다. 그 결과 연구대상의 연령과 효과변인의 유형이 효과크기의 분산을 유의미하게 설명하는 조절효과를 가지고 있는 것으로 나타났다. 본 메타분석의 결과를 토대로 우리나라 다문화교육 프로그램의 효과에 관한 논의와 후속연구를 위한 제언을 제시하였다.

Are the effects of blood pressure lowering treatment diminishing?: meta-regression analyses

Yoichi Sekizawa,Yoko Konishi,Moriyo Kimura 대한고혈압학회 2019 Clinical Hypertension Vol.25 No.1

Background: Previous studies have suggested that the effects of medical interventions tend to diminish over time. We investigated whether the effects of blood pressure lowering treatment on all-cause mortality and stroke have diminished over time. Methods: We conducted meta-regression analyses. We extracted the target trials from two recently published comprehensive systematic reviews and meta-analyses. Adopted variables were relative risk (RR) of all-cause mortality and stroke, trial start year, mean age, sample size, baseline systolic blood pressure (SBP), difference in attained SBP reduction between intervention groups and control groups (SBP difference), and regional dummies. We implemented single meta-regressions, in which the dependent variable was the log of RR and the explanatory variable was each of other adopted variables. We also conducted multiple meta-regressions, in which the dependent variable was the log of RR and explanatory variables were all of other adopted variables. Our variable of greatest interest was trial start year. Results: The included reviews assessed 85 trials with a total of 343,126 participants. Although trial start year was positively associated with the log of RR in the results of single meta-regressions, it lost significance in multiple meta-regressions for both allcause mortality and stroke. Conclusions: The effects of blood pressure lowering treatment on all-cause mortality and stroke have not diminished over time.

메타회귀분석을 활용한 도시공원의 비시장가치 추정

조우영,배두현,안소은,Hong Sok(Brian) Kim 한국지역학회 2010 지역연구 Vol.26 No.3

The purpose of this study is to identify the key factors and estimate the non-market value of urban park using meta-regression analysis. Meta-analysis is a statistical method and useful tool to summarize the research results from independently related studies. This study used 46 estimates from 20 valuation studies on urban park and found that the type of park is the most influential factor on respondents' WTP. The parks in the neigborhood tend to have lower value whereas waterfront park appears to have highest value. The number of studies using most widely used non-market valuation methods, CVM and Conjoint Analysis, presented statistically significant results from their survey and payment vehicle for WTP. The empirical results from this study suggest that the meta-analysis is a great potential as a tool to synthesize the research results from valuation studies and provides useful information to policy makers. In order to overcome some of the shortcomings of meta-regression analysis and improve its validity and reliability, it is important to collect and produce data base on valuation studies and sufficient support to improve its quality. 본 연구의 목적은 국내에서 수행된 도시공원의 비시장가치 선행연구를 대상으로 메타회귀분석을 실시하여, 공원의 비시장가치에 영향을 미치는 요인들을 규명하고 정책적 시사점을 도출하며, 메타회귀분석의 적용 가능성을 검토하는데 있다. 메타회귀분석은 기존에 축적되어 있는 연구로부터의 정보를 추출하여 다양한 변수의 상관관계를 회귀분석으로 밝히는 기법이다. 문헌검색을 통해 도시공원의 비시장가치를 추정한 20편의 연구에서 46개의 가치 추정치가 실증분석에 사용되었다. 실증분석 결과 특정한 공원의 유형이 시민들의 지불의사에 영향을 미치고 있음을 알 수 있었다. 근린공원의 경우 여타 공원에 비하여 낮은 가치를 나타내고 있었으며, 하천의 수변공원의 가치는 높게 나타났다. 대표적인 비시장가치 평가 기법인 조건부 가치측정법과 컨조인트 분석법은 통계적으로 유의한 차이를 보이고 있었고, 설문조사 부수와 지불의사를 묻는 도구도 가치에 유의한 영향을 미치고 있음을 알 수 있었다. 본 연구의 사례분석을 통해 메타회귀분석은 선행연구 결과를 종합하고 관련 정책을 수립하는데 유용한 정보를 제공할 수 있는 분석의 틀로써 충분한 활용 가능성을 갖고 있는 것으로 판단된다. 다만, 메타회귀분석이 분명한 한계를 갖고 있는 만큼, 메타회귀분석의 정책에 대한 유효성과 신뢰성을 높이기 위하여 관련연구의 DB 구축, 개별연구의질 향상을 위한 노력 등이 뒷받침되어야 할 것이다.

오즈비를 이용한 메타분석에 관한 연구

강민수,안홍엽 한국자료분석학회 2010 Journal of the Korean Data Analysis Society Vol.12 No.1

Meta-analysis is a statistical method that summarizes outcomes of previous studies. This leads us to gain more reliable results. Because of this advantage, it has been widely used in a variety of fields. In this writing, we focus on odds ratios among lots of statistics used in meta-analysis. Adjusted odds ratios are generally presented as outcomes because they give more precise treatment effects. Accordingly, it is reasonable to offer adjusted odds ratios as the results in meta-analysis. However, there are some difficulties and limits in meta-analysis using adjusted odds ratios. Therefore, we propose a method to summarize the adjusted odds ratios in meta-analysis. As the result, we are able to report the results of meta-analysis as adjusted odds ratios. 메타분석(meta-analysis)은 개별 논문의 연구결과를 통계적으로 통합하여 일반적이고 종합적인 결론을 얻고자 시행하는 분석 방법이다. 메타분석은 신뢰할 수 있는 결과를 제공하기 때문에 많은 분야에서 이용되고 있다. 메타분석의 대상이 되는 통계량은 평균, 상관계수, 오즈비 등 여러 가지가 있다. 오즈비(odds ratio: OR)를 이용하여 메타분석을 하기 위해 개별 논문을 살펴보면 일반적으로 adjusted 오즈비가 연구결과로써 제시되고 있음을 알 수 있다. Adjusted 오즈비는 연구자의 관심변수와 이에 영향을 줄 수 있는 변수들을 사용한 로지스틱 회귀모형(logistic regression model)에 의해 추출되는 통계량이다. 따라서 adjusted 오즈비를 통해서 보다 더 정확한 치료효과를 나타낼 수 있다. 또한 이는 adjusted 오즈비를 사용하여 메타분석의 결과를 제시하는 것이 합리적임을 말해 준다. 하지만 adjusted 오즈비를 이용하여 메타분석을 하는 데에는 많은 어려움과 한계가 있다. 따라서 본 연구에서는 adjusted 오즈비를 이용한 메타분석 방법에 대해 모색하여 보고 이를 실증 예에 적용하도록 한다. 그 결과 adjusted 오즈비로써 메타분석 결과를 제시할 수 있었다.