평정자간의 엄격성 차이정도가 피험자 총점산출 방법에 미치는 영향

설현수(Hyunsoo Seol) 한국교육평가학회 2010 교육평가연구 Vol.23 No.1

본 연구는 평정자에 의한 피험자 평정과정에서 평정자간의 엄격성에 따른 차이를 반영해서 생성된 모의자료를 가지고 3가지 총점산출 방법(단순총점, 표준점수, Facet점수)에 의한 피험자의 능력추정치를 산출한 다음에 모의 합격률에 따른 3가지 총점산출방법 간의 피험자 등위 일치도를 비교하였다. 모의자료는 8명의 평정자가 2개의 문항을 평정하는 상황을 설정하고, 1000명의 피험자 점수를 평균 0, 표준편차 1의 정규분포 형태로 발생 시켜서 4개의 집단에 무선 배치하였다. 다음으로 평정자의 엄격성에 변화를 주기 위해서 5가지 상황(무선적인 엄격성, 엄격성 동일, 엄격성이 낮을 경우, 엄격성이 높을 경우, 엄격성의 범위가 넓을 경우)을 가정한 다음에 그에 해당하는 모의자료를 생성하였다. 마지막으로 모의 합격률을 상위 10%, 20%, 30%로 설정한 다음에 평정자의 엄격성에 따라서 설정한 5가지 상황에서 3가지 총점산출 방법 간의 합격등위 일치도를 분석하였다. 분석결과 원점수와 표준점수 보정방식의 일치율은 평정자간의 엄격성과는 상관없이 거의 변하지 않은 일정한 패턴을 보이고 있는 것으로 나타났지만, 평정자의 엄격성 분포가 크면 클수록 원점수와 Facet점수간의 일치율은 급격하게 낮아지고 있는 것으로 나타났다. 다음으로 이러한 결과가 실제 평정상황에 미치는 영향에 대한 측정학적 논의를 전개하였다. This study investigated the difference between person's raw score and score adjustments using standardized score and facet score under the different conditions of rater's severity. To demonstrate how various rater severity manifest themselves in this analyses, data were simulated to represent five types of rater severity: (1) no effect (2) random (3) leniency (4) harshness (5) wide spread of rater severity. Data generation was performed using WinGen and Facet computer program. The results showed that the agreement between person's raw score and standardized score was high regardless of rater severity conditions. On the other hand, as the magnitude of the rater severity increases, the agreement of raw scores and facet score was dramatically low. The reasons for the results were discussed and suggestions were made for future studies

국어교사들의 쓰기 평가에서 나타난 엄격성 및 일관성 차이 분석: 논술 평가를 중심으로

정다운 한국교육과정평가원 2022 교육과정평가연구 Vol.25 No.3

이 연구는 현직 국어 교사 52명을 논술 평가자로 위촉하여 채점하게 한 후 나타난 결과를 바탕으로 엄격성 및 일관성을 분석하는 데 목적이 있다. 이 연구에서 확인된 결과는 다음과 같다. 첫째, 국어 교사 들의 엄격성과 일관성의 양상을 분석한 결과, 적합한 평가자 22명(42.31%), 부적합 평가자 11명 (21.15%), 과적합 평가자 19명(36.54%)로 나타났다. 둘째, 국어 교사들의 엄격성을 분석한 결과, 평가 자의 특성을 반영한 국면에 따라 차이를 보였다. 구체적으로 성별, 경력, 평가 요인에 따른 엄격성은 통 계적으로 유의한 차이를 보였으나 평가 방법에 따른 엄격성은 통계적으로 유의한 차이가 확인되지 않 았다. 성별에 따른 엄격성은 여교사가 남교사보다 엄격하게 평가하는 것으로 나타났다. 경력에 따른 엄 격성은 1년 이상 5년 미만의 경력을 가진 집단이 가장 엄격하게 평가하는 것으로 확인되었다. 평가 요 인에서는 형식 및 어법 요인에서 가장 엄격하게 평가하는 것으로 나타났다. 반면 평가 방법에 따른 엄격 성은 오류 분석형, 사고논술형, 키워드 제시형의 평가 방법을 사용하는 집단이 동일한 엄격성으로 무표 형의 평가 방법을 사용하는 집단에 비해 엄격하게 평가하는 것으로 확인되었다. 셋째, 국어 교사들의 일 관성을 분석한 결과, 판별 기준에 따라 차이가 나타났다. 내적합 지수를 기준으로 할 때 성별, 경력, 평 가 방법, 평가 요인의 모든 국면에서 적합한 수준을 유지하는 것으로 나타났으나 내적합 표준화 값을 기 준으로 할 때 국면 및 하위 요인에 따라 다양한 일관성의 양상이 나타났다. 이러한 결과를 바탕으로 할 때 논술 평가에서도 국어 교사들의 쓰기 평가 전문성을 높이는 방안이 필요할 것으로 보인다. The purpose of this study is to analyze the rating severity and rating consistence based on the results obtained after appointing 52 incumbent Korean language teachers as essay evaluators and scoring them. The results confirmed in this study are as follows. First, as a result of analyzing the rating consistence of the strictness of Korean language teachers, there were 22 (42.31%) suitable evaluators, 11 non-conforming evaluators (21.15%), and 19 (36.54%) overfit evaluators. Second, as a result of analyzing the strictness of the Korean language teachers, there was a difference according to the phase in which the characteristics of the evaluator were reflected. Specifically, there was a statistically significant difference in rating severity according to gender, career, and assessment factors, but no statistically significant difference was found in rating severity according to assessment method. Strictness according to gender was found to be evaluated more strictly by female teachers than by male teachers. It was confirmed that the rating severity according to experience was evaluated most strictly by the group with more than 1 year and less than 5 years of experience. In the assessment factors, it was found that the formal and usage factors were evaluated most strictly. On the other hand, it was confirmed that the group using the error analysis type, thinking essay type, and keyword presentation type assessment method evaluated the severity according to the assessment method more rating severityously than the group using the non-formal assessment method with the same severity. Third, as a result of analyzing the rating consistence of Korean language teachers, there were differences according to the discrimination criteria. Based on the intrinsic fit index, it was found to maintain an appropriate level in all aspects of gender, career, assessment method, and assessment factors. However, based on the standardized values of the internal fit, various patterns of rating consistence were observed according to phases and sub-factors. Based on these results, it seems that it is necessary to increase the professionalism of Korean language teachers in writing assessment in essay assessment.

FTA 원산지 규정의 엄격성이 수출입에 미치는 영향

손용정 한국무역금융보험학회(구 한국무역보험학회) 2017 무역금융보험연구 Vol.18 No.3

본 연구는 José Anson et. al.(2005)의 연구모형을 바탕으로 FTA 원산지규정의 엄격성이 수출과 수입에 미치는 영향의 정도를 분석하였다. 분석결과는 먼저 원산지규정의 엄격성이 수출에 어떤 영향을 주는지를 살펴보면, Pooled OLS 결과는 GDP의 수출에 대한 추정계수는 0.617, 원산지규정의 엄격성이 수출에 대한 추정계수는 3.496으로 양의 값을 나타내며, Random Effect 결과는 GDP(0.671)만 수출에 정의 영향을 주는 설명변수이다. System GMM 추정 결과는 GDP의 수출에 대한 추정계수는 0.814로 나타났고, 원산지규정의 엄격성이 수출에 대한 추정계수는 10.28로 양의 값을 나타냈다. 다음으로 원산지규정의 엄격성이 수입에 어떤 영향을 주는지를 살펴보면, Pooled OLS 결과는 GDP의 수입에 대한 추정계수는 0.596으로 양의 값을 나타내고, Random Effect 결과는 GDP(0.657)만 수출에 정의 영향을 주는 설명변수이다. System GMM방식으로 추정한 결과는 GDP의 수출에 대한 추정계수는 0.865로 나타났다. This study analysed the degree of the effects restrictiveness in FTA rules of origin had on export and import based on the research model developed by José Anson et. al.(2005). The results are presented as follows: The result of Pooled OLS showed that the estimated coefficient of GDP on export was 0.617, that of the effect of restrictiveness in rules of origin on export was 3.496, which was positive. In respect to Random Effect, only GDP(0.671) was an explanatory variable that had a positive effect on export. The estimated results of System GMM showed that the estimated coefficient of GDP on export was 0.814 and that of restrictiveness in the rules of origin on export was 10.28, which was positive. Then, in respect to the effect of restrictiveness in rules of origin on import, the result of Pooled OLS showed that the estimated coefficient of GDP on import was 0.596, which was positive. The results of Random Effect showed that only GDP(0.657) was an explanatory variable that has a positive effect on export. The result of System GMM showed that the estimated coefficient of GDP on export was 0.865.

논술고사의 신뢰성에 영향을 미치는 채점자 특성 분석

지은림(Chi Eunlim) 한국교육평가학회 2008 교육평가연구 Vol.21 No.2

  본 연구는 논술고사의 신뢰성에 채점자의 엄격성과 전문성이 미치는 영향을 알아보기 위해 다국면 라쉬 모형을 적용하여 대입 모의 논술고사를 분석하였다. 2회 실시된 동형의 논술고사에 참여한 피험자는 각각 647명과 873명이었으며, 채점은 동일한 10명의 교수에 의해 실시되었다. 그 중 4명은 전문가이고 나머지 6명은 비전문가에 속한다. 채점자 엄격성에 대한 분리신뢰도지수를 조사해본 결과는 채점자간에 유의미한 엄격성 차이가 존재한다는 것을 보여주었다. 그러나 전문가와 비전문가를 비교해볼 때, 전문가는 채점자간 엄격성 차이는 낮은 반면, 적합도는 높은 것을 알 수 있었다. 또한 전문가 집단은 2회에 걸친 논술고사에서 엄격성과 적합성이 비전문가보다 안정성있는 것으로 나타났다. 이는 논술고사의 신뢰성을 높이기 위해서는 채점자간 엄격성 차이를 고려해야 하며, 채점자의 전문성을 높이는 것이 선행되어야 한다는 것을 의미한다.   This paper analyzes the effects of rater "severity" and "expertise" on the reliability of essay examinations by using the many facet Rasch model(FACETS model). Two different essay examinations which administered to different student groups at a university were used for this study. The two examinations included three tasks having the same format and the same scoring method. There were 647 examinees in the first essay examination and 873 in the second one. Ten raters participated in both the first and the second examination. Among them, four raters could be considered as experts and six raters as non-experts in terms of their major content and rater experience. The data were analyzed by FACETS computer program with three facets of examinee, task, and rater. The separation reliability statistics and chi-square tests produced by FACETS showed that there were significant differences between raters for severity. From the comparison between experts and non-experts, it was found that experts tended to have better fits than non-experts. This means that experts can have higher intra-rater reliability. In addition, it was also disclosed that experts were more stable for severity and infit over two administrations. All these results suggest that the factors of rater severity and rater expertise should be seriously considered for the reliability of essay scoring. Especially, it should be recognized that rater severity can be influenced by rater expertise. This implies that rater trainings are required to improve the reliability of essay scoring.

한국 사회복지학에서의 질적 연구 경험에 관한 연구

김미옥(Kim Mi-Ok) 한국사회복지학회 2007 한국사회복지학 Vol.59 No.4

본 연구는 한국 사회복지학에서의 엄격성과 관련된 질적 연구자의 경험을 심층 분석하여 향후 과제를 논의하고자 한 것이다. 이를 위해 질적 연구방법으로 학위논문을 쓰거나 학술지에 질적 연구를 활발히 발표하고 있는 질적 연구자 9명을 연구참여자로 선정하여 개별 및 포커스그룹인터뷰를 실시하였다. 또한 연구결과보고에 엄격성이 어떠한 형태로 글쓰기 되는지를 보고자 사회복지학관련 주요학술지 8종에 개재된 2,112편의 논문을 내용 분석하여 질적 인터뷰 결과 분석을 보완하였다. 연구 결과, 한국사회복지학에서의 질적 연구는 국내에서 학위를 받은 학문 후속세대에 의해 ‘필요에 의해 확산’되는 독특한 형태로 아래로부터 위로 나아가는 정향을 보여주었다. 또한 인식론적 입장으로는 후기실증주의적 관점과 약한 구성주의적 관점이 혼재되어 있는 것으로 나타났다. 엄격성과 관련해서는 연구시작부터 결과보고에 이르는 전 과정에서 연구자의 책임성을 바탕으로, 진실하고 기본에 충실하게 하는 것을 강조하였다. 이러한 결과를 바탕으로 현재 한국 사회복지학문공동체가 지향해야 할 주요 과제들을 제시하였다. 이를 통해 한국사회복지질적연구의 엄격성에 대한 담론이 활성화되어, 보다 질(Quality) 높은 연구결과가 산출되기를 기대한다. This study explores actual conditions and experiences on the rigor of social welfare qualitative researchers in Korea by using a qualitative inquiry. To examine the actual conditions on the rigor, this study analyzes 2,112 articles published in 8 Korean social work journals from 1979 to 2006. And to explores the experiences of social welfare qualitative researcher on the rigor, this study analyzes the experiences of qualitative research by using individual interviews and focus group interviews. The characteristics of social welfare qualitative research in Korea tend to enlarge according to the needs by doctoral candidates, coexist with post-positivism and constructivism. The analysis of both quantitative and qualitative results show that the rigor of social welfare qualitative research is very important to secure the validity and control the quality of qualitative research. Based on these results, this study introduced concrete tasks related to secure the rigor of social welfare qualitative research in Korea.

예비국어교사의 중학생 설명문 평가 특성 및 일관성 변화 양상 분석

백유진(Baek Yujin),박영민(Park Youngmin) 학습자중심교과교육학회 2021 학습자중심교과교육연구 Vol.21 No.4

이 연구의 목적은 예비국어교사의 중학생 설명문 평가 특성 및 일관성 변화 양상을 분석해 교원 양성 과정에서의 평가자 교육 방안을 제시하는 것이다. 이를 위해 이 연구에서는 2015년, 2016년, 2017년, 2019년에 예비국어교사 133명의 평가 결과를 수집하여 평가자의 엄격성 및 일관성, 설명문의 화제에 따른 엄격성 및 일관성, 평가 분량 증가에 따른 일관성 변화 양상에 대해 분석하였다. 이 연구의 결과는 다음과 같다. 첫째, 예비국어교사들의 엄격성 간 차이는 유의했다. 둘째, 예비국어교사들의 약 1/3은 과적합이나 부적합의 문제를 보였다. 셋째, 설명문의 화제에 따른 예비국어교사들의 엄격성 차이는 유의하지 않았다. 넷째, 예비국어교사들의 약 1/2은 평가 분량이 증가함에 따라 엄격성을 일관성 있게 유지하지 못하는 문제를 보였다. 이 결과를 바탕으로 예비국어교사의 평가 전문성을 신장시키기 위한 평가자 교육 방안에 대해 제시하였다. The purpose of this study is to analyze the assessment characteristics and the change pattern of consistency in assessing expository writing of middle school students and suggest ways to educate rater in the course of teacher training. For this, the study collected the evaluation results of 133 pr-service Korean language teachers over a four-year period and analyzed the rater s severity and consistency, the severity and consistency according to topic of expository writing, and the change pattern of consistency according to the increase in the number of writings. The results of this study are as follows. First, the difference between the severity of pre-service Korean language teachers was significant. Second, about one-third of pre-service Korean language teachers showed problems of overfit or misfit. Third, the difference in the severity of pre-service Korean language teachers according to topic of the expository writing was not significant. Fourth, About a half of the pre-service Korean language teachers showed a problem of not maintaining consistency according to increasing in the number of writings. Based on these results, ways to enhance assessment expertise of pre-service Korean language teachers in teacher training course was proposed.

자유무역협정(FTA)의 원산지규정(rules of origin) 엄격성 결정요인: 대기업과 중소기업의 선호를 중심으로

박세인,김동훈 고려대학교 일민국제관계연구원 2024 국제관계연구 Vol.29 No.1

왜 FTA 간 원산지규정의 엄격성은 차이가 있는 것인가? 본 논문은 원산지규정의 엄격성이 FTA의 혜택을 누릴 수 있는 기업과 없는 기업을 구분하는 국내적 분배적 효과가 존재한다는 점 에 주목하여, FTA 협정 당사국 시장의 성격, 특히 대기업 중심의 시장구조를 가진 국가 간의 FTA 원산지규정의 엄격성이 높다는 가설을 실증적으로 분석하였다. 실증적 분석에서는 독립 변수로서 시장진입비용과 수출집중도를 대리변수로 사용하여 분석한 결과 모두 대기업 집중도 가 높아질수록 FTA의 원산지규정이 엄격할 확률이 높은 것으로 나타났다. 분석 결과는 FTA가 모든 자국 기업에게 차별적인 혜택을 제공하고자 하는 그 목적과 달리 원산지규정의 복잡성· 엄격성으로 인하여 그 혜택은 일부의 국내기업에만 제공되고 있음을 시사한다. Why do Free Trade Agreements differ in the restrictiveness of their rules of origin? By paying attention to the fact that rules of origin have domestic distributional implications which benefit large firms, we argue that FTAs between countries with markets dominated by large firms have stringent rules of origin. Empirical analysis shows that FTAs between countries with high levels of market concentration and high market entry costs tend to have stringent rules of origin.

중학생 논설문 평가에 나타난 예비국어교사의 평가 특성 분석

백유진(Baek Yujin),박영민(Park Youngmin) 학습자중심교과교육학회 2021 학습자중심교과교육연구 Vol.21 No.1

이 연구의 목적은 예비국어교사들이 중학생 논설문을 평가할 때 보이는 평가 특성을 분석하고, 이를 바탕으로 예비국어교사의 평가 전문성 신장 방안을 논의하는 데 있다. 이를 위해 이 연구에서는 2015년, 2016년, 2017년, 2019년에 국내 대학에 재학 중이었던 예비국어교사 133명의 논설문 평가 결과를 분석하여 이들의 엄격성, 일관성, 평가 기준 활용 양상, 평가 척도 활용 양상에 대해 알아보았다. 이 연구를 통해 얻은 결과는 다음과 같다. 첫째, 예비국어교사들의 엄격성 수준은 유의한 차이가 있었고, 예비국어교사들 중 1/3 이상이 자신의 엄격성 수준을 적합하게 유지하지 못하는 문제를 보였다. 둘째, 성별에 따른 예비국어교사들의 엄격성 차이는 유의하지 않았지만, ‘필자의 입장’에 따른 엄격성은 유의한 차이가 있었다. 셋째, 예비국어교사들의 평가 기준 활용 양상을 분석한 결과 ‘형식 및 어법’을 엄격하게 평가하는 경향이 나타났다. 넷째, 예비국어교사들의 평가 척도 활용 양상을 분석한 결과 평가 척도의 등간을 유지하지 못하는 문제, 중앙집중경향화의 문제가 나타났다. 이러한 결과를 바탕으로 교원 양성 과정에서의 평가자 교육 방안을 제시하였다. The purpose of this study is to discuss ways to enhance the assessment expertise of pre-service korean language teachers by analyzing the assessment characteristics in assessing persuasive writings of middle school students. For this purpose, this study analyzed the assessment result of 133 pre-service korean language teachers who were attending university in 2015, 2016, 2017 and 2019 to find out the severity, consistency, difficulty level of criteria, and utilization of scales. The conclusions obtained from this study were as follows: First, the severity level of the pre-service korean language teachers differed significantly, and more than one-third of the pre-service korean language teachers showed problems of not keeping their severity level consistently. Second, the difference in the severity of pre-service korean language teachers by gender was not significant, but the difference in the severity by stance of writer was significant. Third, an analysis of difficulty level of criteria by pre-service korean language teachers showed that there was a common tendency to assess severly “form and grammar. Fourth, an analysis of the utilization of scale by pre-service korean language teachers showed that problems of not maintaining the same interval of scoring scale and problems of central tendency were common. Based on these results, ways to enhance assessment expertise in teacher training course was proposed.

한국 FTA 원산지규정의 엄격성에 관한 연구

손용정 한국무역금융보험학회(구 한국무역보험학회) 2015 무역금융보험연구 Vol.16 No.2

본 연구의 목적은 국내외 FTA 원산지규정 연구결과를 종합하고, 이미 체결한 FTA에서의 품목별 원산지규정의 엄격성에 대해 분석하여, 향후 체결될 FTA의 원산지 규정에 대한 참고자료를제시하고자 한다. 한국이 체결한 9개의 FTA 중에서 본 연구에서는 페루, 터키와 체결한 FTA를 중심으로 분석하였고, 나머지 7개의 FTA에 대해서는 국내 기존연구의 분석결과를 인용하였다. 페루, 터키와 체결한 FTA 그리고 기존연구에서 제시한 7개의 FTA에서 원산지기준의 엄격성은 4-5정도를 보이고있다. 한․인도 CEPA가 4.07로 원산지기준이 가장 엄격한 FTA로 그리고 한․터키 FTA가 5.04 로 원산지기준이 덜 엄격한 것으로 분석되었다. 현재까지 체결한 FTA중 가장 느슨한 원산지규정을적용한 것으로 보이는 한․터키 FTA는 WO, RM, TECH 기준이 적용되는 품목이 상대적으로많아졌기 때문으로 보인다. The aim of this study is to analyse the strictness of the rules of origin for each product based on the results of previous studies on national and international FTA rules of origin, and present reference data on the rules of origin for FTAs to be concluded in the future. Of nine FTAs concluded in Korea, this study gave focus on the FTAs with Peru and Turkey and cited the results of previous studies for the remaining seven FTAs. The strictness level in the FTAs concluded with Peru and Turkey, and the seven FTAs presented in previous studies was between 4 and 5. The Strictness level for the CEPA between Korea and India was 4.07, which has the most strict FTA rules while the strictness level in the Korea Tureky FTA was 5.04, which was the least strict. Rules of origin in the Korea Turkey FTA of the FTAs which have been concluded so far were least strict because products for which WO, RM and TECH standards were applied increased relatively.

한국 FTA 원산지규정의 엄격성에 관한 연구

손용정 한국무역금융보험학회(구 한국무역보험학회) 2015 무역금융보험연구 Vol.16 No.1

본 연구의 목적은 국내외 FTA 원산지규정 연구결과를 종합하고, 이미 체결한 FTA에서의 품목별 원산지규정의 엄격성에 대해 분석하여, 향후 체결될 FTA의 원산지 규정에 대한 참고자료를제시하고자 한다. 한국이 체결한 9개의 FTA 중에서 본 연구에서는 페루, 터키와 체결한 FTA를 중심으로 분석하였고, 나머지 7개의 FTA에 대해서는 국내 기존연구의 분석결과를 인용하였다. 페루, 터키와 체결한 FTA 그리고 기존연구에서 제시한 7개의 FTA에서 원산지기준의 엄격성은 4-5정도를 보이고있다. 한․인도 CEPA가 4.07로 원산지기준이 가장 엄격한 FTA로 그리고 한․터키 FTA가 5.04 로 원산지기준이 덜 엄격한 것으로 분석되었다. 현재까지 체결한 FTA중 가장 느슨한 원산지규정을적용한 것으로 보이는 한․터키 FTA는 WO, RM, TECH 기준이 적용되는 품목이 상대적으로많아졌기 때문으로 보인다. The aim of this study is to analyse the strictness of the rules of origin for each product based on the results of previous studies on national and international FTA rules of origin, and present reference data on the rules of origin for FTAs to be concluded in the future. Of nine FTAs concluded in Korea, this study gave focus on the FTAs with Peru and Turkey and cited the results of previous studies for the remaining seven FTAs. The strictness level in the FTAs concluded with Peru and Turkey, and the seven FTAs presented in previous studies was between 4 and 5. The Strictness level for the CEPA between Korea and India was 4.07, which has the most strict FTA rules while the strictness level in the Korea Tureky FTA was 5.04, which was the least strict. Rules of origin in the Korea Turkey FTA of the FTAs which have been concluded so far were least strict because products for which WO, RM and TECH standards were applied increased relatively.