북마크 기준설정 방법에서 반응 확률 .67에 대응하는 능력추정치를 구하기 위한 Bifactor IRT와 Testlet IRT모형의 활용

반재천,김선 한국교육평가학회 2017 교육평가연구 Vol.30 No.4

One of the methods to use the testlet IRT model and the bifactor IRT model for the Bookmark standard setting is to marginalize the testlet IRT model (mTIRT) and the bifactor IRT model (mBIRT) by integrating out the testlet effects so that the mIRT and the mBIRT model have the form of the unidimensional IRT model. The purpose of this study is to compare the bookmark difficulty locations (BDLs) corresponding to the response probability (RP) of .67 using the mTIRT, mBIRT, and the two parameter logistic IRT (2PL IRT) model under the various conditions of test difficulties (low, middle, and high) and testlet effects (0.3, 0.5, 0.7, 0.9). For simulation studies, item parameters and item responses under the conditions considered were generated and the BDLs of the three IRT models were computed and compared. The results showed that the correlation coefficient of at least .987 among the BDLs of the three models were obtained. The average absolute differences among the BDLs of the models were up to about |0.1| which was not large. The differences among the BDLs were greater as the testlet effect was larger and the test difficulty level was higher. When the bookmark was set to each of the ordered item booklet, the differences of BDLs were greater as the testlet effect was larger. Testlet IRT모형과 Bifactor IRT모형을 북마크 기준설정에 활용하기 위해 이들 모형을 일차원 IRT모형과 같은 형태로 변환할 수 있다. 주변화된 Testlet IRT모형(mTIRT)과 주변화된 Bifactor IRT모형(mBIRT)은 단위검사효과를 적분하여 주변화(marginalize)함으로써 일차원 로지스틱 IRT모형과 같은 형태로 변환한 것이다. 본 연구의 목적은 mTIRT모형, mBIRT모형, 2모수 로지스틱 IRT모형을 이용하여 반응 확률(RP)=.67에 대응하는 능력추정치(Bookmark difficulty location: BDL)를 구했을 때, 단위검사효과와 검사난이도에 따라 세 IRT모형의 BDL간에 차이가 있는지를 알아보는 데 있다. 모의실험을 위해 검사난이도와 단위검사효과 크기를 달리하여 문항모수 및 문항반응을 무선 생성하여 세 모형에 의한 BDL을 구했다. 연구결과 첫째, 세 모형의 BDL간 상관은 본 연구조건에서 최소 .987로 높았다. 그렇지만 단위검사효과가 클수록 BDL간 상관계수 평균은 점차 낮아졌다. 둘째, BDL간 차이 절댓값은 최대 약 |0.1|만큼으로 세 모형간 BDL이 유사했다. 그렇지만 단위검사효과가 크고 난이도가 어려운 검사일수록 BDL간 차이가 커졌다. 셋째, 순서화된 문항집의 각 페이지에 최종 기준이 설정되었을 때 단위검사효과가 클수록 세 모형간 BDL차이도 커지는 경향이 있었다.

스포츠 부상 트라우마자를 위한 손상회상기법(IRT) 적용 가능성 탐색

김동건(Dong-Geon KIM),신재한(Jae-Han SHIN) 한국상담심리교육복지학회 2021 상담심리교육복지 Vol.8 No.2

본 연구는 스포츠 부상으로부터 재활하고자 하는 스포츠 선수들의 트라우마와 연관된 암묵기억을 효과적으로 제거할 수 있는 손상회상기법을 현장에 적용하기 위한 탐색적 연구의 목적이 있다. 이에 문헌 분석을 토대로 스포츠 부상 트라우마자의 특징과 치료적 한계, 손상회상기법의 발전 과정과 개념 및 특징에 대한 이론적 연구 과정을 통해 연구의 당위성과 필요성을 탐색하였다. 나아가 스포츠 부상 트라우마자를 위한 손상회상기법의 원리와 작용기전을 학술적으로 해석하고, 손상회상기법의 구체적인 적용방법을 제시하였다. 이를 바탕으로 스포츠 부상 트라우마 치료환경의 한계점과 스포츠 부상과 연관된 암묵기억에 대한 치료의 중요성 및 손상회상기법의 적용의 필요성에 대해 논의하였다. 이에 손상회상기법은 부상선수들의 트라우마 극복과 재발의 위험성을 줄이는 데 기여할 수 있는 효율적인 기법으로 평가하며 향후 후속연구와 프로그램 개발을 위한 기초자료로 활용될 것을 기대한다. The purpose of this study was to apply the Injury Recall Technique(IRT) to the field, which can effectively remove the situationally accessible memories associated with the trauma of sports players seeking rehabilitation from sports injuries. Therefore, based on the literature analysis, the legitimacy and necessity of the study were explored through the theoretical research process on the characteristics and therapeutic limitations of sports injury post-traumatic stress of athletes, and the development process, concept, and characteristics of the IRT. Based on this, the limitations of the trauma treatment environment for sport injury post-traumatic stress, the importance of treatment for situationally accessible memories related to sports injuries, and the necessity of applying the IRT were discussed. Therefore, the IRT is evaluated as an effective technique that can contribute to overcoming trauma and reducing the risk of recurrence of sports injury post-traumatic Stress of Athletes, and is expected to be used as basic data for further research and program development in the future.

소석회 첨가에 따른 투수성 아스팔트 혼합물의 성능 평가

문성호,김도완,전은비,이상염,윤태섭 한국방재학회 2014 한국방재학회논문집 Vol.14 No.6

The objective of this paper is to investigate the properties for permeability and dynamic resistance of the porous asphalt mixtureswhich consist of either liquefied lime or powder lime and is to conduct Impact Resonance Test (IRT) and Impact Hammer ResonanceTest (IHRT) to proof the public trust in the point of civil engineering. For the performance of permeability, Constant Head PermeabilityTest based on Korean Industrial Standards of KS F 2322 was utilized for deducting the permeability coefficients of Hydratedlimeporous asphalt specimens. Non-destructive impact tests were conducted for the dynamic moduli. The resonance frequencies ofmixtures can be obtained from the frequency analysis for high frequency impact. From the comparison of the resonance frequenciesand the dynamic moduli obtained from IRT and IHRT, Root Mean Squared Error (RMSE) values of dynamic moduli obtained fromIHRT indicated the maximum value of 1.16 GPa comparing to the results of IRT. The result of error analysis between IRT and IHRTresults has Mean Absolute Percentage Error (MAPE) which was under 8%. To figure out the effect of additives, compared eachporous asphalt mixture by using the result of constant head permeability test and dynamic moduli. 본 논문의 목적은 액상형 소석회와 분말형 소석회를 첨가한 아스팔트 혼합물의 투수성능과 동적 저항 성능을 평가하는 것이다. 또한동적 저항 성능을 파악하기 위한 비파괴충격파 시험의 공신력을 입증하기 위해 IRT 및 IHRT를 수행하였다. 아스팔트 혼합물의 투수성능을 파악하기 위해 한국산업 규격 KS F 2322에 의거한 정수위 투수 시험을 실시하였다. 동적 저항 성능 능력 평가를 위하여 비파괴 충격 시험을 수행하였으며, 혼합물의 공진 주파수를 측정하여 IRT와 IHRT에서 얻은 동탄성계수를 비교하였다. 그 결과 IRT시험과IHRT시험 결과가 최대 1.16 GPa의 RMSE와 8% 이내의 MAPE 내에 있다는 것을 확인하였다. 첨가제의 영향을 파악하기 위하여 각아스팔트 혼합물의 동탄성계수 결과와 정수위 투수 시험 결과를 비교 분석하였다.

The Effect of IRT Scale Transformation Procedures on Equating

HeeKyoung Kim(김희경),Won-Chan Lee(이원찬),Seonghoon Kim(김성훈) 한국교육평가학회 2007 교육평가연구 Vol.20 No.3

  IRT를 이용한 검사동등화에서는 동등화가 이루어지기 전에 동등화에 쓰여 지는 동형검사들의 문항모수들이 같은 능력척도에 놓여야만 한다. 능력척도를 변환시켜주는 여러 방법들이 존재하지만, 어떤 방법이 가장 정확하게 척도변환을 이루며, 결과적으로 가장 오차가 작은 동등화를 성취하는지 다양한 조건아래 검사해 보아야한다. 이 연구는 시뮬레이션을 통하여 서로 다른 사례수와 문항 개수를 가진 데이터를 생성한 후 5가지 척도변환방법을 비교하였다. 5가지 방법에는 동형검사들의 문항모수를 개별적으로 추정(separate estimation) 한 후 mean/mean, mean/sigma, Haebara 및 Stocking-Lord 방법을 사용하여 능력척도를 변경시키는 절차와 동형검사들의 문항모수를 동시추정(concurrent estimation)함으로써 자동적으로 척도변환을 이루는 절차가 포함되었다. 연구결과, 일반적으로는 척도변환을 잘 성취한 방법이 동등화도 정확하게 이루어내는 경향이 있었지만, 예외적인 경우도 발생하였다. 척도변환방법들은 사례수, 문항 개수, 그룹 간 능력 차이에 따라 다른 성취도를 보였다.   Application of IRT often requires that the item parameter estimates for test forms administered to different groups in different time should be placed on a common ability scale. There are many possible procedures for obtaining an IRT common scale. This study aims to provide measurement practitioners with guidance in selecting a procedure that is most suitable to their particular situations. This study implemented a series of simulations under a random groups equating design to compare the performance of five scale transformation procedures for obtaining a common scale and achieving less equating error: concurrent estimation, and four linking methods associated with separate estimation including the mean/mean, mean/sigma, Haebara, and Stocking-Lord methods. The results showed that the performance of five scale transformation procedures varied depending on sample size, test length, and level of group difference.

불완전 공통문항 조건에서 수직 척도화 결과 비교

부재율 전주교육대학교 초등교육연구원 2021 初等敎育硏究 Vol.32 No.1

실무적으로 공통문항의 개발 및 시행 조건이 완벽하게 충족되지 못하는 경우가 존재한다. 본 연구에서는 조건이 불완전하게 충족된 공통문항이 사용된 상황에서 복수의 방법을 사용하여 두 개 학년 검사 간 수직척도를 도출하고, 결과를 비교하 여, 단일 방법을 선택하는 실증적 예를 보였다. 두 개 학년 검사의 공통문항 사이에 공통성 자체는 존재하였지만 문항의 내용과 형식이불일치하였고,결과적으로공통문항에대한질관리조건이불완전함을확인 하였다.또한공통문항이피험자능력수준의차이를구분하는기능을정상적으로수 행하지 못함을 확인하였다. IRT작업수행을위한사전분석에서일차원성가정위반가능성은심각하지않았 고,진점수연계화방법이사용되었으며,Rasch모형과2PL모형이적용되었다.그리 고 척도 변환을 위해 가교고정 추정 방법이 사용되었다. 세가지방법(Tucker선형방법,RaschIRT진점수방법,2PLIRT진점수방법)을 사용하여상위학년검사점수를하위학년검사점수로수직척도화시킨결과를분 석한후,전통적방식을선호한다면Tucker선형방법을,그리고IRT에익숙하지않 은사용자가IRT방법을사용하고자할때Rasch방법을,IRT에충분히익숙한사 용자에게는 2PL방법을 권장하였다.

2015년도 국가수준 초․중학생 ICT 리터러시 검사의 성별에 따른 차별기능문항 분석

김종민(Kim Chong Min),이문수(Lee Moon soo),안성훈(Ahn Seong hun) 한국교육평가학회 2016 교육평가연구 Vol.29 No.2

본 연구의 목적은 2015년도 국가수준 초․중학생 ICT 리터러시 검사의 성별에 따른 차별기능문항을 분석하는 것이다. 연구 대상은 초등학교(300개)의 4, 5, 6학년과 중학교(300개)의 1, 2, 3학년 학생 총 33,722명이였다. Wald-2 test를 이용한 차별기능문한 분석결과, 초등학생들의 경우, 능력요소에는 ‘정보의 조직 및 창출’, ‘정보의 활용 및 관리’, ‘정보의 소통’ 영역에서 차별기능문항이 다수 발견되었으나, ‘정보의 탐색’의 4문항은 성별에 따른 유․불리가 존재하지 않았고, 내용영역에는 정보처리(문항 10)와 컴퓨터와 네트워크(문항 27, 28)의 세 문항에서 초등학생 4, 5, 6학년 공통적으로 남자에게 유리한 차별기능문항이 발견되었다. 또한 중학생들의 경우, 능력요소에는 ‘문제의 인식’, ‘정보의 분석 및 평가’, ‘정보의 조직 및 창출’, ‘정보의 소통’ 영역에서 차별기능문항이 발견되었고, 초등학생의 경우와 마찬가지로 ‘정보의 탐색’은 중학교 1학년의 문항 8을 제외하고는 남․여 학생에게 있어 특별히 유․불리가 존재하지 않았으나, 내용영역에는 정보처리(문항 3, 21, 27), 컴퓨터와 네트워크(문항 1, 7, 13), 정보사회와 윤리(문항 28)에서 중학생 1, 2, 3학년 공통적으로 남자에게 유리한 차별기능문항으로 나타났다. 그리고 Wald-2 test를 통해 선택된 가교 문항 이외의 문항들을 대상으로 Wald-1 test와 IRT LR test를 이용하여 차별기능문항 여부를 재검증한 결과, 초등학생과 중학생 모두 평가 대상 전 문항이 차별기능문항으로 판별되었고, Wald-1과 IRT LR test 두 방법에서 같은 결과를 나타냈으며, 대부분의 문항에서 IRTLR의 x² 값이 Wald-1에서보다 더 크게 나타났다. The purpose of this study was to investigate gender differential item functioning (DIF) on the national Information and Communications Technology (ICT) Literacy Tests, 2015 of elementary- and middle-school students. To that end, we analyzed the assessment scores of 33,722 students in 300 elementary schools (Grades 4-6) and middle schools (Grades 7-9). The results concerning gender DIF found by using the Wald-2 test showed many items with gender DIF on the elementary ICT Literacy Test in domains such as “Organization and creation of information,” “Utilization and management of information,” and “Communication of information,” yet no items with gender DIF in the domain of “Exploration of information.” Four items (Items 10, 24, 27, and 28) showed gender DIF across 4th-6th graders, whereas 13 items (Items 1, 3, 6, 7, 10, 13, 16, 18, 21, 25, 27, 28, and 30) showed gender DIF across 7th-9th graders. In reanalyzing items with gender DIF identified with a Wald-2 test using Wald-1 test scores and the item response theory likelihood ratio (IRT-LR), we found the same items had gender DIF. Though no differences emerged among items with gender DIF between the Wald test and IRT-LR test, the values of x2 with the IRT-LR test were higher than those with the Wald-1 test.

Empirical Evaluation of the Effect of Speededness Using IRT

HeeKyoung Kim(김희경) 한국교육평가학회 2007 교육평가연구 Vol.20 No.2

  검사가 일정수준 이상의 속도성(test speededness)을 띠게 되면 문항반응이론(item response theory)의 일차원성(unidimensionality) 가정과 지역독립성(local dependence) 가정의 위배를 초래한다. 이러한 가정들이 위배된 상황에서 문항반응이론을 적용하면 정확하지 못한 분석결과를 얻게 되고, 따라서 문항반응이론을 이용한 검사동등화 방법이나 컴퓨터 능력적응 검사의 개발 등에도 영향을 미치게 된다. 본 연구는 속도성이 문항반응이론을 이용한 데이터 분석에 실제로 어떠한 영향을 미치는지 조사하였다. 검사가 속도성을 띠는 경우 문항변별도, 문항난이도, 문항정보함수, 측정의 표준오차 등이 속도성의 영향을 받았다. 특히 낮거나 중간 능력 수준의 피험자들이 속도성으로 인해 불리한 영향을 받는 것이 드러났다. 본 연구는 속도성의 영향을 받으면 문항반응이론을 이용한 검사 분석이 전반적으로 왜곡될 수 있음을 실증적 연구를 통하여 보이고, 앞으로 속도성의 영향을 제거할 수 있는 방법을 모색해야함을 강조하였다.   Test speededness introduces local dependence and multidimensionality into the test so that the application of a unidimensional IRT model to a speeded test can result in inaccurate estimates of IRT parameters. This study empirically showed that item parameter estimates, characteristic curves, expected raw and scale scores, information functions, and conditional standard errors of measurement were affected by speededness. The findings indicated that especially the low and medium ability students were disadvantaged when the test was speeded. This study stressed the growing need for understanding and making an effort for eliminating the effect of speededness on IRT.

임상병리 시험의 IRT-CAT 실시 구축에 관한 연구

이창규(ChangKyou Lee),이승관(SeungGwan Lee),조경진(KyungJin Cho),최명재(MyungJae Choi),이국성(KookSung Lee) 고려대학교 보건과학연구소 2006 보건과학논집 Vol.32 No.1

  The license examinations for health and medical fields have been developed. the classical item analysis, however, has been used the test system and most of the tests are paper and pencil test so far. The relative difficulty of the tests depend on intellectual levels of candidates and few solutions for the changes of the relative difficulty of the test often lead to various test contingences. The IRT was a logic theory for the CAT. The data for relative difficulty, discrimination, guessing parameter were calculated by IRT and Item Banking was made from the calculated data. Through the study we have finally confirmed that the big step program has its ability to check the validities of items from preparing or scoring to item analysis.

CAT (Computer Adaptive Test)실시를 위한 IRT (Item Response Theory)분석 연구 (Ⅰ)

이창규(Chang Kyou Lee),박종성(Jong Sung Park),이은일(Eun Il Lee),이숙자(Sook Ja Lee),박은숙(Eun Sook Park),박영주(Young Joo Park) 한국의학교육학회 2001 Korean journal of medical education Vol.13 No.1

CAT를 실시하려면 IRT에 의한 출제 문제의 모수들을 계량해야만 한다. CAT에 실제 이용되는 것은 난이도이므로 이것을 중심으로 뱅킹이 되어야 한다. 빅스텝은 소문에 의한 것보다는 실질적으로 문제의 속성을 파악을 하는데 손색이 없는 것으로 나타났다. 물론 조합문제인 K형도 여러 가지 장점이 있기는 있으나 난이도와 변별도에 있어서 사려깊게 출제를 해야 하는 것은 물론이려니와 문항반응이론에 의한 문항분석을 통하여 적절한지의 여부를 꼭 계량하지 않으면 안된다. 한국의 ETS가 개발한 엔진이 출제로부터 시험, 채점, 문항분석으로 이어지는 출제된 문항의 타당성 여부를 정확하게 검색할 수 있는 능력을 확인하였다 Prior to CAT, the parameter estimation on executed items should be accomplished by IRT.and the item banking must be build up on the basis of the parameter of difficulty. A program developed by Korea ETS Inc, Bilog and Bigsteps were all found to be very powerful to understand the attributes of items. Though multiple true-false type K items have some merits, the items should be examined quantitatively if they are appropriate or not by IRT. Through the study we have finally confirmed that the new program developed by Korea ETS has its ability to check the validities of items from preparing or scoring to item analysis.

Effects of Defferent Types of Practice in Cross-Cultural Test Adaptation of Affective Measures

AhyoungKim,Eun-YoungLim 한국심리학회 2003 한국심리학회지 일반 Vol.22 No.1

이 연구는 타문화권에서 만들어진 척도를 사용하기 위해 필요한 ‘타문화 검사 번안’ 방법으로 국내에서 주로 적용하고 있는 세 가지 번안 절차, 즉, ‘번역 후 문항검토(번역본)’, ‘번역, 역번역 후 문항검토(역번역본)’, ‘번역, 역번역, 검사 타당화 검증(타당화본)’의 세 가지 절차들 간의 효과를 비교하는 것이 목적이다. 효과의 차이는 각 절차를 적용해 제작된 세 가지 검사지를 711명의 초등학교 남녀 학생들의 세 번에 걸친 반복 측정 결과를 분석함으로써 검증하였다. 구체적으로, 세 가지 척도에 대한 반응 경향성의 비교, 신뢰도, 문항-총점간 상관 패턴, 요인간 상호상관 패턴, 외적 준거변인과의 관련 경향성, IRT를 적용한 문항모수치의 특성 및 양호도 비교 등을 통해 원 척도와 번안된 척도의 동등성을 비교하였다. 전체적인 연구 결과는 타당화본이 모든 측면에서 가장 양호한 척도임을 보여주었고 역번역본이 번역본보다 구성요인에 있어서 원본과 더 유사함을 보여주었다. 본 연구의 결과는 타문화권 척도를 도입할 때 필수적으로 따라야 하는 역번역 절차와 타당화 절차의 중요성을 보여주었다. 결론적으로 국내에서 타문화권에서 제작된 검사를 도입할 때의 적법한 절차 도입의 필요성을 논의하였다. The purpose of the present study is to compare the effectiveness of three types of practice in enhancing the validity and equivalency of test instruments when cross-cultural adaptation of attitude measures is necessary. The three types of practice are: (1) translation and review; (2) translation, back translation, and review; (3) translation, back translation, review, and empirical validation study. Seven hundred and thirty four 5th graders from three public elementary schools in Seoul, Korea participated in this study. Reponses on the three test versions and two other motivation scales were collected within a 3-week period with approximately one-week intervals. Overall results show that the validation version is most superior in all aspects. Furthermore, back translation version is superior to the translation version in terms of its similarity to the validation version and construct-related evidence. Results from IRT analysis reveal that the item qualities of the validation version is superior to the other two versions. Discussions are provided in terms of the nature of the adapted attitude scales.