한국어 말하기 평가 개발 모형 및 시험타당도 검사 절차

김정태 한국언어문화교육학회 2008 언어와 문화 Vol.4 No.3

This study aims to introduce a test development model to develop a Korean speaking test and validation procedure on it. There is a little published work on Korean speaking test development and validation on them. Therefore, this study attempts to initiate a discussion about it. To measure the Korean speaking proficiency of foreign learners of Korean, language testers need to consider a appropriate development model as a initial step in validation procedure because validation process on a test includes validity evidence gathering from the beginning of test development to the end (Fulcher, 2005; Kim, 2006). Based on the test development models of Bachman and Palmer(1996), Davidson and Lynch (2002), and Kim (2006), the study shows the feasibility of adopting the ADDIE model from the field of instructional technology into Korean language test development. ADDIE stands for (need) analysis, design, development, implementation, and evaluation. In each phase, the study describes features to consider for the development of a Korean speaking test. In the needs analysis phase, language testers collect information on Korean language tests by reverse-engineering test items, where reverse-engineering means test specification writing for a test. In the design and development phases, language testers plan test development procedures, and design and develop test items, test sets, and its administration. In the implementation phase, a test is administered as pilot or a main test. Finally, in the evaluation phase, validation is carried out by using all the information gathered from the previous phases. The information includes validity arguments, test results and their quantitative analysis, and rater training procedures. The test development process is not linear, but also iterative and cyclical. (Pai Chai University)

원개발자 부재에 따른 원시코드 기반의 단위테스트 노력 분석

윤회진(Hoijin Yoon) 한국IT서비스학회 2012 한국IT서비스학회지 Vol.11 No.4

Unit testing is one of the test levels, which tests an individual unit or a group of related units. Recently, in Agile Development or Safety-critical System Development, the unit testing plays an important role for the qualities. According to the definition of unit testing, it is supposed to be done by the developers of units. That is because test models for the unit testing refers to the structure of units, and others but its original developers hardly can understand the structures. However, in practice, unit testing is often asked to be done without the original developers. For example, it is when faults are revealed in customer sites and the development team does not exit any more. In this case, instead of original developers, other developers or test engineers take a product and test it. The unit testing done by a non-developer, who is not the original developer, would cause some difficulties or cause more cost. In this paper, we tests an open source, JTopas, as a non-developer, with building test models, implementing test codes, and executing test cases. To fit this experiment to practical testing situations, we designed it based on the practices of unit testing, which were surveyed through SPIN(Software Process Improvement Network). This paper analyzes which part of unit testing done by non-developers needs more effort compared to the unit testing done by original developers. And it concludes that Agile Development contributes on reducing the extra effort caused by non-developers, since it implements test codes first before developing source code. That means all the units have already included their own tests code when they are released.

A web-based speaking test development using Visual Basic 6.0.

김정태 한국멀티미디어언어교육학회 2006 멀티미디어 언어교육 Vol.9 No.2

This article describes how a Web-based speaking test (WBST) is developed using Visual Basic 6.0 from needs analysis to evaluation in language test development. The speaking test development process was applied to develop the Teaching Assistant Language Exam (TALE) for international Teaching Assistants at American colleges. In the design phase, several design considerations and their validation concerns that are specific to WBSTs are discussed and the feasibility of the development tool is examined along with the validation considerations through considering several rival test delivery forms. In development phase, this study illustrates test administration procedures and the test software development process. In implementation phase, revision points on test administration process and the software improvement were gathered and reflected into cyclical test development. The usability of appropriate technologies along with ethical approaches to test development was considered in evaluation phase.

1960년대 후반 인력개발의 추진과 지능⋅적성검사의 도입

정무용 고려대학교 민족문화연구원 2020 民族文化硏究 Vol.87 No.-

In the late 1960s, the Korean government tried to set up a dedicated organization to further advance manpower development policies. In 1966, the Manpower Development Committee, composed of personnel from related ministries and related experts, was established as an advisory body to the EPB, and in 1967, the Ministry of Science and Technology was established as an organization to establish and coordinate long-term human resource development policies. In December 1968, the Ministry of Science and Technology announced long-term manpower development policies. A variety of manpower policies were promoted by related agencies, such as the Ministry of Science and Technology, and related ministries that have long-term manpower development policies. The most basic idea of the government was the smooth supply and demand of manpower. Accordingly, the Ministry of Labor conducted vocational training and job introductions, provided various vocational trainings, and tried to supply manpower using military organizations. However, manpower development was a concept that encompasses the development of manpower and the use, deployment, and protection of manpower. Therefore, it was a matter of education, labor, and social security, which was carried out by the Ministry of Education, Labor, and Health and Social Affairs beyond the functions of the Ministry of Science and Technology. The contents of the activities were covered in Long Term Manpower Supply and Demand Estimation and Policy Direction 1967-1986. As manpower development was an attempt to maximize productivity, it was recognized as an effective method of utilizing human resources by measuring and evaluating the ability of the trained personnel according to standardized standards and placing them in the appropriate positions. Thus, a functional test was introduced in 1967. In addition, attempts to measure and classify human abilities have been introduced and expanded before the manpower development policy was promoted. The measurement tools were intelligence tests and aptitude tests. If the intelligence test was introduced to the educational field and was actively used to measure and classify students’ learning abilities, the aptitude test was mainly used to grasp the aptitude of skilled workers in government-led personnel selection or training. 1960년대 후반 한국 정부는 인력개발 정책을 더욱 진전시키기 위해 전담 기구를 설치하고자 하였다. 1966년 경제기획원 자문 기관으로서 관계 부처 인사들과 관계 전문가로 구성된 인력개발위원회가 설치되었고 1967년 장기 인력 개발 정책을 수립하고 조정할 기구로서 과학기술처가 설립되었다. 또한 과학기술처 산하에 인력개발연구소를 두어 인력개발을 위한 제반 계획과 정책 수립에 필요한 자료를 수집하였다. 과학기술처는 1968년 12월 과학기술개발장기종합계획 1967-1986과 장기인력수급추계 및 정책방향 1967-1986을 수립하는 등 장기 인력 개발 정책을 발표하였다. 과학기술처 등 관계 기관과 장기 인력 개발 정책이 마련되는 각 관계 부처들은 다양한 인력 정책을 추진하였다. 정부가 가장 기본적으로 생각한 것은 원활한 인력의 수급이었다. 이에 노동청의 주관으로 직업훈련과 직업 소개를 실시하였고 다양한 직업 교육을 하였고, 군 기구까지 활용하여 인력을 수급하고자 하였다. 그러나 인력개발은 인력양성에서부터 인력의 활용, 배치, 보호까지를 포괄하는 개념이었다. 따라서 이는 과학기술처의 기능을 넘어선 문교부, 노동청, 보건사회부 등이 담당하는 교육⋅노동⋅사회보장의 문제였고, 이 모든 사회 분야 정책의 목표는 생산성의 사회 총합의 증대였다. 그 활동의 내용은 장기인력수급추계 및 정책방향 1967-1986에 포괄되었다. 인력개발은 생산성을 극대화 시도였기에 양성한 인력의 능력을 표준화된 기준에 따라 측정 평가하고 그에 맞는 자리에 인력을 배치하는 것이 효율적인 인력의 활용 방법으로 인식되었다. 이에 1967년 기능 검정이 도입되었다. 이와 더불어 인간의 능력을 측정하여 분류하려는 시도들이 인력개발 정책이 추진되기 이전부터 도입되어 확장되어 가고 있었다. 그 측정도구는 바로 지능검사와 적성검사였다. 지능검사가 교육현장에 도입되어 학생들의 학습 능력을 측정하고 분류하는데 적극적으로 활용되었다면 적성검사는 주로 정부 주도의 인력 선발이나 훈련에서 기능공들의 적성을 파악하는데 활용되었다.

테스트 주도 개발을 위한 유연한 단위 테스트 도구

전석환(Seokhwan Jeon),김정동(Jeongdong Kim),백두권(Doo-Kwon Baik) 한국정보과학회 2009 정보과학회 컴퓨팅의 실제 논문지 Vol.15 No.2

The efficient test tool is indispensable to the test driven development. The test tool is very helpful to get the advantage of the test driven development. Many traditional automation test tool does not support standard script language and are not suitable to unit test. In traditional unit test tool, a code for the test is added at the source code. Such method makes the complexity of a source code and has a problem which must modify many part of the source code when the test case is changed. In this paper, we present a design technique of a flexible unit testing tool which makes a developer can modify easily the test case by using the standard java script in test driven development. We implement the test tool by this design technique to verify the availability of this technique. 테스트 주도 개발의 장점을 얻기 위해서는 효율적인 테스트 도구의 사용은 필수적이다. 기존의 통합 자동화 테스트 도구는 표준화 되지 않은 스크립트(script) 언어를 사용하거나 단위 테스트에 적합하지 않은 경우가 많다. 기존의 단위 테스트 도구는 대부분 프로그램의 원시코드에 테스트를 위한 코드가 추가된다. 이것은 원시 코드의 복잡도를 높이고 테스트 케이스 변경 시 원시코드의 여러 부분을 수정해야 하는 문제점이 있다. 본 논문에서는 테스트 주도 개발 시 개발자가 표준 자바 스크립트(Java script)를 이용하여 테스트 케이스 수정을 용이하게 할 수 있도록 유연한 테스트 도구의 설계를 제안하고 제안된 설계의 가용성을 검증하고자 테스트 도구를 구현하였다.

장애위험 영·유아를 위한 국내 발달선별검사 도구 분석 및 고찰

김진호,차재경 한국정서행동장애학회 2016 정서ㆍ행동장애연구 Vol.32 No.3

The purpose of this study was to review developmental screening tests for at-risk young children by identifying characteristics and limitations of norm-referenced developmental screening tests used in South Korea, and to suggest future directions for developing developmental screening tests of at-risk young children. Eight developmental screening tests were selected and analyzed in terms of general feature variables(development type, participants ages, the time required, conducting types, rating scales, result analysis), and screening tests item feature(area factors, item numbers, etc.). The results of the study were as follows: First, most of developmental screening tests which are frequently used in Korea were developed and standardized in foreign countries. And the participants’ ages of the screening tests were 0∼6 years. Second, the time required for conducting developmental screening tests were generally within 20 minutes. Most of the tests were checked by parents or fosterer, as conducting types of screening tests. Third, rating scales of the developmental screening tests were three point rating scales(yes, sometimes, no), and result analysis of the developmental screening tests presented as three levels such as normal, borderline, delay. Finally, screening tests items consisted of five developmental areas(language, social skills, adaptive behavior, cognition, motor functions), and item numbers were varied. Based on these results, discussions and implications were suggested in terms of implementing developmental screening tests targeting at-risk young children. 본 연구는 장애위험 영·유아를 대상으로 전반적인 발달특성과 발달지연 정도를 선별하는데 사용되고 있는 국내 발달선별검사 도구를 조사하여 분석하고, 이를 통하여 향후 장애위험 영·유아의 발달선별검사 도구의 개발 방향을 모색하는데 그 목적을 두었다. 이를 위하여 국내에서 많이 사용되고 있는 표준화된 발달선별검사 도구 8개를 최종 분석대상으로 선정하였다. 선정된 발달선별검사 도구는 먼저 개괄적 특성(개발유형, 대상연령, 소요시간, 실시형태, 평정척도, 결과해석)을 분석하고, 이어서 발달선별검사 도구의 영역별 문항 특성(영역별 구성요소, 문항 수)을 분석하였다. 연구 결과를 살펴보면, 첫째, 발달선별검사 도구의 개발 유형은 대부분 외국 검사도구를 국내용으로 표준화한 유형이었고, 대상연령은 0세부터 만 6세 이하를 대상으로 한 발달선별검사 도구가 대부분이었으며, 영아만을 대상으로 한 도구는 매우 적은 것으로 나타났다. 둘째, 발달선별검사 도구의 소요시간은 대부분 20분 이내 실시할 수 있는 검사들이 많았고, 실시형태는 대부분 부모, 양육자가 보고하는 형태였다. 셋째, 발달선별검사 도구의 평정척도 분석 결과에 있어서는, 많은 발달선별검사 도구가 3점 척도를 사용하는 것으로 나타났으며, 결과해석은 3단계(예: 정상, 경계선, 지연)로 구분하여 결과를 해석한 도구가 가장 많았다. 넷째, 발달선별검사 도구의 영역별 문항 특성 분석 결과에 있어서는, 대체적으로 5가지 발달영역(언어, 사회성, 자조, 인지, 운동)으로 구성되어 있었고 문항 수는 다양하게 나타났다. 이러한 연구결과를 바탕으로 향후 국내 장애위험 영․유아의 발달선별검사 도구 개발 방향에 대해 논의하였다.

장애인 운동발달 및 체력 검사도구의 유형과 특성

김인애 ( In-ae Kim ),한민규 ( Min-kyu Han ) 한국체육대학교 체육과학연구소 2018 스포츠사이언스 Vol.35 No.2

This study was performed so as to figure cut the practical reality of the moor development of people with disability and the test tool of physical Fitness, and it was performed in order to supply the information about the characteristic and utility of the motor development of people with disability and the test tool of physical fitness which could be used in the real field by producing the validity evidence. For the purpose of achieving the object of this study we carried out the investigation about actual condition of the motor development of people with disability and the test tool of physical fitness for 41 person who are the sports instructors for the disabled, and we produced the average, the standard deviation and the frequency of the collected data through Excel 2016 program. And also we carried out the analysis about the domestic and foreign literature in order to suggest the measurement items and the utility of the motor development of people with disability and the test tool of physical fitness, and we performed the round table typed discussions with adapted physical education and 3 doctorates majored in adapted physical education. The first result of this study is as followings. In the result of the diagnosis and evaluation for the sports instructors for the disabled, it was revealed that only 7.3% of them carried out the test. And when people with disability are instructed as the reason of none-corrective inspection in the before and after program, 80.5% responsors said that the test tool was unsuitable for people with disability, and the degree is the highest one. When it was questioned that the test tool about the motor development suitable for people with disability and the physical fitness would be used or not, 87.7% of those surveyed responded that thy would use the test tool. secondly, we selected TGMD, PDMS, MABC, DDST-2, BOT, in the field of motor development as a test tool for the BPFT, Kansas APE, PAPS-D in the field of physical fitness. Through the result of this study, it can be expected that we well use the result as the basic materials for the corrective assessment of the motor development and physical fitness fields for people with disability, and we can help the efficient physical activity programs for people with disability.

주양육자에 따른 아동발달 수준 비교 연구: 베일리 발달검사3

이혜진 ( Hey Jin Lee ),김광재 ( Gwang Jae Kim ),최주원 ( Ju Won Choi ),임희정 ( Hee Jeong Lim ),양영애 ( Yeong Ae Yang ) 한국고령친화건강정책학회 2015 대한고령친화산업학회지 Vol.7 No.2

연구목적: 본 연구는 조부모가 주양육자인 아동과 부모가 주양육자인 아동들의 발달검사의 결과를 통해 유의한 차이를 비교하여 관련 특성 요인들이 주 양육자에 의해 발달에 어떠한 영향을 미치는지, 그리고 그 주요한 요인은 무엇인지를 확인하고자 한다. 연구방법: 본 연구는 2013년 1월부터 2015년 11월까지 부산소재지 K병원 작업치료실에 내원하여 발달 검사를 시행한 아동 139명을 대상의 데이터를 수집하여 실시하였다. 연구결과: 1. 일반적 특성과 베일리 영유아 발달검사 결과 값 사이의 상관관계는 주양육자에서 cognition, language, motor, social emotional에서 유의한 상관관계가 있었다. 2. 주양육자에 따른 베일리 영유아 발달검사 결과 값 간의 상관관계는 주양육자가 부모인 경우cognition과 language, motor와 social emotional, language와 motor간의 유의한 상관관계가 있었다. 3. 주양육자에 따른 베일리 영유아 발달검사 결과 값 간의 상관관계는 주양육자가 조부모인 경우cognition과 language에서만 유의한 상관관계가 있었다. 4. 주양육자에 따른 집단 간 평균비교에서는 language와 motor에서 유의한 차이가 있었다. 결론: 본 연구에 결과를 종합해보면 주양육자의 형태에 따라 아동의 발달수준의 차이가 있음을 알 수있었으며, 향후 양육형태 및 다양한 양육방식 등을 확인하여 아동의 발달수준의 미치는 영향에대해 연구가 시행되어야 할 것으로 사료된다. Objective: The purpose of this reesarch is to compare the significant differences of children whose main fosterers are grandparents and children whose main fosterers are parents, through the results of child development test. By doing so, it seeks to examine what influence that related characteristic factors on development by main fosterers and what the major factors are. Methods: This research was conducted by collecting the data of 139 children, who visited the Occupational Therapy Center of K Hospital in Busan and took the development test from January 2013 to November 2015. Results: 1. According to the general characteristics and the results of Bayley Child Development Test, there were significant correlations in cognition, language, motor, and social emotional for main fosterers. 2. As a result of the Bayley Child Development Test according to main fosterers, there was a significant correlation between cognition and language, motor and social emotional, and language and motor if the main fosterers were parents. 3. According to the results of the Bayley Child Development Test, there was a significant correlation only between cognition and language if the main fosterers were grandparents. 4. In the average comparison between the groups according to main fosterers, there was a significant difference only in language and motor. Conclusion: Overall, the results of this research show that there is a difference of child development level depending on the form of main fosterers, and it is considered that the influence of rearing form and various rearing methods on child development level should be researched in the future.

학문 목적 한국어 말하기 평가 도구 개발의 쟁점과 과제

민병곤,이성준 서울대학교 국어교육연구소 2016 국어교육연구 Vol.38 No.-

This paper examines recent approaches to developing speaking tests and in particular the testing of Korean speaking for academic purposes. The first approach is concerned with testing theory of the language for specific purposes (LSP) and Korean for academic purposes (KAP) as a means of verifying the claims for speaking test development. The second approach is analyzing the validation procedures of TOEFL and IELTS as representative academic speaking tests and relating them to the development of Korean speaking tests for academic purposes. The article argues that the development of Korean speaking tests for academic purposes is founded on the conceptual framework of speaking tests, construct setting, item writing, connecting testing method and validation, scoring rubric and rating scale development, and consideration of educational washback and impact. From this view point, developing Korean speaking tests for academic purposes can be justified in terms of practical needs analysis, construct validity projects, circumstantial specification, and rater effect analysis, and it is suggested that continuous concurrent and predictive validation research be conducted to improve speaking tests. 본 연구는 학문 목적 한국어 말하기 평가의 도구의 개발과 관련한 주요 쟁점과 과제를 제시하는 것을 목적으로 한다. 이를 위해 먼저 학문 목적 말하기 평가를 구성하는 이론적 배경으로서 특수 목적 언어 평가 연구와 학문 목적 한국어 말하기 교육, 그리고 학문 목적 한국어 말하기 평가에 관한 연구들을 검토하였다. 그리고 대표적인 국외 학문 목적 말하기 시험을 실시하고 있는 TOEFL과 IELTS에서 말하기 시험이 개발되어 현재의 모습으로 사용되기까지의 과정을 살펴보고, 이를 통해 학문 목적 한국어 말하기 평가 도구 개발에 관한 시사점을 도출하였다. 이상의 논의를 바탕으로 학문 목적 한국어 말하기 평가 도구 개발의 쟁점으로 제시한 것은 평가의 개념 정립과 구인 설정, 평가 과제 개발, 평가 방법 선택 및 타당화, 채점과 척도 개발, 교육적 환류와 영향력이다. 끝으로 학문 목적 한국어 말하기 평가 도구의 개발을 위한 앞으로의 과제로서 개발 과정에서 응시 목적을 고려하여 요구 분석을 실시하고, 구인타당도 확보와 면밀한 평가 계획서 작성, 그리고 채점자 분석 연구의 필요성을 강조하고, 예측타당도와 공인타당도 연구를 통해 학문 목적 한국어 말하기 평가 도구의 안정화와 품질 개선 작업이 지속적으로 이루어져야 함을 제안하였다.

대학수학능력시험 및 모의평가 직업 탐구 영역 문항 분석 - 가사․실업계열의 『인간 발달』 과목을 중심으로 -

윤인경,최영선 한국직업교육학회 2009 職業 敎育 硏究 Vol.28 No.1

This study on the questions of ‘Human Development’ subject in the College Scholastic Ability Test of the career exploration area analysis of the test tends to improve the professionalism of teachers and quality evaluation of the data provided the basis for the development of questions that was on purpose. To achieve the purpose of this research from 2005 to 2008 of 'Human Development' subject the questions tend to analyze on the content areas, the behavior of each region. This research follows the research results. First, the question of the content area (large area, middle area) and analyzed by year, the big lesson ‘The foundation of Human development’ a minimum of 3 questions, but the difference between a maximum of six questions, there were no significant differences. ‘human development step’ of up to 17 questions from a minimum of 14 questions and the questions did not differ by year. The ratio between the result of test questions for each area, pick up a slightly larger area, but tends to be longer in the middle area has a specific area. Mainly the basics of Human development theory, possess the preponderance of the baby in the area over the balance of former section that the test was required. Second, the question of the action area, a result of the configuration in the entire 240 questions ‘Apply’ area next to the most questions and ‘understand’ zone, ‘knowledge’ test area, and ‘explore’ area is a very small. Year, were not much more harm repeatedly ‘quest’ area and can see an increase in number, but very little ability to measure the various action areas chose to develop and test questions that were required. Therefore, the College Scholastic Ability Test and a Practics Test more efficient and objective evaluation as a tool to position the school faithful to the on-site training courses in the classroom and student assessment and evaluation of teachers to improve expertise 『Human Development』curriculum objectives can be evaluated properly the development of the questions will be asked questions to assess the general thinking of the questions so that you can increase the ratio of students to perform a professional assessment and evaluation of teacher professional development and the requirements, evaluation and utilization of information about the activity to continue training programs or educational materials to be provided, materials development is required. 본 연구는 대학수학능력시험 및 모의평가 직업탐구 영역의 가사․실업계열 전문 과목 『인간 발달』문항의 출제 경향을 분석하여 교사의 평가 전문성 향상과 양질의 문항을 개발하기 위한 기초 자료를 제시하는 것에 목적을 두었다. 이러한 연구 목적을 달성하기 위해 2005년부터 2008년까지 출제된 직업 탐구 영역 영역의 가사․실업 계열 전문 과목 『인간 발달』의 문항들을 내용 영역별, 행동 영역별로 구분하여 연도별로 분석하여 출제 경향을 살펴보았다. 본 연구 내용에 따른 연구 결과는 다음과 같다. 첫째, 문항의 내용 영역(대영역, 중영역)을 분석한 결과 연도별로 대단원 ‘인간 발달의 기초’는 연도별로 최소 3문항에서 최대 6문항이 출제되었으며, 대영역 ‘인간 발달 단계’에서는 최소 14문항에서 최대 17문항이 출제되었으나 연도별로 비슷하게 출제되었다. 두 영역간의 차이는 교과서에서 차지하는 비중을 고려할 때, 인간 발달 단계의 내용이 많아 대영역간의 문항 출제 비율은 적절한 것으로 판단되었다. 대영역은 다소 고르게 출제되었으나, 중영역의 출제 비율을 분석한 결과, 특정 영역에 편중되어 출제된 것으로 분석되었다. 주로 ‘인간 발달의 기초와 이론, 영유아기’ 영역에 편중되고 이후 성인기 발달 부분인 ‘성년기, 중년기, 노년기, 인생의 마무리’영역은 상대적으로 적게 출제되어 전 단원에 걸친 균형 있는 출제가 요구되었다. 둘째, 문항의 행동 영역 구성을 분석한 결과 ‘적용’ 영역이 가장 많이 출제되었고 다음으로 ‘이해’ 영역, ‘지식’ 영역이 출제되었으며 ‘탐구’ 영역은 매우 적게 출제되었다. 연도별로 비슷한 비율로 출제되었으며 해가 거듭될수록 ‘탐구’ 영역이 증가하고 있음을 알 수 있었다. 그러나 그 수는 매우 적어 탐구 능력을 측정할 수 있는 문항 개발과 전 영역의 고른 출제가 요구되었다. 따라서 대학수학능력시험 및 모의평가이 보다 효율적이고 객관적인 평가 도구로서 자리 잡고 학교 현장에서 교육과정에 충실한 수업 및 학생 평가 활동과 교사들의 평가 전문성을 향상을 위해 『인간 발달』 교육과정 목표를 적절히 평가할 수 있는 문항 개발이 요구되며 종합적인 사고력을 평가하는 문항의 출제 비율을 높일 수 있도록 학생 평가 활동을 전문적으로 수행할 수 있는 교사의 평가 전문성 개발이 요구되며, 평가 활동에 대한 정보와 활용 방안이 지속적으로 제공될 수 있도록 연수 프로그램 혹은 교육기자재, 교재 개발이 요구된다.