체육측정평가 : 한국체육학회지의 심사결과에 대한 정량적 및 정성적 평가 분석 = Quantitative and Qualitative Analysis of Research Articles Submitted to KAHPERD in 1995 and 1996

국문 초록 (Abstract)

이 연구는 95년부터 96년도 12월까지 한국체육학회에 제출된 논문에 대한 심사 결과를 분석하고자 하였다. 따라서 한국체육학회지에 투고된 논문이 심사자들로부터 어떻게 평가되고 있는가? 연도별 게재불가율은 어떻게 다른가? 게재불가의 주된 원인은? 심사자들로부터 진술된 주요 지적사항은 어떤 것들이 있는가?에 대한 어떤 특징들이 있는가를 밝히고자 하였다.연구대상은 한국체육학회에 95년 및 96년도에 제출된 283명을 모집단으로 선정하였으며, 이 연구를 분석하기 위하여 정량적과 정성적 분석을 결합한 연구기법이 적용되었다. 양적 자료는 한국체육학회지 심사서에 있는 객관적 평가방법을 사용하였으며, 질적 자료는 심사자들로부터 주관적으로 진술된 내용들을 근거로 하였다. 양적연구 방법은 한국체육학회에서 사용한 심사기준표에 나타난 다섯 가지의 세부 내용에 대한 심사 등급을 연도별(95년 & 96년) 백분율과 Chi-square, ANOVA, Cronbach`s alpha 등을 사용하였다.95년도 및 96년도의 한국체육학회지의 심사평가서에 나타난 6가지의 항목 중 A등급을 살펴보면 `창의성`은 26.6%, `적합성`은 30.3%, `논리성`은 26.0%, `타당성`은 25.7%, `기여도`는 25.2%, `총점`은 23.0%로 나타났으며, 심사 결과에 대한 종합판정에 있어서 `게재가`의 판정은 29.1%로 나타났다. 연도별 등급에 대한 판정은 유사한 분포로 나타났으나(p>.05), 종합판정 `게재가` 항목은 연도별 다르게 나타났다(p.<.05).이 연구에서 분석한 정량적 및 정성적 분석의 결과에 의하면 한국체육학회지에 제출된 논문의 70%정도는 심사자들로부터 긍정적인 평가를 받고 있으며, 30% 정도는 부정적인 평가를 받고 있는 것으로 나타났다. 심사자들로부터의 주요 지적 사항들을 보면 연구설계의 모순점과 연구결과에 대한 부적절한 논의(고찰) 등이 나타났다. 한국체육학회 게재불가율은 95년도 13%로 나타났으며 96년도는 17.2%로 연도별 게재불가율은 증가하는 것으로 나타났다.

다국어 초록 (Multilingual Abstract)

The primary purpose of this study was to determine how judges evaluate research articles submitted in 1995 and 1996. An additional purpose of this study was to analyze how judges make subjective critiques of research articles.Two hundred and eight-three research papers requested from various researches during 1995-1996 were used as a sample for this study. Both quantitative and qualitative approaches used to satisfy my research questions. The quantitative data were collected by using the formal evaluation form of KAHPERD. The qualitative data were collected by means of judges` subjective evaluation on a second side evaluation form.This study showed that an A grade research papers totalled 23.0%; B grade papers were 52.1 % ; C grade were 18.4%; D grade were 5.8%; and F grade were 0.6%. The reject rate was 13.0% in the 1995 and 17.2% in 1996. Inter judge reliability in the reject evaluation between two judges was .71 and .61 using Cronbach`s alpha level. The main shortcomings of the submitted papers which were indicated by judges were poor discussion sections. Moreover, the main reasons for rejection were poor adherence to research guidelines and inadequate discussion. In conclusion, approximately 70% of the total research articles evaluated were found to be acceptable for publication "as is" or after minor revisions. On the other hand, only 30% of the total were found to be either unacceptable for publication or in need of major revisions to merit publication.