FEAST: 테스트 케이스의 결함 실행확률을 이용한 향상된 결함 위치추정 기법 = FEAST: An Enhanced Fault Localization Technique using Probability of Test Cases Executing Faults

국문 초록 (Abstract)

프로그램 오류의 원인을 찾는 과정인 결함 위치추정(fault localization)은 프로그래머가 직접 실패한 실행을 추적하면서 결함으로 의심되는 코드를 찾아야 하기 때문에, 프로그램 디버깅 과정 중 가장 많은 노력과 시간을 요구한다. 따라서, 결함 위치추정에 사용되는 비용을 줄이기 위해서 많은 기법들이 제안되었고, 그 중 커버리지 기반 결함 위치추정 기법(CBFL: Coverage Based Fault Localization)은 프로그램 커버리지를 이용하여 결함으로 의심되는 코드들에 우선순위를 부여함으로써 결함의 위치를 추정한다. 하지만 CBFL기법에서 사용되는 테스트 케이스 중 결함을 실행했음에도 오류를 발생시키지 않는 테스트 케이스인 Coincidentally Correct Test case(CCT)의 수가 많을 경우, CBFL 기법의 정확성이 크게 떨어지는 문제점이 있다. 본 논문에서는 해당 문제의 해결을 위해서, 결함 가중치가 부여된 테스트 케이스에 기반한 결함 위치추정 기법 FEAST(Fault-wEight bASed localization Technique)을 제안한다. FEAST는 대상 프로그램을 실행한 각 테스트 케이스가 결함을 실행했을 확률에 따라 각 테스트 케이스에 가중치를 부여함으로써 CBFL기법의 정확성을 향상 시킨다. 본 논문에서 제안한 FEAST기법의 정확성을 측정하기 위해 SIR benchmark내의 10개 프로그램에 대해 FEAST와 대표적 CBFL기법인 Tarantula를 적용하여 실험을 수행하였다. 실험으로부터 FEAST는 평균적으로 약 14.62%의 실행된 구문을 검사함으로써 결함을 찾을 수 있다는 것을 확인하였는데, 이는 FEAST가 Tarantula보다 평균적으로 26.55% 더 정확한결과이다.

다국어 초록 (Multilingual Abstract)

Fault-localization is a very expensive step of the whole debugging process, because it usually requires human developers to reason about the differences between passed runs and failed runs step-by-step. Thus, there have been active researches regarding automated fault localization based on test coverage. One main difficulty for precise fault localization is due to the coincidentally correct test cases (CCTs), which are passed test cases that execute a faulty statement. In this paper, to overcome this limitation, we propose Fault-wEight bASed localization Technique (FEAST), which can reduce the negative effects of CCTs by considering fault weights on test cases, which indicate "likelihood" of the statements executed by the test cases to be faulty statements. To evaluate the accuracy of the fault weight metric and the precision and stability of the suspiciousness metric of FEAST, we have performed a series of experiments by applying both FEAST and a representative fault localization technique called Tarantula on the 10 SIR benchmark programs. From the experiments, we confirm that the fault weight metric can recognize CCT accurately and the precision and stability of FEAST are higher than Tarantula. For example, FEAST identifies a fault after examining 14.62% of the target program code on average, which is 26.55% more precise result compared to Tarantula.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련 연구
• 3. 결함 가중치에 기반한 결함 위치추정 기법(FEAST: Fault wEight bASed localization Technique)
• 4. 실험 환경
• 5. 실험 결과 및 분석
• 6. 결론 및 향후 연구
• References