커맨드 라인 옵션을 변이 및 선택하여 테스팅 효과를 높이는 퍼징 기법 = Effective Fuzzing Technique with Command Line Option Mutation/Selection

다국어 초록 (Multilingual Abstract)

Command line option determines how Command Line Interface (CLI) program executes.
Therefore, selecting and using proper command line options determines the performance and effectiveness of testing in terms of coverage and bug detection power. In this paper, we propose PAW (Program option-AWare fuzzer) which automatically selects useful command line options to improve the effectiveness of fuzz testing. In the first 10% of fuzzing time, PAW generates diverse command line options by mutating existing options, and it decides which options are useful ones using branch coverage. For the remaining 90% of the time, PAW focuses on executing the selected, useful options for effective testing. We implemented PAW on top of AFL++ which is the state-of-the-art fuzzer, and we evaluated PAW on ten real-world C programs by comparing coverage with AFL++ and Angora.
PAW showed higher branch coverage results and crash detection power on the ten C programs.

국문 초록 (Abstract)

커맨드 라인 인터페이스 프로그램(CLI program)에서 커맨드 라인 옵션은 해당 프로그램이 어떻게 작동하는지에 지대한 역할을 하며, 테스트를 수행할 때 어떤 커맨드 라인 옵션을 사용하는지에 따라 테스트의 성능(커버리지 및 오류 탐지)은 매우 크게 변화할 수 있다. 본 연구에서는 유용한 옵션을 자동으로 선택하여 테스트를 진행하는 퍼징 기술인 PAW(Program option-AWare fuzzer)를 제시한다. PAW는 전체 퍼징 시간의 첫 10% 동안 다양한 옵션을 변이해본 뒤 실행하여, 생성된 옵션들 중 새로이 분기 커버리지를 달성하는 옵션을 유용한 옵션으로 판정하여, 이후 90%의 시간 동안에는 해당 유용한 옵션에 집중하여 테스트를 진행하도록 한다. 최신 퍼저인 AFL++을 기반으로 PAW를 구현한 뒤, 10개의 실제 C 프로그램에서 최신 퍼저인 AFL++과 Angora와 비교하여 평가하였다. PAW는 10개의 실제 C 프로그램에서 AFL++과 Angora와 비교하여 높은 분기 커버리지를 달성하고, 보다 많은 크래시 오류를 탐지하였다.

참고문헌 (Reference)

1 "ls program : A part of GNU coreutils"

2 V. J. M. Manes, "The art science and engineering of fuzzing : A survey" 47 : 2312-2331, 2021

3 J. Wang, "Superion : Grammar-aware greybox fuzzing" 724-735, 2019

4 V. T. Pham, "Smart greybox fuzzing" 47 : 1980-1997, 2021

5 A. Herrera, "Seed Selection for Successful Fuzzing" 230-243, 2021

6 C. Aschermann, "REDQUEEN : Fuzzing with Input-to-State Correspondence" 2019

7 Y. Kim, "Precise concolic unit testing of c programs using extended units and symbolic alarm filtering" 315-326, 2018

8 Y. Kim, "Precise Learn-to-Rank Fault Localization using Dynamic and Static Features of Target Programs" 28 (28): 1-34, 2019

9 T. Yue, "LearnAFL : Greybox Fuzzing With Knowledge Enhancement" 7 : 117029-117043, 2019

10 C. Cadar, "KLEE : Unassissted and Automatic Generation of High-Coverage Tests for Complex Systems Programs" 209-224, 2008

11 J. Petke, "Genetic Improvement of Software : A Comprehensive Survey" 22 (22): 415-432, 2017

12 X. Zhu, "Fuzzing:A Survey for Roadmap" 2022

13 H. Liang, "Fuzzing : State of the Art" 67 (67): 1199-1218, 2018

14 G. Klees, "Evaluating fuzz testing" 2123-2138, 2018

15 M. Bohme, "Estimating residual risk in greybox fuzzing" 230-241, 2021

16 M. Bohme, "Coverage-Based Greybox Fuzzing as Markov Chain" 1032-1043, 2016

17 Z. Xie, "CSEFuzz : Fuzz Testing Based on Symbolic Execution" 8 : 187564-187574, 2020

18 P. Chen, "Angora : Efficient Fuzzing by principled search" 711-725, 2018

19 M. Zalewski, "American fuzzy lop (afl) fuzzer"

20 A. Fioraldi, "AFL++ : Combining incremental steps of fuzzing research" 2020