(마이크로소프트 제품 테스트 엔지니어가 서술한)소프트웨어 테스트 자동화

목차 (Table of Contents)

• 목차
• 1장 소프트웨어 테스트
• 소프트웨어 테스트와 버그의 정의 = 10
• 소프트웨어 품질 = 14
• 소프트웨어 테스트의 정의 = 15
• 버그의 정의 = 15
• 소프트웨어 테스트의 필요성 = 17
• 소프트웨어 테스트의 역할 = 17
• 소프트웨어 테스트 실행시기 = 18
• 버그 발생시기에 따른 비용분석 = 19
• 제품 출시 결정 = 19
• 2장 소프트웨어 테스트의 분류
• 소프트웨어 테스트 방식 = 22
• 블랙박스 테스트 = 22
• 화이트 박스 테스트 = 25
• 예제 : 파일 저장 기능을 실현한 코드 예 = 26
• 소프트웨어 테스트 종류 = 29
• 유닛 테스트 = 30
• 베타 테스트 = 30
• 기능 테스트 = 31
• 보안 테스트 = 32
• 성능 테스트 = 33
• 예제 : 순차적 검색 알고리즘의 구현 코드 = 33
• 예제 : 바이너리 검색 알고리즘의 구현 코드 = 34
• 스트레스 테스트 = 37
• 예제 : 문자를 인코딩하는 구현 코드 = 37
• 문서 테스트 = 38
• 사용자 편의성 테스트 = 39
• 통합 테스트 = 39
• 3장 매뉴얼 테스트와 오토메이션
• 매뉴얼 테스트와 오토메이션에 대한 정의 = 42
• 매뉴얼 테스트 = 42
• 매뉴얼 테스트의 특징 및 장점 = 43
• 테스트 오토메이션 = 43
• 테스트 오토메이션의 특징 및 장점 = 45
• 테스트 방법의 사례 연구 및 비교 = 47
• 예제 : API 테스트의 예 = 48
• 예제 : MSAA를 통해 메신저의 사용자 상태를 불러오는 예 = 51
• 예제 : 클립보드를 액세스하는 예 = 57
• 예제 : 보안 문제가 있는 코드의 예 = 58
• 예제 : 보안 문제를 위한 오토메이션 = 60
• 적합한 테스트 방법 선택 = 64
• 테스트 방법 선택 시 고려해야 할 테스트 환경 = 64
• 상황에 따른 테스트 방법 = 67
• 예제 : Visual Test 코드 예 = 70
• 예제 : Visual Test 코드 예 = 71
• 예제 : Visual Test 코드 예 = 71
• 테스트 방법 조합 = 72
• 4장 테스트케이스 추출 및 관리
• 테스트 케이스 추출 방법 = 74
• 정적(static) 테스트 케이스 추출 방법 = 74
• 무작위(monkey) 테스트 케이스 추출 방법 = 75
• 모델 기반의(model base)테스트 케이스 추출 방법 = 77
• 모델기반의 테스트 = 78
• 상태(State) = 78
• 동작(action) = 79
• 필터링(filtering) = 80
• 변수(parameter) = 82
• 테스트 케이스 = 84
• 테스트 확장 = 85
• 모델링을 이용한 화면 해상도 설정 변경의 테스트 케이스 추출 = 87
• 상태 = 88
• 동작 = 88
• 필터링 = 89
• 변수 = 91
• 테스트 케이스 = 92
• 모델링을 사용했을 때와 사용하지 않았을 때의 테94스트 커버리지 비교 = 94
• 테스트 케이스 추출방법 선택 시 고려해야 할 사항 = 94
• 테스트 커버리지 = 94
• 테스트 케이스 완성과 버그 발견에 소요되는 시간 = 94
• 테스트 케이스의 수정과 확장성 = 95
• 테스트의 반복 실행 율 = 95
• 테스트 할 기능의 크기와 복잡성 = 95
• 5장 버그 관리 시스템
• 역할및 활용 = 96
• 역할 = 96
• 활용 = 98
• 필요한 항목 = 100
• 주의사항 = 109
• 버그를 제출할 때 = 109
• 버그의 해결방법이 결정되어 돌아왔을 때 = 114
• 그 외 주의사항 = 116
• 버그를 분석할 때 = 117
• 버그 관리와 테스트 케이스 관리 = 118
• 6장 사용자 인터페이스 디자인
• 디자인 고려사항 = 121
• 사용자 상호작용 = 123
• 상호작용 방식 = 123
• 사용자 접근용이성 = 128
• 예제 : 개체 역할 상수에 해당하는 문자 값을 불러오는 구현 코드 예 = 129
• 따라하기 : Inspect32 실행하기 = 133
• 예제 : AccessibleObjectFromWindow 코드 예 = 134
• 예제 : AccessibleObjectFromPoint 코드 예 = 134
• 예제 : SetWinEventHook와 AccessibleObjectFromEvent 코드 예 = 138
• 따라하기 : 윈도우 응용프로그램 AccServer 프로젝트 생성 하기 = 140
• 따라하기 : 윈도우 응용프로그램 AccServer에 AccessibilityName 값 지정해주기 = 143
• 따라하기 : 돋보기 실행하기 = 144
• 따라하기 : 나레이터 실행하기 = 144
• 문서 = 145
• 7장 소프트웨어 테스트 프로세스
• 응용프로그램에 대한 이해 = 147
• 제품 기획 설계서 리뷰 = 147
• 테스트 하기 전에 고려해야 할 사항 = 152
• 테스트 계획 및 설계 = 158
• 테스트 계획서 = 158
• 테스트 계획서의 내용 = 159
• 테스트 케이스와 테스트 스윗 작성 = 163
• 테스트 케이스 작성 및 관리 = 164
• 테스트 스윗 = 164
• 테스트 실행 = 166
• 테스트 실행 사이클 이해 = 166
• 테스트 실행 일정 준비 = 168
• 테스트 실행 일정 세우기 = 169
• 효율적인 테스트 실행 = 170
• 테스트 결과 분석 = 170
• 테스트 로그 저장 = 171
• 테스트 로그 분석과 버그 제출 = 172
• 8장 디버깅
• 테스터가 디버깅하는 중요성 = 173
• 디버깅 준비 = 176
• 디버거 = 177
• 심볼 = 178
• 따라하기 : Debug 빌드 형식으로 응용프로그램 생성하기 = 179
• 따라하기 : Release 빌드 형식에서 디버그 정보 생성하기 = 180
• 따라하기 : 디버깅 정보가 제대로 생성되었는지 확인하기 = 181
• 사용자 모드 디버깅 = 186
• 환경 설정 = 187
• 따라하기 : 명령 프롬프트 윈도우에서 심볼 경로 환경 변수 설정하기 = 188
• 따라하기 : .sympath 명령어를 통해서 심볼 경로 설정하기 = 189
• 디버거 실행 방법 = 191
• 따라하기 : Visual C++ 2005 Expression Edition 디버거를 사용하여 프로그램 실행하기 = 191
• 따라하기 : WinDbg를 통하여 응용프로그램을 실행 하기 = 193
• 따라하기 : Visual C++ 2005 Express Edition 디버거를 응용프로그램에 연결하기 = 195
• 따라하기 : WinDbg를 통하여 응용프로그램에 연결하기 = 196
• 따라하기 : WinDbg.EXE 명령어를 사용해 디버거 연결 하기 = 197
• 따라하기 : 응용프로그램 실행 시 디버거가 자동으로 연결되게 설정 하기 = 198
• 사용자 모드 디버깅 예제 = 199
• 따라하기 : Visual C++ 2005 Expression Edition을 사용하여 엑세스 위반 디버그하기 = 201
• 따라하기 : WinDbg를 사용하여 엑세스 위반 디버깅 설정 = 202
• 원격 디버깅 = 205
• 따라하기 : Visual Studio.NET을 사용하여 원격 디버깅 설정하기 = 205
• 따라하기 : WinDbg를 사용한 원격 디버깅 = 206
• 커널 모드 디버깅 = 207
• 환경 설정 = 207
• 디버거 실행 방법 = 208
• 따라하기 : 커널 디버깅 실행하기 = 209
• 9장 테스트 오토메이션 프레임웍 만들기
• 오토메이션 프레임웍의 목적 = 212
• 오토메이션 프레임웍의 사전 준비 = 212
• 주요 사용자 정의 = 213
• dllexport를 이용해 정의한 함수 = 213
• VB에서 Foo 함수 호출하기 = 216
• 주요 사용자 사용 방식 = 216
• 주요 컴포넌트 및 요구 기능 확인 = 216
• 개발 계획 = 217
• 유지 보수 계획 = 218
• 개발 툴 및 언어 선정 = 218
• 오토메이션 프레임웍 설계 = 218
• 프레임워크 디자인 = 219
• 프레임워크 구축 = 221
• 오토메이션 프레임웍 구현 = 222
• 기초 클래스 구현 = 222
• Find 메서드 = 224
• 예제 : 플램폼 호출 함수들의 정의 = 226
• 예제 : FindlnWindows 메서드 = 228
• 예제 : Click 메서드 = 231
• 예제 : Mouse 클래스의 Click 메서드 = 232
• 예제 : MOUSEINPUT의 dwFlags 설정하기 = 233
• 예제 : Move To 메서드 = 234
• 기본 컨트롤 클래스 구현 = 234
• 예제 : MenuItem 클래스 = 235
• 예제 : CheckButton 클래스 = 237
• 예제 : ListBaseControl 클래스 = 240
• 예제 : ListItem 클래스 = 244
• 예제 : ListBox 클래스 = 245
• 사용자 컨트롤 클래스 구현 = 245
• 사용자 컨트롤 - MyButton 컨트롤 만들기 = 247
• 예제 : MyButton 컨트롤을 사용한 응용프로그램의 Accessibility 정보 알아보기 = 249
• 예제 : CustomControl 클래스 = 252
• 웹 컨트롤 클래스 = 252
• 예제 : WebLink 클래스 = 253
• 테스트 코드 구현 = 254
• 따라하기 : Accessible Explorer 실행하기 = 255
• 예제 : 메모장 에디터 찾아내기 = 256
• 예제 : 메모장 테스트 코드 = 256
• 예제 : 하이퍼 링크 테스트 코드 = 259
• 10장 효과적인 테스트 코드 및 관리
• 테스트 코드 설계 고려사항 = 261
• 이해하기 쉬운 코드 작성 = 261
• 예제 : 목적이 확실치 않은 테스트 코드 = 262
• 예제 : 커멘트 사용 후의 테스트 코드 = 263
• 예제 : 〈summary〉를 사용하여 테스트 케이스를 기록한 테스트 코드 = 263
• 예제 : 〈remarks〉를 사용하여 테스트 환경을 기록한 테스트 코드 = 265
• 예제 : 중복될 수 있는 코드가 있는 예 = 266
• 예제 : Utils 라이브러리 = 267
• 예제 : Utils 라이브러리를 사용하여 수정한 테스트 코드 = 267
• 예제 : 비효율적인 라이브러리의 예 = 268
• 예제 : 효율적이고 확장 가능한 Utils 라이브러리 = 269
• 예제 : 클린업이 항상 실행되도록 디자인된 테스트 코드 = 271
• 예제 : Console.WriteLine을 사용한 코드의 예 = 273
• 예제 : 기대했던 결과와 실제 결과를 같이 로깅하는 코드 예 = 276
• 테스트 코드 작성 = 277
• 테스트 코드 구성의 이해 = 277
• 테스트 케이스 기본 클래스 = 278
• 예제 : 테스트 케이스의 기본 클래스 BaseTestCase의 구현 = 278
• 예제 : BaseTestCase클래스를 사용하여 구현한 테스트케이스의 예 = 281
• 예제 : 테스트 케이스 구현 예제 = 282
• 예제 : 메모장의 파일 저장 기능을 테스트하는 테스트 코드 = 282
• 테스트 케이스 예제 2 = 287
• 예제 : 윈도우 미디어 플레이어의 재생 기능을 테스트하는 코드 = 287
• 비효율적인 테스트 코드 = 292
• 예제 : 네트워크 경로에 의존한 코드 = 292
• 예제 : 네트워크 경로의 존재 여부에 대한 확인을 추가한 테스트 코드 = 293
• 예제 : 특정 드라이브나 경로를 가정한 테스트 코드 = 293
• 예제 : 시스템 환경 변수를 사용한 테스트 코드 = 293
• 예제 : 실행되기 위해서 특정 권한을 필요로 하는 테스트 코드 = 294
• 예제 : 버튼 컨트롤의 위치를 확인하는 코드 = 295
• 예제 : 컨트롤이 일렬로 정렬되었는지 검증하는 코드 = 295
• 11장 실행 관리 시스템과 사인오프 관리 시스템 구축
• 테스트 케이스 저장 = 300
• 데이터 베이스 만들기 = 301
• 데이터 베이스에 테스트 저장 = 301
• 테스트 스윗 출력 C# 코드 = 302
• 따라하기 : Web Developer 2005로 새 웹사이트 만들기 = 303
• 테스트 환경 구축 = 304
• 드라이브 포맷 = 305
• 드라이브 포맷 = 305
• 운영체제 설치 = 306
• 따라하기 : 무인설치 = 306
• 예제 : 응답 파일 = 308
• 예제 : 설치 배치 파일 = 309
• 예제 : 운영체제 설치를 위한 JScript코드 예 = 310
• 응용프로그램 설치 = 311
• 예제 : 테스트할 응용프로그램 설치 = 312
• 테스트 프로그램 설치 = 313
• 예제 : 테스트 실행 프로그램 설치 = 314
• 디버거 설치 = 314
• 디버거 설치 = 316
• 테스트 실행과 로그 저장 및 분석 = 317
• 로거 = 318
• 예제 : 테스트 수행 시간 기록 = 319
• 예제 : 로거 샘플 코드 = 319
• 테스트 실행 = 323
• 테스트 결과 분석 = 326
• 사인오프 관리 시스템 = 329
• 필요한 기능 = 329
• 구축 = 330
• 예제 : 테스트 결과 파일 읽기 = 331
• 예제 : 테스트 결과 저장 = 332
• 예제 : 테스트 결과 테이블 작성 = 333
• 예제 : 사인오프 정보 보여주기 = 334
• 예제 : 사인오프 결과 저장 = 336
• 예제 : 추가적으로 제공 되면 좋은 기능 = 337
• 12장 데이터베이스 응용프로그램
• 응용프로그램의 이해 = 339
• 응용프로그램의 프로토타입 = 340
• 프로토타입 버그 = 344
• 버그 해결 후의 프로토타입 = 344
• 개발 코드 = 346
• 예제 : 버그 쿼리 폼의 쿼리 실행 버튼 기능 구현 = 346
• 예제 : 쿼리 버튼에서 사용하는 QueryBugs SQL stored procedure = 348
• 예제 : 버그 쿼리 빌더에서 쿼리 지우기 기능의 구현 = 349
• 예제 : 버그 저장 기능의 구현이 SaveBug 함수 = 350
• 예제 : 버그 저장 시 사용하게 될 UpdateBug SQL stored procedure = 352
• 예제 : 버그 해결 기능의 구현이 CloseBug 함수 = 354
• 예제 : 버그 해결 시 사용하게 될 CloseBug SQL stored procedure = 355
• 테스트 케이스 = 357
• 테스트 코드 = 359
• 테스트 케이스 1 = 359
• 예제 : Inspect32를 사용하여 버그 리스트 보기 = 360
• 예제 : UITestLib.ListBox.Find를 사용 해 버그 리스트 정보를 불러오는 코드 = 361
• 따라하기 : 데이터베이스 탐색기를 통해서 데이터베이스를 알아보기 = 361
• 예제 : 데이터베이스에서 불러온 데이터 조합하기 = 365
• 예제 : 테스트케이스 1 = 366
• 테스트 케이스 2 = 370
• 따라하기 : Inspect32를 사용해 버그 리스트의 combo box 알아보기 = 371
• 예제 : 테스트케이스 2 = 372
• 테스트 케이스 3 = 375
• 예제 : 테스트케이스 3 = 376
• 테스트 케이스 4 = 378
• 예제 : OpenedBy 컨트롤에 Accessibility 구현하기 = 379
• 따라하기 : AccExplorer32를 통해 버그 컴포넌트 그룹 알아 보기 = 379
• 예제 : UITestLib.TreeView.Find를 사용해서 버그 컴포넌트 그룹 조작하기 = 379
• 예제 : 테스트케이스 4 = 380
• 테스트 케이스 5 = 384
• 예제 : 테스트케이스 5 = 384
• 버그 픽스 후의 개발 코드 = 388
• 예제 : 테스트 케이스3에서 발견된 버그 = 388
• 예제 : 문제의 코드 = 389
• 예제 : 테스트 케이스3에서 발견된 버그 수정 코드 = 389
• 예제 : 테스트 케이스3에서 추가한 코드 = 391
• 13장 게임 응용프로그램 오토메이션
• 응용프로그램의 이해 = 393
• 응용프로그램의 프로토타입 = 393
• 프로토타입 버그 = 394
• 버그 해결 후의 프로토타입 = 395
• 따라하기 : NTris.exe.config 추가 하기 = 396
• 개발 코드 = 398
• 예제 : Block 클래스 구현 = 398
• 예제 : Block.CreateAccessibility 메서드 구현 = 404
• 예제 : BlockAccessibleObject.State 속성 구현 = 404
• 예제 : Shape 클래스 구현 = 404
• 예제 : Shape.Rotate 메서드 구현 = 411
• 예제 : Shape O 클래스 구현 = 412
• 예제 : GameBoard의 CheckFullLine 구현 = 413
• 예제 : Timer 구현 = 415
• 예제 : ProcessDialogKey 구현 = 416
• 테스트 케이스 = 418
• 테스트 코드 = 420
• 테스트 케이스 1 = 420
• 따라하기 : AccEvent를 사용하여 블록의 Accessibility 이벤트 알아 보기 = 421
• 예제 : 테스트 케이스 1 구현 코드 = 424
• 테스트 케이스 2 = 426
• 따라하기 : AccEvent를 사용하여 블록 이동에 대한 Accessibility 속성 변화 알아 보기 = 427
• 예제 : 테스트 케이스 2 구현 코드 = 428
• 테스트 케이스 3 = 431
• 예제 : NTris의 Program.cs 구현 = 431
• 예제 : NTris의 GameBoard.cs에 추가된 새 메서드 = 432
• 예제 : ?? = 432
• 테스트 케이스 4 = 435
• 예제 : CustomEventReceived 처리자 = 436
• 예제 : OnCustomEventReceived 처리자 = 436
• 예제 : 테스트 케이스 4 구현 = 436
• 테스트 케이스 5 = 438
• 예제 : ExitGame 구현 = 439
• 예제 : 테스트 케이스 5 구현 = 439
• 버그 픽스 후의 개발 코드 = 441
• 예제 : 테스트 케이스 5에 의해 발견된 개발 코드 픽스 = 441
• 14장 테스트 툴 소개
• 블랙박스 테스트 툴 = 443
• PerfMon = 443
• 따라하기 : PerfMon의 성능 카운터로 프로그램 모니터링하기 = 444
• AppVerifier = 450
• 예제 : AppVerifier로 프로그램의 Heap 테스트하기 = 451
• 화이트박스 테스트 툴 = 455
• FxCop = 455
• FxCop로 디자인 오류 찾아내기 = 455
• Prefast = 458
• 따라내기 : 마이크로소프트 Visual Studio 2005를 통하여 PreFast 실행하기 = 459
• 15장 소프트웨어 테스트의 발전과 응용
• 직군별 품질 개선 업무 = 463
• 프로젝트 총괄 리더 = 463
• 테스트 리더들 = 465
• 테스트 담당자 = 467
• 개발 담당자 = 468
• 간접 품질 개선 업무 = 469
• 프로젝트 리더 = 469
• 테스트 리더 = 470
• 테스트 담당자 = 470
• 개발 담당자 = 471
• 소프트웨어 테스트 툴 = 472