제한된 훈련 데이터셋에서 이미지 변환 및 2단계 전이학습을 사용한 향상된 식물 병증 인식 = Enhanced Plant Disease Recognition with Limited Training Dataset Using Image Translation and Two-Step Transfer Learning

국문 초록 (Abstract)

식량 안보는 현재 주요 사회 문제 중 하나로 관련 기술은 지난 수십 년 동안 크게 개선되었다. 그러나 유엔에 따르면, 전 세계적으로 약 10\%의 인구가 기아로 고통받고 있으며, 2021년도에 인구의 3분의 1이 충분한 영영을 섭취하지 못하고 있다.
또한 많은 나라에서 농업과 관련된 노동자의 수가 감소하고 있다. 한국의 경우, 농업에 종사하는 인구는 2014년에는 6\%, 2020년에는 전체 인구의 약 4.5\%만을 차지하는 데 그쳤다. 더구나, 기타 많은 요인이 작물의 성장 및 생산량 증가에 위험이 된다.
본 논문에서 연구자는 작물 질병에 초점을 맞추어 연구를 수행한다. 다른 요소들과 비교했을 때, 작물 질병의 처치가 현재 기술과 사회적 경향을 고려할 때 식량 문제를 완화하는 쉬운 방법의 하나일 것이기 때문이다.

농업 전문가의 지식 및 전통적 기계 학습 기반의 작물 질병 인식 방법과 비교하여 딥러닝을 사용한 방법은 최근 몇 년 동안 유용한 결과를 달성하였다. 그러나 문제는 원하는 성능을 얻기 위해서 많은 양의 데이터가 필요하다는 점이다. 그리고 실제 시나리오와 많은 애플리케이션에서 이미지를 수집하고 주석을 설정하는 것은 복잡하고 비용이 많이 든다. 따라서 제한된 훈련 데이터 세트만으로 딥러닝을 사용하여 더 높은 성능을 얻는 것이 중요한 연구 분야로 인식되었다. 본 논문은 이러한 도전 과제 하에서 작물 질병 인식에 대한 딥 러닝의 수행을 촉진하는 것을 목표로 한다.

이 문제를 해결하기 위해 본 연구자는 작물 질병 인식을 그 특성을 가진 컴퓨터 비전 작업으로 간주하였으며, 이러한 관점에서 style-consistent image translation 알고리즘과 transfer learning 전략을 제안한다.
건강한 잎 이미지가 질병에 걸린 잎보다 높은 intra-class variation에서 수집되기가 훨씬 쉽다는 관찰에서 영감을 받아, 건강한 잎을 질병이 있는 잎으로 translation 하지만, 이미지의 스타일은 건강한 잎에서 질병이 있는 잎으로 높은 intra-class variation을 취할 수 있는 스타일 손실 함수를 사용하여 유지된다.

한편, 우리는 일반적인 컴퓨터 비전의 데이터 세트와 작물 질병의 차이를 발견했다. 일반적이고 합리적인 가정은 비슷한 source 및 target 데이터 세트가 transfer learning 패러다임에 유익하다는 것이다. 따라서 2,885,052개의 이미지와 80,000개의 클래스를 가진 작물 관련 데이터 세트인 PlantCLEF2022이 모델을 pre-train 하는 데 사용되었다. PlantCLEF2022의 train 시간을 줄이기 위해 ImageNet에서 pre-trained된 공개 모델을 PlantCLEF2022에서 한 번 더 pre-triain 한 후 target 데이터 세트에서 fine-tuning 하는 2단계 transfer learning 방법을 제안하였다.

마지막으로 알고리듬을 증명하기 위한 실험을 구현하였다. style-consistent image translation은 5개의 클래스와 999개의 이미지를 포함한 토마토 질병 데이터 세트에서 검증된다. data augmentation 및 translation이 없는 이전 이미지와 비교하여, 우리의 알고리듬은 6개의 이미지 분류, 4개의 객체 감지 및 2개의 인스턴스 분할 모델에서 이미지 분류와 객체 감지 및 인스턴스 분할 모두에서 우수한 결과를 달성한다. 질적으로 본 연구에 사용된 딥러닝 모델은 여러 종류의 토마토 질병 잎을 생성하였고, 그 차이를 이해할 수 있었다. 또한, 2단계 transfer learning 전략은 13개의 작물 질병 관련 데이터 세트에서 검증되었다.
우리의 방법을 사용한 성능 평가를 살펴보면, 8개의 데이터 세트 설정에서 일반적으로 채택되는 transfer 학습을 확실한 차이로 능가하였다. 또한 2단계 transfer learning은 20-short 사례에서 12개 데이터 세트에 대해 현재의 state-of-the-art 성능인 73.53\%보다 12.76\% 높은 86.29\%의 유의미한 평균 테스트 정확도 향상을 달성하였다.

목차 (Table of Contents)

• Contents i
• List of Figures iv
• List of Tables vi
• Abstract vii
• 1 Introduction 1
• 1.1 Dissertation Motivation 1
• 1.2 Dissertation Vision 3
• 1.3 Dissertation Contributions 4
• 1.4 Dissertation Overview 5
• 2 Background on Deep Learning 8
• 2.1 Computer Vision Task 8
• 2.2 Composition of Deep Learning 11
• 2.2.1 Big Data 11
• 2.2.2 Deep Learning Algorithm 14
• 2.2.3 Computation Device 19
• 2.3 Challenge with Deep Learning 19
• 2.4 Discussion 21
• 3 Background on Plant Disease Recognition 25
• 3.1 Preliminary on Plant Disease Recognition 25
• 3.1.1 Human Request and Computer Vision 25
• 3.1.2 Existing Paradigms to Recognize Plant Disease 26
• 3.1.3 Plant-Related Optical Techniques 29
• 3.2 Deep Learning for Plant Disease Recognition 32
• 3.2.1 Traditional Machine Learning and Deep Learning for Plant Disease Recognition 33
• 3.2.2 Taxonomy towards Plant Disease Recognition with Deep learning 35
• 3.2.3 Limited Training Dataset for Plant Disease Recognition and Current Techniques 38
• 4 Techniques to Enhance Plant Disease Recognition with Limited Training Dataset 42
• 4.1 Motivation 42
• 4.2 Style-Consistent Image Translation: A Novel Data Augmentation Paradigm to Improve Plant Disease Recognition 43
• 4.2.1 Introduction 43
• 4.2.2 Preliminary on Data Augmentation and Image Translation 48
• 4.2.3 Approach 52
• 4.3 Two-Step Transfer Learning for Versatile Plant Disease Recognition with Limited Data 55
• 4.3.1 Introduction 55
• 4.3.2 Approach 59
• 5 Experiments 65
• 5.1 Style-Consistent Image Translation: A Novel Data Augmentation Paradigm to Improve Plant Disease Recognition 65
• 5.1.1 Dataset 65
• 5.1.2 Implementation Details 66
• 5.1.3 Experimental Result 69
• 5.1.4 Discussion 79
• 5.2 Two-Step Transfer Learning for Versatile Plant Disease Recognition with Limited Data 80
• 5.2.1 Dataset 80
• 5.2.2 Implementation 85
• 5.2.3 Experimental Result 88
• 5.2.4 Discussion 94
• 6 Discussion 98
• 7 Conclusion and Future Work 101
• Bibliography 104
• 요약문 120
• Acknowledgments 122

참고문헌 (Reference)

1 X. Qiu, "Neural Network and Deep Learning", Beijing China Machine Press isbn 9787111649687 Available https//nndl github io/, 2020

2 M. Wang, W. Deng, "Deep visual domain adaptation: A survey", volume 312, pages 135–153, 2018

3 C. L. Zitnick, T.-Y. Lin, S. Belongie, P. Perona, P. Doll´ar, M. Maire, J. Hays, D. Ramanan, "Microsoft coco: Common objects in context", European conference on computer vision, Springer pages 740– 755, 2014

4 E. Okafor, P. Pawara, M. Wiering, L. Schomaker, "Data augmentation for plant classification,", International Conference on Advanced Concepts for Intelligent Vision Systems, Springer pages 615–626, 2017

5 A. Chen, Y. Hu, W. Zhang, M. Li, J. Li, H. Lin, G. Zhou, "Emernet for image-based banana disease recognition,", volume 15, number 5, pages 4696– 4710,, 2021

6 C. L. Harmon, S. A. Miller, F. D. Beed, "Plant disease diagnostic capabilities and networks,", volume 47, number 1, pages 15–38, 2009

7 C. Shorten, T. M. Khoshgoftaar, "A survey on image data augmentation for deep learning,", volume 6, number 1, pages 1–48, 2019

8 A. Nelson, S. Savary, S. J. Pethybridge, P. Esker, N. McRoberts, L. Willocquet, "The global burden of pathogens and pests on major food crops,", volume 3, number 3, pages 430–439, 2019

9 A. Brock, K. Simonyan, J. Donahue, "Large scale gan training for high fidelity natural image synthesis", International Conference on Learning Representations, 2018

10 G. Heigold, X. Zhai, T. Unterthiner, S. Gelly, M. Minderer, M. Dehghani, L. Beyer, D. Weissenborn, A. Kolesnikov, A. Dosovitskiy, "An image is worth 16x16 words: Transformers for image recognition at scale", International Conference on Learning Representations, 2020

11 X. Chao, Y. Li, "Semi-supervised few-shot learning approach for plant diseases recognition,", volume 17, number 1, pages 1– 10, 2021

12 H Scherm, "Climate change: Can we predict the impacts on plant pathology and pest management?", volume 26, number 3, pages 267–273, 2004

13 D. Al Bashish, S. Bani-Ahmad, M. Braik, "Detection and classification of leaf diseases using k-means-based segmentation and,", volume 10, number 2, pages 267–275, 2011

14 A. Gelibert, L. Tougne, D. Rousseau, C. F. Crispim-Junior, C. Douarre, "Novel data augmentation strategies to boost supervised segmentation of plant disease,", volume 165, page 104 967, 2019

15 B. Wu, Y. He, L. Feng, C. Zhang, "Hyperspectral imaging combined with deep transfer learning for rice disease detection,", volume 12, 2021

16 L. H. Yih, N. H. Mardhiah, M. M. F. Azizi, "Current and emerging molecular technologies for the diagnosis of plant diseases–an overview,", number 2, pages 294–305, 2022

17 D. S. Park, Y. Jeong, S. Yoon, M. Xu, J. Lee, "Transfer learning with self-supervised vision transformer for large-scale plant identification,", International conference of the cross-language evaluation forum for European languages, Springer, pages 2253–2261, 2022

18 A. Yadav, V. Pal, V. Bhateja, U. Thakur, R. Saxena, J. C.-W. Lin, "Afd-net: Apple foliar disease multi classification using deep learning on plant pathology dataset,", pages 1–17, 2022

19 E. A. Pozza, M. de Carvalho Alves, J. da Rocha Miranda, H. S. Neto, "Detection of coffee berry necrosis by digital image processing of landsat 8 oli satellite imagery,", volume 85, page 101 983, 2020

20 A. Bhujel, N.-E. Kim, J. K. Basak, H.-T. Kim, E. Arulmozhi, "A lightweight attention-based convolutional neural networks for tomato leaf disease classification,", volume 12, number 2, page 228,, 2022

21 A. P. French, Y. He, T. P. Pridmore, M. P. Pound, J. Gao, J. G. Pieters, "Deep convolutional neural networks for image-based convolvulus sepium detection in sugar beet fields,", volume 16, number 1, pages 1–12, 2020

22 H. Kim, U.-O. Dorj, K. Jiang, J. You, J. Lee, "Detection of unknown strawberry diseases based on openmatch and two-head network for continual learning.,", volume 13, pages 989 086– 989 086,, 2022

23 A. F. Fuentes, S. Yoon, J. Lee, D. S. Park, "High-performance deep neural network-based tomato plant diseases and pests diagnosis system with refinement filter bank,", volume 9, page 1162, 2018

24 A.-K. Mahlein, "Plant disease detection by imaging sensors–parallels and specific demands for precision agriculture and plant phenotyping,", volume 100, number 2, pages 241–251, 2016

25 H. Maheshwari, Z. Shen, Z. Liu, Y. Zheng, X. Xue, T. S. Huang, M. Savvides, M. Huang, J. Shi, "Cdtd: A large-scale cross-domain benchmark for instance-level image-to-image translation and domain adaptive object detection,", volume 129, number 3, pages 761–780, 2021

26 A. Bereciartua-Perez, U. Irusta, T. Eggers, R. Navarra-Mestre, I. Egusquiza, E. Aramendi, C. Klukas, A. Picon, "Analysis of fewshot techniques for fungal plant disease classification and evaluation of clustering capabilities over real datasets,", page 295, 2022, 2022

27 B. Chu, Y. He, L. Jiang, H. Zhu, F. Liu, C. Zhang, "Hyperspectral imaging for presymptomatic detection of tobacco disease with successive projections algorithm and machine-learning classifiers,", volume 7, number 1, pages 1–12, 2017