감귤류에 대한 자동화된 생산량 모니터링 시스템 및 품질 분류

국문 초록 (Abstract)

감귤류에 대한 자동화된 생산량 모니터링 시스템 및 품질 분류

전자정보공학부 컴퓨터공학

더르츠 올지어르시흐

지도교수 이말례
요약
과일과 야채의 품질 분류 생산량 모니터링은 작물관리 시스템에 있어서 상당히 어렵고 중요한 과제 중 하나이다. 생산량 모니터링은 선택가능한 통제수단과 다른 영농관리의 정보 지도를 생성해 수확 일정을 계획하고, 생산량을 예측하는 가치 있는 정보를 제공할 수 있습니다. 또한, 생산량을 초기에 예측하는 것은 농업에 있어서 항상 중요한 도전과제 입니다.

제주는 한국에서 최고의 노지감귤 생산지역입니다. 노지감귤의 생산량과 품질은 제주특별자치도 노지감귤 관측조사 위원회 및 제주특별자치도 농업기술원에서 다음과 같이 일 년에 세 번 5월, 8월, 11월에 걸쳐서 조사하고 있습니다 [1-4]:

1. 노지감귤 생산량 모니터링.
a. 꽃 수량을 조사
b. 꽃수와 오랜 된 잎 수량을 확인하여 화엽비(잎 수에 대한 꽃수의 비율)를 조사
c. 꽃 수량과 새로 나온 잎의 강약 정도를 조사
2. 노지감귤 품질 예측

예를 들면, 2013년 5월 6일부터 15일 동안 조사실무자 112명과 조사보조요원 224명이 제주도내 노지감귤 과수원 458곳에서 농업 관측조사를 실시하였다[5]. 관측조사 중에 전체 감귤나무의 꽃과 잎이 아닌, 표본으로 선정된 감귤나무의 꽃과 잎을 계수 하였다. 이 관측조사에는 많은 노동과 시간과 비용이 사용되었다. 그러나 이러한 관측조사 결과를 통한 생산량 예측이 실제 생산량과 항상 정확이 일치하는 것은 아니다.

이러한 정밀하지 않고 비효율적이면서 많은 비용이 소요되는 실제적인 위험을 극복하기 위해 노지감귤의 품질 분류를 위한 자동화된 생산량 모니터링 시스템을 제안한다. 이 논문의 주된 목표는 노지감귤의 꽃과 이파리와 과실의 색상 정보 그리고 과실의 품질 분류 및 과실의 크기와 색상의 성분 분석을 통한 자동화된 생산량 모니터링 시스템 개발을 목표로 하고 있다.

제안 한 자동화된 생산량 모니터링 시스템은 노지감귤의 꽃, 잎, 색상 구성 요소를 사용하여 이미지에서 과일을 식별하고, 노지감귤을 수확하기 전 감귤나무에 꽃들이 피기 시작하는 계절 초기에 감귤 생산량을 예측하고 있다. 이러한 데이터는 생산량 매핑을 결정하는데 사용하고, 나무에 있는 감귤의 색상 정보를 이용하여 감귤나무의 과실 사이즈와 품질을 분류한다.

5월 달과 8월 달 11월 달에 카메라를 이용하여 노지감귤 과수원에서 모두 21개의 샘플 나무 이미지를 촬영했다. 이미지들은 제주특별자치도 제주시 애월읍 광령1리 지역에서 촬영되었다. 이 이미지들은 노지감귤의 품질 분류를 위한 자동화된 생산량 모니터링 시스템을 개발하기 위해 사용되었다. 부분적으로 흐린 조명 조건과 자연 상태의 야외 일광에서 정지모드로 각 나무의 네 측면을 촬영 하였다.

감귤 성장시기의 초기 단계에서 생산량 모니터링 시스템을 구축하기 위해 새로운 알고리즘이 개발되었다. 다양한 자연 조명 조건에서 감귤 꽃의 색상을 감지하고 수를 세는 알고리즘은 감귤류 과일의 생산량을 추정할 수 있게 만들어준다. 제안된 알고리즘이 중요성은 자연 야외 조명 조건에서 감귤 꽃 인식에 대한 정확한 결과를 제공하고, 믿을 수 있고 실현가능한 효율성을 나타내는데 특별한 의미가 있다.

감귤 나무의 오랜 된 잎과 꽃 수량 비율을 확인하는 알고리즘을 개발하였다. 오랜 된 잎의 픽셀 값과 꽃의 필셀 값에 중앙값필터 3x3을 적용하여 감귤나무의 오랜 된 잎과 꽃의 비율을 정확하게 확인할 수 있습니다. 여기서 제안된 컴퓨터 비전 방법은 감귤나무의 오랜 된 잎과 꽃 수량 비율을 최소한의 노동을 사용하고, 시간과 경비를 사용해서 신속하게 알아내는 것을 목표로 한다.

감귤나무에서 새로 나온 잎과 꽃 수량을 확인해서 그룹으로 나눌 수 있는 알고리즘을 개발하였다. 감귤 생산량 모니터링을 하는 과수원의 감귤나무에서 새로운 잎과 꽃 수량 정도를 알기 위해서 감귤나무 이미지를 가지고 조사하였다. 감귤나무의 잎과 꽃이 발생 정도를 정확히 조사하기 위해서, 이미지를 라운드로 만들고서 라운드 이미지의 전체 꽃 수량과 새로 나온 잎 수량에, 수량 확인 알고리즘을 적용하여 사용하면 좋은 결과를 찾을 수 있었다.

노지감귤 나무의 생육 중인 과일 인식 및 수량 확인을 위한 새로운 알고리즘을 개발하였다. 자연 광원 조건에서 과수원의 과일 수량을 휴먼비전 방법으로 계산하고, 노지감귤 수량 확인 알고리즘을 이용한 방법과 비교하였다. 시뮬레이션에서 생성한 출력 값은 새로운 계산 알고리즘이 적합하고 효과적임을 보여주고 있다. 21개의 샘플 나무를 가지고 비교한 결과, 노지감귤의 과일 인식 및 수량 확인 알고리즘은 꽃 수량의 10%-25%로 추정된다. 25%로 추정한 꽃 수량 확인 알고리즘에서 계산된 생산량과 수확하기 전에 추정한 생산량은 서로 근사치에 있습니다.


본 논문에서는 자동화된 생산량 모니터링에 대한 생산량 매핑을 위하여 21개의 샘플 나무에서 두 종류의 데이터 세트를 사용하여 플롯 팅 하였다: 1) 이른 시기에 생산량 모니터링을 위한 생산량 매핑과 2) 수확시점 전에 생산량 매핑을 얻을 수 있습니다.

본 연구에서는 노지감귤 나무의 감귤 크기에 따른 감귤류 품질의 분류를 위한 새로운 컴퓨터 비전 알고리즘을 개발하였다. 감귤의 지름과 감귤의 경계 및 감귤의 영역으로 그룹화한 결과는 제주특별자치도 노지감귤 관측조사 위원회가 제공한 감귤 크기에 대한 조사 연구의 결과와 비교 하였다. 대표적인 이미지의 비교 결과는 노지감귤 지름에 대한 픽셀 값이 경계에 대한 픽셀 값과 영역에 대한 픽셀 값보다 실제 크기 감귤의 사이지를 잘 나타낸다는 것을 보여준다.

노지감귤의 색상에 따른 감귤류 품질 분류를 위하여 두개의 새로운 알고리즘을 개발하였다.

여기서 제안한 시스템의 장점은 생산량 예측이 필요한 계절의 이른 시기, 노지감귤 나무에 꽃들이 피는 때와 노지감귤을 수확하기 전에 예상된 노지감귤 생산량의 정보를 제공 할 수 있다는 것입니다. 여기서 제안 한 시스템은 감귤이 나무에 달려 있는 상태에서, 감귤의 크기와 감귤의 색상 정보를 가지고 노지감귤의 품질을 분류하는 것이다.

본 논문에 기재된 생산량 모니터링 시스템은 가능한 한 다양한 감귤류 경영 관리에 관개 관행, 식물에 제초제 살포시 응용 및 다른 농업의 필요한 부분에 다양한 방면으로 사용될 수 있습니다. 제안된 시스템에서 개발 된 알고리즘은, 사과, 대추, 감 등 다른 여러 가지 과일 생산량 모니터링 시스템에 적용 할 수 있다.
주요어 : 생상량모니터링, 품질분류, 감귤류, 영상처리, 신경망

다국어 초록 (Multilingual Abstract)

An Automated Yield Monitoring System for
Quality Classification in Citrus Fruits

Center for Advanced Image and Information Technology,
School of Electronics & Information Engineering

Ulzii-Orshikh Dorj

Advised by Malrey Lee
ABSTRACT
Yield monitoring of fruits, vegetables, and the classification of their quality is one of the more difficult and important tasks in a crop management system. Yield monitoring can provide valuable information for forecasting yields, planning harvest schedules, generating alternate bearing year prescription maps and other management practices. As well, an early prognosis of expected yields has always been a major challenge in agriculture.
Jeju is the number one citrus fruit producing province in South Korea. Citrus fruit yield and quality are surveyed by the Jeju Citrus Commission and the Jeju Special Self-Governing Province Agricultural Research & Extension Services three times per year during the months of May, August, and November as follows[1-4]:
1. Yield Monitoring of the Citrus Fruits
a. by Number of Flowers
b. by Ratio of Old Leaves to Flowers
c. by Degree of New Leaves and Flowers
2. Quality Prediction of Citrus Fruit Yield
For example, during the year 2013, for 15 days commencing from the 6th of May an agricultural research survey was conducted in 458 locations on Jeju Island by 112 researchers and 224 assistants [5]. During this survey, not all tree flowers and flowers were counted, instead a representative sampling was conducted. A large degree of labor, time and capital was utilized during this survey research. A certain margin of error may also be evident due to the limited number of trees that were included in the survey as well as other factors.
In order to overcome practical draw-backs such as inaccuracy and inefficiency, as well as considerations for the cutting of financial costs, an automated yield monitoring system for quality classification in citrus fruits is hereby proposed. The main goal of this thesis is to work towards the development of an automated yield monitoring system by using color component information of the citrus flowers, leaves, fruits, and quality classification for the estimation of fruit size and color component analysis.
The proposed system identifies citrus flowers, leaves, and fruits from images using color components and subsequently estimates citrus yields for a single tree either early in the season when citrus tree flowers are blooming, or before the harvest.; These data are then used to determine yield mapping; and citrus fruits, which are on the tree and are classified by quality for a single tree by fruit size using color component information.
A total of 21 sample tree images were taken during the months of May, September and November using cameras in the tangerine groves. These images were taken at Gwangnyeong 1-ri, Aewol-eup on Jeju Island. The images were then used for developing an automated yield monitoring system for quality classification in citrus fruits. Images were taken from four sides of each tree in a stationary mode under natural outdoor daylight, and also in partly cloudy illumination conditions.
In order to establish a system of yield monitoring at the early stages of a growing season a new algorithm was developed. A Color Detection/Counting Algorithm for Citrus Flowers under Various Natural Lighting Conditions was created that is able to estimate citrus fruit yields. It is significant to point out that the proposed algorithm gives an accurate result for citrus flower recognition in natural outdoor lighting conditions and is found to be reliable, feasible and efficient.
A Determinant Algorithm for the Ratio of Old leaves to Flowers was developed. The application of the Median Filter 3x3 allows for a reliable representation of the ratio of old leaves to flowers for a single tree. With the goal of determining the ratio of old leaves and flowers quickly, and with a minimum expenditure of labor, time, and capital, the proposed computer vision method is considered to be efficient.
A Determinant Counting Algorithm for the counting of new leaves and flowers was developed. This algorithm was developed in order to determine the degree of new leaves and flowers for citrus fruit yield monitoring in orchards. The total number of flowers, the total number of new leaves and the grouping of results from the flower counting algorithm for circle images were found to provide reliable results for the determinant degree of citrus tree leaves and flowers.
A new algorithm for citrus fruit detection and counting was developed. Under natural lighting conditions the prediction of citrus fruits numbers from the orchard is computed and compared based on human vision counting and subsequently compared with the citrus fruit counting algorithm. The simulation outputs demonstrate that the new counting algorithm is both suitable and effective. The results of this citrus fruit recognition and counting algorithm paired with computed yield estimations of 10%-25% of the results of the flower counting algorithm were compared for 21 sample trees. Yield estimates prior to harvest were compared with the computed yield estimates from the flower counting algorithm at 25% and were found to generate similar results.
In this thesis two kinds of yield mapping for an automatic yield monitoring system were plotted by using two different data sets for the 21 sample trees: 1) Yield mapping for early yield monitoring, and 2) Yield mapping prior to harvest.
A new computer vision algorithm for quality classification in citrus fruits based on size for a single tree was developed in this study. The properties of area, perimeter, and diameter for the citrus fruits of the input image were measured by pixels. In order to estimate citrus fruit size in a realistic manner, ratios of diameter, perimeter and area pixels values to actual size for the citrus fruit were determined. Results of grouping by diameter, perimeter, and area were compared with results of the survey research for citrus fruit size as provided by the Jeju Citrus Commission. Comparison results demonstrate that citrus fruit diameter pixels of the image represent the actual size of the citrus fruits in a more reliable manner than the other two pixels values (i.e., perimeter and area).
New algorithms for quality classification in citrus fruits based on colors utilizing two distinct methods were developed. The mean values of the RGB components were determined for the first method and were based on a total of 144 images (24 for each dark green, light green, yellow, light orange, dark orange, and rejected citrus image). The neural network classification was developed within Mean Red, Green, and Blue Values input nodes, and Dark Green, Light Green, Yellow, Light Orange, Dark Orange, and Blemish output nodes. For developing the 2nd algorithm for quality classification in citrus fruits based on colors for a single green fruit, the image processing operation is carried out using 60 images (coarse skin 20, flawed skin 20, and smooth skin 20, respectively). The average green component values of the pixels were determined. Representative graphs were plotted for three cases, i.e., coarse skin, flawed skin, and smooth skin citrus fruits. Plotted representative graphs were provided illustrating different shapes for coarse, flaw, smooth skin fruits.
The main advantages of the proposed system is that it can provide a reading of the expected yield of a single tree both early in the season, when citrus tree flowers are blooming, and also prior to harvest. Additionally, the proposed system would classify citrus fruits by quality for a single tree by fruit size, and color information, when the fruit is still on the tree.
The yield monitoring system as set forth in this thesis could conceivably be used for enhancing various citrus management practices such irrigation practices, application of herbicide to plants and other agricultural requirements. The algorithms, which were developed in the proposed system, could be applied to other fruit yield monitoring systems, such as for apples, jujube, persimmon, etc.
Keywords: yield monitoring, quality classification, citrus fruit, image processing, neural network

목차 (Table of Contents)

• List of Figures v
• List of Tables ix
• ABSTRACT (English) xi
• 1.Introduction 1
• 2.Literature survey 5
• 2.1.Precision Agriculture and Yield Monitoring 5
• 2.2.Image Analysis 5
• 2.2.1.Color Models 5
• 2.2.2.RGB Color Model 6
• 2.2.3.HSI Color Model 7
• 2.2.4.YIQ Color Model 9
• 2.2.5.Convert RGB Image to HSV, and Split Color Components 9
• 2.3.Noise Modeling and Image Filtering 11
• 2.3.1.The Salt & Pepper Noise 12
• 2.3.2.Gaussian Noise 13
• 2.3.3.Noise Removal Using Spatial Filters 13
• 2.3.3.1. Ordered Filters (Non-Linear) 13
• 2.3.3.2. Linear Filters 14
• 2.3.4.Image Filtering 15
• 2.3.5.Gaussian Smoothing 16
• 2.4.Binary Image 18
• 2.5.Thresholding 18
• 2.6.Watershed Segmentation 19
• 2.7.Neural Network 19
• 3.An Automated Yield Monitoring System 21
• 3.1.Flower, Leaf, Fruit Recognition and Counting 21
• 3.1.1.Flower Recognition and Counting in Early Yield Monitoring 22
• 3.1.1.1.Objectives and Methodology 23
• 3.1.1.2.Image Acquisition & Preprocessing 24
• 3.1.1.3.Image Processing 24
• 3.1.1.4.Yield Estimation 26
• 3.1.2.Determinant Ratio of Old Leaves to Flowers in Early Yield Monitoring 27
• 3.1.2.1.Objectives and Methodology 28
• 3.1.2.2.Image Acquisition& Preprocessing 30
• 3.1.2.3.Image Processing 30
• 3.1.2.4.Neural Network Classification 31
• 3.1.2.5.Determinant Ratio of Old Leaves to Flowers 34
• 3.1.3.New Leaves and Flowers Determinant Counting Algorithm 35
• 3.1.3.1.Objectives and Methodology 36
• 3.1.3.2.Image Acquisition& Preprocessing 36
• 3.1.3.3.Image Processing 37
• 3.1.3.4.Neural Network Classification 38
• 3.1.4.Citrus Fruit Recognition and Counting Prior to Harvest 40
• 3.1.4.1.Objectives and Methodology 43
• 3.1.4.2.Image Acquisition& Preprocessing 44
• 3.1.4.3.Image Processing 45
• 3.1.4.4.Comparison between the Counting Algorithm and the Yield Estimates Result 49
• 3.1.5.Yield Mapping 49
• 3.2.Citrus Fruit Quality Classification 51
• 3.2.1.Citrus Fruit Quality Classification Based on Size 53
• 3.2.1.1. Objectives and Methodology 54
• 3.2.1.2. Image Acquisition& Preprocessing 55
• 3.2.1.3. Image Processing 55
• 3.2.1.4. Quality Classification Based on Size 56
• 3.2.2.Citrus Fruit Quality Classification Based on Colors 57
• 3.2.2.1.1st Method 57
• 3.2.2.1.1.Objectives and Methodology 57
• 3.2.2.1.2.Image Acquisition 58
• 3.2.2.1.3.Image Processing 58
• 3.2.2.1.4.Neural Network Classification 58
• 3.2.2.2.2nd Method 59
• 3.2.2.2.1.Objectives and Methodology 59
• 3.2.2.2.2.Image Acquisition& Preprocessing 60
• 3.2.2.2.3.Image Processing 60
• 3.2.2.2.4.Quality Classification Based on Colors 61
• 4.Performance Evaluation and Discussion on Experimental Results 62
• 4.1.Flowers, Leaves, Fruit Recognition and Counting 62
• 4.1.1.Flower Recognition and Counting in Early Yield Monitoring 62
• 4.1.2.Determinant Ratio of Old Leaves to Flowers in Early Yield Monitoring 82
• 4.1.3.New Leaves and Flowers Determinant Counting Algorithm 103
• 4.1.4.Citrus Fruit Recognition and Counting Prior to Harvest 117
• 4.1.5.Yield Mapping 124
• 4.2.Citrus Fruit Quality Classification 127
• 4.2.1.Citrus Fruit Quality Classification Based on Size 127
• 4.2.2.Citrus Fruit Quality Classification Based on Colors 137
• 4.2.2.1.1st Method 137
• 4.2.2.2.2nd Method 144
• 5 Conclusions 150
• Appendix 153
• References 177
• Research Publications in International Journals and Conferences 186
• ABSTRACT (Korean) 196
• ACKNOWLEDGEMENTS 200