Weakly Supervised Semantic Segmentation Using Image Masking and Clustering = 이미지 마스킹과 클러스터링을 이용한 약지도 영상 분할

다국어 초록 (Multilingual Abstract)

Image semantic segmentation, a task to classify each pixel among the interested classes, is an important problem with a wide range of applications such as autonomous driving, medical diagnosis, industrial automation, and aerial imaging. In recent years, deep convolutional neural networks have shown outstanding performances in image semantic segmentation. A main bottleneck of these approaches is that it requires large amount of fully-annotated data for training such networks. Since the acquisition of fully-annotated dataset is laborious and expensive, weakly supervised semantic segmentation (WSSS) has been suggested as an promising approach for future research direction. There are various types of weak labels for semantic segmentation, for instance, image-level labels, points, scribbles, and bounding boxes. Among these weak labels, image-level labels are popularly used in WSSS for its simplicity. In essence, image-level label denotes the existence of objects in an image. In this dissertation, we consider the problem of weakly supervised semantic segmentation using image-level label.

In the first part of dissertation, we introduce a new training strategy for weakly supervised semantic segmentation. In the proposed approach, we apply image masking technique inspired by human visual system that focuses on interesting vision field and ignores irrelevant parts. By guiding the attention of classification network using the outputs of the segmentation network, the classification network evaluates the qualities of segmentation output and encourages the segmentation network to generate more accurate output. To boost the segmentation performance, we also introduce simple yet effective technique to train the classification and refine the saliency map. Our experiment results demonstrate that our approach is effective in solving weakly supervised semantic segmentation.

In the second part of dissertation, we introduce a superpixel discovery method that generates semantic-aware superpixels. Our superpixels have new properties that the apart pixels can be grouped into a superpixel if they have similar semantic features. Also, the number of superpixels depends on the complexity of images, not the pre-defined number. Our superpixel expresses semantically similar group of pixels with a very small number of superpixels. We train the segmentation network using superpixel-guided seeded region growing technique which improves the qualities of initial seed. Our extensive experiments show that our approach achieves competitive segmentation performance with the state-of-the-arts in weakly supervised semantic segmentation.

국문 초록 (Abstract)

영상 분할은 영상 속 모든 픽셀을 관심있는 클래스로 분류하는 작업으로, 자율 주행, 의료 진단, 산업 자동화, 위성 영상 등에 널리 활용될 수 있는 중요한 문제이다. 최근에는 딥 컨볼루셔널 뉴럴 네트워크를 사용하여 영상 분할을 해결하는 방법이 그 우수한 성능으로 주목 받고있다. 이 접근 방법의 어려운 점은 네트워크를 학습시키기 위해서 대량의 정교하게 제작된 레이블이 필요하다는 점이다. 이러한 데이터로 구성된 데이터셋을 얻는것기에는 시간과 비용이 많이 소모되기 때문에 미래의 연구 방향으로 약지도 상황에서 영상 분할을 수행하는 것이 유망한 접근 방법으로써 다루어지고 있다. 영상 분할에 사용 할만한 약지도를 위한 레이블의 종류에는 영상 단위의 레이블 또는 점, 낙서, 경계 사각형 등이 있다. 이 중 영상 속에 존재하는 물체의 종류를 나타내는 영상 단위의 레이블이 가장 단순하고 제작이 쉽기 때문에 대부분의 연구에서 이 레이블이 활용되고 있다. 이 논문에서는 영상 단위의 레이블을 사용한 약지도 영상 분할 문제를 다룬다.

논문의 첫번째 부분에서는 양지도 영상분할을 위한 새로운 학습 기법을 소개한다. 제안하는 방법에서는 관심있는 시각 영역에 집중하고 관련 없는 부분을 무시하는 인간의 시각계로부터 영감을 얻은 이미지 마스킹 기법을 활용한다. 분할 네트워크로부터 얻은 출력으로 분류 네트워크가 집중 할 영역을 제한하여 분류 네트워크가 분할 네트워크의 출력의 질을 평가하도록 하며, 분할 네트워크가 더욱 정확하게 출력할 수 있도록 한다. 분할 성능을 향상시키기 위하여 간단하지만 효과적인 분류 네트워크 학습 방법과 특징 지도 개선 방법을 제안한다. 다양한 실험을 통하여 제안하는 방법으로 약지도 영상 분할을 효과적으로 해결할 수 있음을 보인다.

논문의 두번째 부분에서는 의미 인지 슈퍼픽셀을 생성하는 알고리즘을 제안한다. 제안하는 알고리즘으로 얻은 슈퍼픽셀은 멀리 떨어져 있더라도 비슷한 성징을 가질 경우에 하나의 묶음으로 합쳐질 수 있다는 새로운 특징이 있다. 또한, 슈퍼픽셀의 수는 미리 정해놓은 개수로 정해지는 것이 아닌 영상의 복잡도에 의해 정해진다는 특징이 있다. 제안하는 방법으로 얻은 슈퍼픽셀은 의미가 비슷한 픽셀들을 아주 적은 수의 슈퍼픽셀들로 표현해 낼 수 있으며 제안하는 슈퍼픽셀을 사용하여 기존의 슈퍼픽셀로는 달성하기 어려운 높은 정확도의 약지도 영상 분할 성능을 얻을 수 있다. 제안하는 분할 네트워크를 학습시키기 위하여 슈퍼픽셀에 의해 제한되는 시드 영역 확장 방법을 통해 밀도가 낮은 레이블의 질을 향상시키고 이것을 새로운 레이블로 사용한다. 다양한 실험을 통해 제안하는 방법이 약지도 영상 분할에 효과적임을 보인다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Backgrounds 1
• 1.1.1 Basics of Image Classification 2
• 1.1.2 Basics of Image Semantic Segmentation 3
• 1.1.3 Basics of Weakly Supervised Semantic Segmentation 5
• 1.2 Contribution and Organization 8
• 2 Weakly Supervised Semantic Segmentation Using Image Masking 10
• 2.1 Introduction 10
• 2.2 Related Work 14
• 2.2.1 Weakly-Supervised Semantic Segmentation 14
• 2.2.2 Visual Attention 15
• 2.2.3 Saliency Detection 16
• 2.3 Proposed Weakly-Supervised Semantic Segmentation Network 17
• 2.3.1 Training of Classification Network 18
• 2.3.2 Saliency Map Refinement 20
• iii
• 2.3.3 Training of Segmentation Network 22
• 2.4 Experiments 25
• 2.4.1 Dataset and Experiment Settings 25
• 2.4.2 Comparisons with state-of-the-arts 26
• 2.4.3 Ablation studies 29
• 2.4.4 Qualitative Results 33
• 2.5 Summary of Chapter 2 35
• 3 Weakly Supervised Semantic Segmentation Using Image Clustering 38
• 3.1 Introduction 39
• 3.2 Related Work 41
• 3.2.1 Weakly Supervised Semantic Segmentation 41
• 3.2.2 Superpixel 42
• 3.2.3 Seeded Region Growing 42
• 3.2.4 Transformer 42
• 3.3 Superpixel-guided Weakly Supervised Semantic Segmentation 43
• 3.3.1 Superpixel Generation 43
• 3.3.2 Initial Seed Generation 45
• 3.3.3 Segmentation Network Training 48
• 3.4 Experiments 50
• 3.4.1 Dataset and Experiment Settings 50
• 3.4.2 Comparisons with state-of-the-arts 51
• 3.4.3 Comparison of Superpixels 53
• 3.4.4 Effects of Hyperparameters 64
• 3.4.5 Qualitative Results 72
• 3.5 Summary of Chapter 3 74
• 4 Conclusion and Future Research 75
• Abstract (In Korean) 89
• iv
• 감사의 글 91

참고문헌 (Reference)

1 S. Kwak , S. Hong , and B. Han, "Weakly supervised semantic segmentation using superpixel pooling network", vol . 31 , no . 1, 2017

2 B. Zhang , J. Xiao , Y. Wei , M. Sun , and K. Huang, "Reliability does matter : An end-to-end weakly supervised semantic segmentation approach", vol . 34 , no . 07 ,, 2020