실내 조명변화 환경에서 깊이 정보를 활용한 의미론적 영상 분할 방법

국문 초록 (Abstract)

실내 환경은 주로 조명이 다양한 장면을 가지고 있다. 실내 환경에서 기존의 의미론적 영상 분할 방법을 이용할 경우 영상이 가지는 평균적인 조명 값보다 많이 어둡거나 강한 조명이 물체의 표면에 적용될 경우 해당 물체의 경계면에서 매끄럽게 영상 분할을 하지 못한다. 따라서 본 논문에서는 실내의 조명변화가 있는 환경에서 기존의 의미론적 영상 분할 모델에서 깊이 정보를 통합하여 조명변화에 강인하게 물체를 영상 분할 할 수 있는 방법을 제안한다. 제안하는 모델은 ESANet을 기반으로 하고 깊이 이미지로는 깊이 카메라를 통해 나온 원본 깊이 이미지에서 3개의 채널로 인코딩한 HHA 깊이이미지를 사용한다. 이때 깊이 이미지는 RGB 모델의 특징맵에 통합되어 네트워크가 학습된다. 본 논문의 실험에서는 제안된 모델을 NYUv2데이터 셋을 이용하여 학습을 진행하였고 조명변화가 있는 데이터셋을 이용하여 조명에 의해 불분명한 경계 부분을 기존의 의미론적 영상분할 모델보다 강인하게 분할할 수 있는 실험 결과를 보였다. 또한 제안된 깊이 이미지가 모델 최종 성능을 향상시킬 수 있다는 것을 mIoU 성능을 통해 비교 분석하였다.

다국어 초록 (Multilingual Abstract)

The indoor environment has a variety of lighting scenes. When using the existing semantic segmentation methods in indoor environments, that is not segment precisely at the boundary of the object if illumination stronger and darker than the average illumination value of the image is applied to the surface of the object. Therefore, in this paper, we proposed a method to integrate depth information from the existing semantic segmentation models in an environment with indoor illumination changes so that objects can be image segmented robustly to illumination changes. The proposed model was based on ESANet and uses HHA depth images encoded in three channels from the raw depth images of depth cameras as the depth images. At this time, depth information is integrated into the feature map of the RGB model so that the network is learned. In the experiments in this study, the proposed model was learned using NYUv2 datasets,. and the illuminated datasets, the experimental results showed that the boundaries unclear due to illumination changes could be more robustly segmented than by using the existing semantic segmentation model. Furthermore, the mIoU metric was compared and analyzed, and showed that the proposed depth image could improve the model"s final performance.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련 연구
• 3. 제안된 RGB-D 의미론적 영상 분할
• 4. 실험
• 5. 한계점
• 6. 결론 및 향후 연구
• References

참고문헌 (Reference)

1 O. Ronneberger, "U-net: Convolutional networks for biomedical image segmentation" 234-241, 2015

2 J. Hu, "Squeeze-and-excitation networks" 7132-7141, 2018

3 V. Badrinarayanan, "Segnet: A deep convolutional encoder-decoder architecture for image segmentation" 39 (39): 2481-2495, 2017

4 L.-C. Chen, "Rethinking Atrous Convolution for Semantic Image Segmentation" 2017

5 H. Zhang, "ResNeSt: Split-Attention Network" 2020

6 H. Zhao, "Pyramid scene parsing network" 2881-2890, 2017

7 J. Wang, "Learning common and specific features for rgb-d semantic segmentation with deconvolutional networks" Springer 664-679, 2016

8 Gupta, S., "Learning Rich Features from RGB-D Images for Object Detection and Segmentation" 345-360, 2014

9 C. Couprie, "Indoor semantic segmentation using depth information"

10 N. Silberman, "Indoor Segmentation and Support Inference from RGBD Images" 2012

11 A. Krizhevsky, "ImageNet Classification with Deep Convolutional Neural Networks" 2012

12 C. Hazirbas, "FuseNet: Incorporating Depth into Semantic Segmentation via Fusion-based CNN Architecture" 213-228, 2016

13 J. Long, "Fully convoutional networks for semantic segmentation" 3431-3440, 2015

14 D. Seichter, "Efficient RGB-D Semantic Segmentation for Indoor Scene Analysis" 2021

15 C. Godard, "Digging Into Self-Supervised Monocular Depth Estimation" 2019

16 K. He, "Deep residual learning for image recognition" 2016

17 Jingdong Wang, "Deep High-Resolution Representation Learning for Visual Recognition" 2019

18 "2Hae Lifestyle"