GoodO: Automatic Photo Composition Improvement System with Multi-Camera = GoodO: 멀티 카메라를 활용한 자동 사진 구도 개선 시스템

국문 초록 (Abstract)

사진 구도 개선은 사진 촬영 전 또는 후에 구도를 변경함으로써 사진의 미적 품질을 향상시키는 방법이다. 사진 구도 개선 방법 중 하나인 이미지 크롭핑은 사용자가 사진마다 직접 불필요한 영역을 제거하거나 비율을 변경해주어야 하는 단점이 있다. 이를 해결하고자 우리는 스마트폰으로 촬영한 사진의 구도를 자동으로 개선해주는 GoodO 시스템을 제안한다. GoodO 시스템에서는 구도 개선을 위해 두 가지 테크닉을 활용한다. 첫째, 트랜스포머 기반의 이미지 크롭핑 네트워크이다. 이 네트워크는 기존 크롭핑 네트워크에서 반드시 필요했던 크롭핑 영역 생성에 대한 사전 정보를 제거하고, 피사체들 간의 관계를 고려하여 관련 있는 피사체들이 함께 크롭핑 되도록 한다. 둘째, 기존 싱글 카메라 촬영 방법에서는 단 한 장의 사진을 촬영하기 때문에 촬영된 사진의 내용에 따라 구도 개선이 제한된다. 이를 개선하기 위해 멀티 카메라로 동시에 여러 화각의 사진을 촬영하여 구도 개선 가능 범위를 넓혔다. 사용자 평가를 위해 20명의 사용자에게 GoodO 시스템을 배포하였고, 78%의 사용자가 구도 개선 결과와 사용 편의성에 만족하였다.

다국어 초록 (Multilingual Abstract)

Photo composition improvement is a method of improving the aesthetic quality of a photo by changing the composition before or after taking a photo. Image cropping, which is one of the methods of improving the composition of a photo, has a disadvantage in that the user has to manually remove unnecessary areas or change the aspect ratio for each photo. To solve this problem, we propose a GoodO system that automatically improves the composition of photos taken with smartphones. The GoodO system utilizes two techniques to improve the composition of photographs. First, we design a transformer-based image cropping network. This network removes the prior information on candidate cropping region, which is essential in the existing cropping network, and allows related subjects to be cropped together by considering the relationship between subjects. Second, since only one picture is taken in the existing single camera shooting method, composition improvement is limited depending on the contents of the picture taken. To improve this, we take pictures from multiple angles of view with a multi-camera at the same time to expand the scope of composition improvement. For user evaluation, we deployed the GoodO system to 20 participants, and 78% of the participants were satisfied with the composition improvement results and usability.

목차 (Table of Contents)

• I. Introduction 1
• 1.1 Motivation and Problem Definition . . . . . . . . . . . . . . . . . . . 1
• 1.2 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
• 1.3 Thesis Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
• II. Related Work 5
• 2.1 Image Cropping for Image Composition Improvement . . . . . . . . 5
• 2.2 Photography Recommendation . . . . . . . . . . . . . . . . . . . . . 7
• 2.3 Transformer-based Object Detection . . . . . . . . . . . . . . . . . . 7
• III. Photo Composition Improvement Techniques 9
• 3.1 Transformer-based Image Cropping . . . . . . . . . . . . . . . . . . 9
• 3.1.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
• 3.1.2 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
• 3.1.3 Qualitative Evaluation . . . . . . . . . . . . . . . . . . . . . 15
• 3.2 Multi-Camera Shooting Method . . . . . . . . . . . . . . . . . . . . 19
• 3.2.1 Advantages of Multi-Camera . . . . . . . . . . . . . . . . . . 20
• 3.2.2 How to Take Photos with Multi-camera . . . . . . . . . . . . 20
• 3.2.3 Qualitative Evaluation . . . . . . . . . . . . . . . . . . . . . 21
• 3.3 GoodO: Automatic Photo Composition Improvement System . . . . . 26
• IV. User study 29
• 4.1 Design Study for GoodO system . . . . . . . . . . . . . . . . . . . . 29
• 4.1.1 Transformer-based Image Cropping . . . . . . . . . . . . . . 29
• 4.1.2 Multi-Camera Shooting Method . . . . . . . . . . . . . . . . 30
• 4.2 Deployment Study for GoodO System . . . . . . . . . . . . . . . . . 32
• 4.2.1 Pre-deployment . . . . . . . . . . . . . . . . . . . . . . . . . 33
• 4.2.2 Post-deployment . . . . . . . . . . . . . . . . . . . . . . . . 33
• V. Conclusion and Future work 43
• 5.1 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
• 5.2 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
• Summary (in Korean) 45
• References 46