이동형 단말기 사용자를 위한 축구경기 비디오의 시청경험 향상 방법 = Raising Visual Experience of Soccer Video for Mobile Viewers

다국어 초록 (Multilingual Abstract)

The recent progress in multimedia signal processing and transmission technologies has contributed to the extensive use of multimedia devices to watch sports games with small LCD panel. However, the most of video sequences are captured for normal viewing on standard TV or HDTV, for cost reasons, merely resized and delivered without additional editing. This may give the small-display-viewers uncomfortable experiences in understanding what is happening in a scene. For instance, in a soccer video sequence taken by a long-shot camera techniques, the tiny objects (e.g., soccer ball and players) may not be clearly viewed on the small LCD panel. Moreover, it is also difficult to recognize the contents of the scorebox which contains the elapsed time and scores. This requires intelligent display technique to provide small-display-viewers with better experience. To this end, one of the key technologies is to determine region of interest (ROI) and display the magnified ROI on the screen, where ROI is a part of the scene that viewers pay more attention to than other regions. Examples include a region surrounding a ball in long-shot and a scorebox located in the corner of each frame.
In this paper, we propose a scheme for raising viewing experiences of multimedia mobile device users. Instead of taking generic approaches utilizing visually salient features for extraction of ROI in a scene, we take domain-specific approach to exploit unique attributes of the soccer video. The proposed scheme consists of two modules: ROI determination and scorebox extraction. The experimental results show that the proposed scheme offers useful tools for intelligent video display on multimedia mobile devices.

국문 초록 (Abstract)

최근 멀티미디어 신호처리 및 통신 기술의 발전에 힘입어 작은 LCD 패널을 통한 스포츠경기 시청이 증가하고 있다. 하지만 멀티디어 단말에 방송되는 대부분의 영상들은 주로 경제적인 이유로 일반 TV나 HDTV 용으로 제작되어 단순히 크기만을 변환하거나 추가적인 편집 없이 녹화되고 있는 실정이다. 이는 작은 이동형 단말 사용자들이 경기화면 내의 상황을 인식하는데 있어서 많은 불편함을 겪는다. 예를 들어, 원거리 샷 카메라 기법으로 찍힌 축구 경기 동영상의 경우, 운동장 내의 공과 선수들은 매우 작아서 알아보기가 힘든 경우가 발생한다. 또한 경기 진행 시간이나 점수를 포함하는 점수상자(scorebox)의 내용 역시 시청자가 쉽게 알아보기 힘들다. 따라서 소형 디스플레이 시청자들의 원활한 이해를 위한 지능형 디스플레이 기술이 필요하다. 이를 위한 핵심기술의 하나가 관심 영역을 자동으로 결정하고 확대하여 보여주는 일이다. 여기서 관심영역이란 시청자들이 화면 내에서 다른 부분에 비해 더욱 관심을 갖게 되는 영역을 말하며 축구경기 비디오의 경우, 주로 상단 모서리에 존재하는 점수상자나 원거리 샷에서의 공을 둘러싼 주변영역 등이 해당된다.
본 논문에서 우리는 이동형 단말기 시청자들을 위한 시청경험 향상을 위한 방법을 제안한다. 경기장면에서 관심영역의 추출을 위해 화면 내에서 시각적으로 현저한 부분의 검출에 관심을 갖는 방법 대신, 축구 경기 비디오 고유의 특징을 이용하는 도메인 한정적인 접근법을 이용한다. 제안된 시스템은 크게 두가지 모듈 관심영역 결정,점수상자 추출로 구성된다. 실험 결과를 통해 제안된 알고리즘이 이동형 단말기상에서 지능형 디스플레이를 위한 좋은 해결책 임을 보이고자 한다.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 제안 알고리즘
• 3. 실험 결과
• 4. 결론
• 참고문헌

참고문헌 (Reference)

1 "이동형 단말기에서의 축구경기 시청을 위한 해상도 및 관심 영역 크기에 관한 사용자 만족도 조사 Journal of the Korean society of broadcast engineers" 한국방송공학회 336-348, 2006

2 김창익, "이동형 단말기에서의 축구경기 시청을 위한 해상도 및 관심 영역 크기에 관한 사용자 만족도 조사" 11 (11): 336-348, 2006

3 "http://en.wikipedia.org/wiki/Taxicab_geometry"

4 "http://en.wikipedia.org/wiki/DMB"

5 "assessing image resolution requirements for mobile TV Proceedings of the 13th annual ACM international conference on Multimedia" ACM Press 829-838, 2005

6 Y. Seo, "Where Are the Ball and Players? Soccer Game Analysis with Color Based Tracking and Image Mosaick" 196-203, 1997

7 Rabiner L.R, "Tutorial on Hidden Markov Model and Selected Applications in Speech Recognition" 77 (77): 1989

8 "Trajectory-Based Ball Detection and Tracking with Applications to Semantic Analysis of Broadcast Soccer Video Proceedings of the eleventh ACM international conference on Multimedia" ACM Press 11-20, 2003

9 X. Yu, "Trajectory-Based Ball Detection and Tracking with Applications to Semantic Analysis of Broadcast Soccer Video" 11-20, 2003

10 "Tracking Players and a Ball in Soccer Games On Multisensor Fusion and Integration for Intelligent Sys" 1999

11 Y. Ohno, "Tracking Players and a Ball in Soccer Games" 1999

12 "Soccer Game Analysis with Color Based Tracking and Image Mosaick Proceedings of the 9th International Conference on Image Analysis and Processing- Volume II" Springer-Verlag 196-2031997

13 J. Lim, "Semantic transcoding of video based on regions of interest" 5150 (5150): 1232-1243, 2003

14 "Semantic transcoding of video based on regions of interest" 1232-1243, 2003

15 "Region-of-interest coding based on set partitioning in hierarchical trees IEEE Transactions on Circuits and Systems for Video Technology" me 12 : 106-113, 2002

16 K. Park, "Region-of-interest coding based on set partitioning in hierarchical trees" 12 : 106-113, 2002

17 "Real-time goal-mouth detection in mpeg soccer video Proceedings of the eleventh ACM international conference on Multimedia" ACM Press 311-314, 2003

18 K. Wan, "Real-time goal-mouth detection in mpeg soccer video" 311-314, 2003

19 "Low Bit-Rate Coding of Image Sequences Using Adaptive Regions of Interest IEEE Transactions on Circuits and Systems for Video Technology" me 8 : 928-934, 1998

20 N. Doulamis, "Low Bit-Rate Coding of Image Sequences Using Adaptive Regions of Interest" 8 : 928-934, 1998

21 "Looking into Video Frames on Small Displays Proceedings of the eleventh ACM international conference on Multimedia" ACM Press 247-250, 2003

22 X. Fan, "Looking into Video Frames on Small Displays" 247-250, 2003

23 "IEEE Transactions on Image Processing" 796-807, 2003

24 "IEEE Transactions on Circuits and Systems for Video Technology" me 15 : 1175-1181, 2005

25 A. Jerbi, "Error- Resilient Region-of-Interest Video Coding" 15 : 1175-1181, 2005

26 "Comparison of automatic shot boundary detection algorithms Storage and Retrieval for Image and Video Databases VII 3656" 290-301, 1998

27 R. W. Lienhart, "Comparison of automatic shot boundary detection algorithms" 3656 (3656): 290-301, 1998

28 H. Knoche, "Can small be beautiful?: assessing image resolution requirements for mobile TV" 829-838, 2005

29 A. Ekin, "Automatic soccer video analysis and summarization" 12 : 796-807, 2003

30 "Automatic browsing of large pictures on mobile devices Proceedings of the eleventh ACM international conference on Multimedia" ACM Press 148-155, 2003

31 Hao Liu, "Automatic browsing of large pictures on mobile devices" 148-155, 2003

32 "An object detection method for describing soccer games from video" 45-48, 2002

33 O. Utsumi, "An object detection method for describing soccer games from video" 1 : 45-48, 2002

34 "A visual attention based region-of-interest determination framework for video sequences IEICE Transactions on Information and Systems" 1578-1586, 2005

35 W. H. Cheng, "A visual attention based region-of-interest determination framework for video sequences" 1578-1586, 2005

36 Ho-Sub Yoon, "A soccer image sequence mosaicking and analysis method using line and advertisement board detection" 24 : 443-454, 2002

37 "A model of saliency-based visual attention for rapid scene analysis IEEE Transactions on Pattern Analysis and Machine Intelligence" (v) : 1254-1259, 1998

38 L. Itti, "A model of saliency-based visual attention for rapid scene analysis" 20 (20): 1254-1259, 1998

39 Y. F. Ma, "A model of motion attention for video skimming" 129-132, 2002

40 "A model of motion attention for video skimming" 129-132, 2002

41 "A Tutorial on Hidden Markov Model and Selected Applications in Speech Recognition in Proceedings of the IEEE" 1989

42 "A Context-Aware Video Display Scheme for Mobile Devices Multimedia on Mobile Devices II" spie : 278-287, 2006

43 Keewon Seo, "A Context-Aware Video Display Scheme for Mobile Devices" 6074 : 278-287, 2006