멀티 디스플레이 콘텐츠 전송 시스템을 위한 디바이스 연결 및 배치 인식 기법의 구현

전소연,임순범 한국멀티미디어학회 2016 멀티미디어학회논문지 Vol.19 No.8

According to the advancement of display devices, the multi-screen contents display environment is growing to be accepted for the display exhibition area. The objectives of this research are to find communications technology and to design an editor interface of contents delivery system for the larger and adaptive multi-display workspaces. The proposed system can find existence of display devices and get information without any additional tools like marker, and can recognize device layout with only web-cam and image processing technology. The multi-display contents delivery system is composed of devices with three roles; display device, editor device, and fixed server. The editor device which has the role of main control uses UPnP technology to find existence and receive information of display devices. extract appointed color in captured picture using a tracking library to recognize the physical layout of display devices. After the device information and physical layout of display devices are connected, the content delivery system allows the display contents to be sent to the corresponding display devices through WebSocket technology. Also the experimental results show the possibility of our device connection and layout recognition techniques can be utilized for the large spaced and adaptive multi-display applications.

다중사용자 몰입을 위한 인터랙션 디자인 연구

김은진(Kim, Eun Jin),최이권(Choi, Lee Kwon),김성우(Kim, Sung Woo) 한국디지털디자인협의회 2015 디지털디자인학연구 Vol.15 No.2

공공디스플레이는 다양한 IT 및 콘텐츠 기술과 융 복합되어 교육, 정보제공, 예술적 활용까지 가능한 새로운 미디어로 이용되고 있다. 본 연구에서는 LCD에 터치인터페이스와 모션인터페이스가 장착되어 다수가 사용할 수 있는 대형멀티터치디스플레이를 중심으로 연구를 진행하였으며 이 매체가 새롭게 경쟁력을 가지기 위한 다양한 디지털 콘텐츠중심의 인터랙션 디자인 방향에 대해 살펴보았다. 본 연구는 다수가 동시에 사용하고, 외부의 노출이 많은 대형멀티터치 디스플레이가 가지는 환경적 요인이 몰입을 방해한다고 보고 있으며 이를 해결하기 위한 디지털 콘텐츠 인터랙션 디자인 방향에 대해서 제시하고자 한다. 연구방법으로는 디지털콘텐츠 상호작용요인과 몰입에 관한 선행연구 분석, 그리고 이를 바탕으로 대형멀티터치 스크린 환경에서 디지털콘텐츠 상호작용과 몰입간의 상관관계를 알아보기 위한 가설을 세웠으며, 이를 증명하기 위해 실험연구를 진행하였다. 실험은 대형멀티터치 디스플레이에서 3가지 타입(터치, 드로잉, 모션)의 인터랙션 콘텐츠를 사용해보도록 한 후, 각각의 측정 항목에 대해 응답하도록 하였다. 실험 분석 결과 디지털 콘텐츠 상호작용이 증가할수록 대형멀티터치 디스플레이 환경에서 다중사용자의 디지털 콘텐츠 몰입에 영향을 미치며, 그 중에서도 단순한 인터랙션 보다 사용자-사용자간의 상호작용을 증가시키는 모션 인터랙션 콘텐츠가 몰입에 영향 미친다고 나왔다. 이는 사용자-사용자간의 인터랙션이 중요한 인터랙션 디자인 요소임을 시사한다. 향후, 대형멀티터치디스플레이 환경에서 다중사용자간의 상호인터랙션을 강조한 디자인이 적용된다면, 다중사용자들의 사용의도를 증가시켜 폭넓고 활발한 콘텐츠 수요를 증가시킬 것으로 기대된다. Public display is combined with various information and content technologies and are used as a new medium for educational, informational, artistic purposes. In this study, we focused on large multi-touch screen equipped with a touch and motion based interface using LCD. We looked into the interaction design direction for this screen to handle various digital content in order to have competitive advantage over other similar media. We think that the environmental factor of the large multi-touch screen imposes difficulty into creating users" flow and focused on the interaction design direction to overcome such barrier. First, We researched interaction elements and flow theory, and made hypothesis for investigate the relationship between interactivity and flow digital content. Second, we ran an experiment where participants are asked to use three type of interactive content on the large multi-touch screen. Result of our observation shows that increment in interactivity on the content contributes to increment in user flow. Particularly motion had the biggest impact on user flow. In the future, If interaction contents design is emphasized multi-user interaction in the Multi-touch display, we are expected that it increase to demand on use of interaction digital contents in the Multi-touch display environment.

멀티 디스플레이 콘텐츠 전송 시스템을 위한 디바이스 연결 및 배치 인식 기법의 구현

전소연(So-yeon Jeon),임순범(Soon-Bum Lim) 한국멀티미디어학회 2016 멀티미디어학회논문지 Vol.19 No.8

According to the advancement of display devices, the multi-screen contents display environment is growing to be accepted for the display exhibition area. The objectives of this research are to find communications technology and to design an editor interface of contents delivery system for the larger and adaptive multi-display workspaces. The proposed system can find existence of display devices and get information without any additional tools like marker, and can recognize device layout with only web-cam and image processing technology. The multi-display contents delivery system is composed of devices with three roles; display device, editor device, and fixed server. The editor device which has the role of main control uses UPnP technology to find existence and receive information of display devices. extract appointed color in captured picture using a tracking library to recognize the physical layout of display devices. After the device information and physical layout of display devices are connected, the content delivery system allows the display contents to be sent to the corresponding display devices through WebSocket technology. Also the experimental results show the possibility of our device connection and layout recognition techniques can be utilized for the large spaced and adaptive multi-display applications.

멀티 디스플레이(Multi-Display) 환경에서의 콘텐츠 공간배치 유형에 관한 연구

김효용(Kim, Hyo Yong),임순범(Lim, Soon Bum) 한국애니메이션학회 2017 애니메이션연구 Vol.13 No.2

전시 공간에 있어서 멀티 디스플레이 환경은 미디어아티스트들에게 많은 기회와 도전을 함께 제공한다. 하나의 이미지를 복제해서 다양한 패턴을 만들 수도 있고 여러 디스플레이가 하나의 디스플레이처럼 인식될 경우 대형 화면처럼 보이게 할 수 도 있기 때문에 다양하고 창의적인 영상이미지 연출이 가능하다는 측면에서 선호되고 있다. 하지만 디스플레이들 간의 크기와 물리적 간격의 차이, 그리고 디스플레이 및 콘텐츠 간의 동기화 문제, 복잡한 연출 등에 있어서는 아티스트들에게는 큰 어려움을 주기도 한다. 그중에서도 콘텐츠를 어떻게 배치해야 하는가에 대한 문제는 멀티 디스플레이 환경에서 가장 먼저 부딪히게 되는 도전 중 하나이다. 창의적 작품 제작측면에서 대부분의 아티스트들은 많은 시간과 노력을 기울여서 이러한 문제들을 해결해 왔지만 근본적으로 해결점을 찾기 위해서는 보다 전문적인 기술적 지원이나 다루기가 쉽지 않는 전문 소프트웨어 등을 사용해야 한다는 불편함이 계속적으로 남아 있어 멀티 디스플레이 환경을 기반으로 하는 창작 활동에 부담감으로 작용하고 있다. 이를 해결하기 위해서는 다각적으로 접근하는 방법이 필요하지만 가장 선행되어야 할 연구가 멀티 디스플레이 환경에서의 콘텐츠 배치 유형을 체계적으로 정리하는 것이며 본 연구를 통한 공간적 배치유형 분석에 대한 접근은 향후 전시공간에 콘텐츠를 배치하는 새로운 접근 방식이자 멀티 디스플레이 환경을 바탕으로 한 보다 창의적인 융합 연구에 대한 가능성으로 보아도 무방할 것으로 판단된다. In the exhibition space, the multi-display environment provides media artists with many opportunities and challenges. It is preferred because it can reproduce a variety of patterns by duplicating one image, and it can be made to look like a large screen when many displays are perceived as one display. However, it is difficult for artists to deal with differences in size and physical spacing between displays, synchronization problems between display and contents, and complex presentation. Among them, the problem of how to arrange content is one of the first challenges in the multi-display environment. In terms of creative work, most artists have solved these problems by devoting a lot of time and effort, but in order to find a solution fundamentally, there is a constant inconvenience of using professional software that is not easy to deal with, It is a burden on creative activities based on the display environment. In order to solve this problem, it is necessary to approach multi-dimensional approach. However, the research that needs to be preceded is to systematically arrange content placement types in multi-display environment. This is a new approach and it is considered to be a possibility for more creative fusion research based on multi-display environment.

남성 패션 편집매장의 인테리어 디스플레이에 관한 연구

최지훈 ( Choi Ji Hoon ),김미현 ( Kim Mi Hyun ) 한국상품문화디자인학회(구 한국패키지디자인학회) 2018 상품문화디자인학연구 Vol.55 No.-

본 연구는 첫째, 패션 마케팅에서 남성 패션 편집매장 VMD를 인테리어 디스플레이 관점으로 파악하기 위한 방법론을 모색한다. 둘째, 남성 패션 편집매장 사례분석을 위해 분더샵, 시리즈, 비이커, 코에보, 라움맨 매장의 인테리어 디스플레이의 VMD 구성 요소를 살펴본다. 셋째, 인테리어 디스플레이 관점에서 남성 패션 편집매장의 VMD 특성을 도출한다. 인테리어 디스플레이의 특성은 셀프서비스, 쇼케이스, 카운터, 환경 디스플레이로 살펴볼 수 있으며, 남성 패션 편집매장 VMD의 진열적·연출적 요소의 특성은 다음과 같다. 첫째, 상품의 정보 제공과 진열을 중심으로 하는 셀프서비스 디스플레이는 다양한 브랜드를 판매하는 편집 매장에서 편리한 쇼핑 환경을 제공하여 매장의 효율적인 관리를 가능하게 한다. 둘째, 쇼케이스디스플레이는 고급스러운 매장 분위기 연출과 고가의 상품 구성이 높은 패션 전문 기업 남성 편집매장 브랜드 가치를 높인다. 셋째, 카운터 디스플레이는 구매 결정시 카운터 주변에 제품의 스타일링 정보와 연계 상품을 진열하여 고객들의 구매의도를 높인다. 넷째, 환경 디스플레이는 즐거운 쇼핑 분위기 연출을 유도하며 매장내의 제품에 대한 흥미 유발을 한다. In terms of the content of the study, firstly it sought methodology to grasp the characteristic of interior display based on VMD in multi-brand stores for men's fashion as a marketing strategy. Secondly, it analyzed VMD characteristics of interior display at above-mentioned multi-brand stores for men's fashion. Thirdly, VMD characteristics of multi-brand stores for men's fashion were drawn from the standpoint of interior display. For this, the study classified interior display into four; self-service display, showcase display, counter display and environmental display. As a result of research on elements of display and showing-off for effective performance of the relevant stores, the findings were as follows. First, self-service display enables efficient management of a store, and information provision and display of products needs to be arranged to create convenient shopping environment at multi-brand stores selling diverse brands. Second, showcase display may produce high-end store atmosphere at multi-brand stores for men's fashion of fashion specializing firms with much proportion of high-priced products, consequently enhancing brand values. Third, counter display, with demonstration of showing-off information of products and coordinated products, may invite customer's purchase desire. Fourth, environmental display may create pleasant shopping atmosphere by providing product information and arousing the customer's interest within the store.

멀티터치를 위한 테이블-탑 디스플레이 기술 동향

김송국,이칠우 한국콘텐츠학회 2007 한국콘텐츠학회논문지 Vol.7 No.2

Recently, the researches based on vision about user attention and action awareness are being pushed actively for human computer interaction. Among them, various applications of tabletop display system are developed more in accordance with touch sensing technique, co-located and collaborative work. Formerly, although supported only one user, support multi-user at present. Therefore, collaborative work and interaction of four elements (human, computer, displayed objects, physical objects) that is ultimate goal of tabletop display are realizable. Generally, tabletop display system designs according to four key aspects. 1)multi-touch interaction using bare hands. 2)implementation of collaborative work, simultaneous user interaction. 3)direct touch interaction. 4)use of physical objects as an interaction tool.In this paper, we describe a critical analysis of the state-of-the-art in advanced multi-touch sensing techniques for tabletop display system according to the four methods: vision based method, non-vision based method, top-down projection system and rear projection system. And we also discuss some problems and practical applications in the research field. 최근에 인간과 컴퓨터 상호작용을 위한 사용자 의도 및 행위 인식에 관한 비전 기반 연구가 활발히 진행되고 있다. 그 중에서도 테이블-탑 디스플레이 시스템은 터치 감지 기술의 발전, 협력적인 작업 추구에 발맞추어 다양한 응용으로 발전하였다. 이전의 테이블-탑 디스플레이는 오직 한명의 사용자만을 지원하였으나 현재에는 멀티터치를 통한 멀티유저를 지원하게 되었다. 따라서 테이블-탑 디스플레이의 궁극적인 목적인 협력적인 작업과 네 가지 원소 (인간, 컴퓨터, 투영된 객체, 물리적 객체) 의 상호작용이 실현 가능하게 되었다. 일반적으로 테이블-탑 디스플레이 시스템은 다음의 네 가지 측면; 맨 손을 이용한 멀티터치 상호작용, 동시적인 사용자 상호작용을 통한 협력적인 작업의 구현, 임의의 위치 터치를 이용한 정보 조작, 상호작용의 도구로서 물리적인 객체의 사용을 중심으로 설계되어 있다. 본 논문에서는 테이블-탑 디스플레이 시스템을 위한 최첨단의 멀티터치 센싱 기술을 시각기반 방법, 비-시각 기반 방법으로 분류하고 비판적인 견해에서 분석을 하였다. 또한 테이블-탑 디스플레이 관련 연구들을 시스템 구성방식에 따라 분류하고 그 장단점과 실제 사용되는 응용 분야에 대해 기술하였다.

멀티 디스플레이 환경에서 콘텐츠의 공간적 인터페이스 요구사항 분석

김효용(Kim, Hyo-Yong),임순범(Lim, Soon-Bum) 한국만화애니메이션학회 2017 만화애니메이션연구 Vol.- No.48

멀티 디스플레이 환경에서 미디어아트를 비롯한 다양한 예술작품을 전시하기 위해서는 콘텐츠 배치에 대한 고려가 반드시 필요하다. 디스플레이와 콘텐츠간의 1:1 혹은 N:1 배치가 아니라 1:N 혹은 N:N의 배치에서는 다양한 연 출이 가능하다는 장점이 있지만 멀티 디스플레이에서 공간적, 시간적 배치를 어떻게 할 것인가에 대한 보다 복합적인 계획이 요구된다. 콘텐츠 배치를 위해 기존에는 미디어서버 솔루션을 활용하거나 프로그래밍을 기반으로 하는 멀티미디어제작 전용 소프트웨어를 사용하였는데 콘텐츠를 재 배치 하거나 수정 보완 시 많은 시간이 소요될 뿐 만 아니라 수정 하는 과정 또한 쉽지 않아 많은 아티스트들이 멀티 디스플레이 환경에서 콘텐츠를 배치하는 부분에 있어 큰 어려움을 겪고 있는 실정이다. 이를 해결하기 위해서는 콘텐츠 배치 방식에 대한 연구부터 기존 방식을 개선시킨 콘텐츠 배치 소프트웨어 개발에 이르기까지 다양한 접근 방식이 필요하지만 이를 뒷받침하는 체계적인 콘텐츠 배치 유형에 대한 분석이나 이를 실제 전시공간에서 쉽게 활용하기 위한 인터페이스에 대한 접근 또한 부재한 상황이다. 본 연구에서는 기 분석된 콘텐츠 배치 유형을 멀티 디스플레이 환경에서 미디어아트를 비롯한 다양한 작품 활동에 잘 활용할 수 있도록 하는 것에 목적을 두고 각 유형별로 인터페이스를 설계에 필요한 요구사항들을 정리하였다. 콘텐츠 배치 시 가장 크게 구분되는 공간적(spatial)배치와 시간적 (temporal)배치 유형을 중심으로 각 유형별 인터페이스의 요구사항들을 도출하였으며 이와 같이 정리된 인터페이스 요구사항에 관한 내용들은 향후 인터 페이스 설계와 통합적인 콘텐츠 배치 시스템 개발을 위한 초석이 될 것으로 기대하는 바이다. In order to display various art works such as media art in a multi-display environment, it is necessary to consider contents arrangement. The advantage of having a 1: N or N: N layout instead of a 1: 1 or N: 1 layout between display and content, but a more complex scheme of how to do spatial and temporal layout in multi-display Is required. In order to distribute contents, existing media server solution or programming-based multimedia production software is used. However, it takes much time to rearrange or modify the contents, and it is not easy to modify the contents. Therefore, It is difficult to place content in the environment. In order to solve this problem, various approaches are needed from research on content placement method to development of content placement software that improves the existing method. However, analysis on systematic content placement type supporting it, or interface There is also no access to. In this study, we have summarized the requirements for designing the interface for each type with the aim of making it possible to utilize previously analyzed content layout types in various display activities such as media art in multi - display environment. The requirements of each type of interface were derived based on spatial arrangement and temporal layout type which are most distinguished when content is placed. The contents of the interface requirements are summarized as follows: We expect to be a cornerstone for system development.

불규칙 표면에 대한 멀티터치 디스플레이를 이용한 탠저블 인터페이스 개발

이동훈(Dong Hoon Lee),강맹관(Maeng Kwan Kang),윤태수(Tae Soo Yun) 한국산업정보학회 2011 한국산업정보학회논문지 Vol.16 No.3

멀티터치 디스플레이 시스템은 참여자가 별도의 부가장치 없이 다양한 인터랙티브 미디어에 손쉽게 접근할 수 있는 기술로 최근 큰 각광을 받고 있다. 특히 마이크로소프트사의 서피스 (Microsoft Surface)와 같이 벽면형 디스플레이 이외에 원형의 디스플레이 상에서의 멀티터치 기술이 상용화됨에 따라 보다 다양한 형태의 탠저블 인터페이스로서의 가능성을 보였다. 본 논문 에서는 이를 확장하여 구형이 아닌 볼록형(Convex) 불규칙 표면을 대상으로 영상을 디스플레이 하고 디스플레이된 콘텐츠와 참여자의 상호작용이 가능한 멀티터치 인터랙션 시스템을 제안한다. 이러한 제안 방법은 각종 탠져블 인터페이스, 예를 들어 디오라마 기반의 전시 시스템이나 체감형 아케이드 게임에서 효율적으로 사용될 수 있다. Multi-touch display system has recently attracted world wide attention due to easy accessibility to the various interactive media without any specialized equipments. Especially, Microsoft Sphere(R) shows a considerable promise in treating non-fiat multi-touch display. The distinctive feature of the system is a stable multi-touch interaction on a spherical display. To extend the possibility of the interactions to the more various display surfaces, this paper propose a multi-touch interaction system in the circumstance of the irregular convex surface. The proposed method can be used efficiently in various tangible interface, for example, the interactive diorama system at the exhibition or the tangible arcade game.

개선된 터치점 검출과 제스쳐 인식에 의한 DI 멀티터치 디스플레이 구현

이우범,Lee, Woo-Beom 한국융합신호처리학회 2010 융합신호처리학회 논문지 (JISPS) Vol.11 No.1

멀티터치 관련 연구는 전반사 장애 현상(FTIR: Frustrated Total Internal Reflection)의 원리를 기반으로 기존 방법을 이용하여 단지 구현하는 것이 대부분이다. 또한 멀티 터치점(Blob-Points) 검출이나 사용자 제스쳐 인식에 있어서 성능 향상을 위한 소프트웨어적 해법에 관한 연구는 드문 실정이다. 따라서 본 논문에서는 확산 투광(DI: Diffused Illumination) 방식을 기반으로 개선된 터치점 검출과 사용자 제스쳐 인식에 의한 멀티터치 테이블-탑 디스플레이를 구현한다. 제안된 방법은 실행 중인 어플리케이션 내의 객체들을 위한 동시 변형 멀티터치 명령을 지원하며, 제안한 사전 테스팅(Pre-Testing) 방법에 의해서 멀티 터치점 검출 과정에서 시스템 지연 시간의 감소가 가능하다. 구현된 멀티터치 테이블-탑 디스플레이 장치는 OSC(Open Sound Control) 프로토콜을 기반으로 하는 TUIO(Tangib1e User Interface Object) 환경에서 Flash AS3 어플리케이션을 제작하여 시뮬레이션 한 결과 최대 37% 시스템 지연 시간의 감소와 멀티터치 제스쳐 인식에서 성공적인 결과를 보였다. Most of the research in the multi-touch area is based on the FTIR(Frustrated Total Internal Re리ection), which is just implemented by using the previous approach. Moreover, there are not the software solutions to improve a performance in the multi touch-blobs detection or the user gesture recognition. Therefore, we implement a multi-touch table-top display that is based on the DI(Diffused Illumination), the improved touch-points detection and user gesture recognition. The proposed method supports a simultaneous transformation multi-touch command for objects in the running application. Also, the system latency time is reduced by the proposed ore-testing method in the multi touch-blobs detection processing. Implemented device is simulated by programming the Flash AS3 application in the TUIO(Tangible User Interface Object) environment that is based on the OSC(Open Sound Control) protocol. As a result, Our system shows the 37% system latency reduction, and is successful in the multi-touch gestures recognition.

다수의 스마트 디바이스를 활용한 멀티 디스플레이 동적 생성 및 인터랙션

김민석(Minseok Kim),이재열(Jae Yeol Lee) (사)한국CDE학회 2015 한국CDE학회 논문집 Vol.21 No.2

This paper presents a dynamic association and natural interaction method for multi-displays composed of smart devices. Users can intuitively associate relations among smart devices by shake gestures, flexibly modify the layout of the display by tilt gestures, and naturally interact with the multi-display by multi-touch interactions. First of all, users shake their smart devices to create and bind a group for a multi-display with a matrix configuration in an ad-hoc and collaborative situation. After the creation of the group, if needed, their display layout can be flexibly changed by tilt gestures that move the tilted device to the nearest vacant cell in the matrix configuration. During the tilt gestures, the system automatically modifies the relation, view, and configuration of the multi-display. Finally, users can interact with the multi-display through multi-touch interactions just as they interact with a single large display. Furthermore, depending on the context or role, synchronous or asynchronous mode is available to them for providing a split view or another UI. We will show the effectiveness and advantages of the proposed approach by demonstrating implementation results and evaluating the method by the usability study.