가상환경에서 사용자 동작에 따른 저글링 모션을 하기 위한 립모션 프레임워크

김종현(Jong-Hyun Kim) 한국컴퓨터정보학회 2021 韓國컴퓨터情報學會論文誌 Vol.26 No.11

본 논문에서는 립모션 디바이스를 이용하여 사용자의 손 움직임을 계산하고, 이로부터 저글링 동작뿐만 아니라 이것을 활용하여 팔 근육을 연습 및 분석할 수 있는 새로운 프레임워크를 제안한다. 제안하는 방법은 실시간으로 사용자의 손동작에 맞춰 가상환경에서 공의 움직임을 매핑 할 수 있고, 근육의 이완과 수축을 시각화하여 운동량을 분석할 수 있다. 제안하는 프레임워크는 크게 세 부분으로 구성된다 : 1) 립모션 디바이스를 이용하여 사용자의 손 위치를 추적한다. 2) 저글링을 하듯이, 사용자가 공을 던지는 행동 패턴을 이벤트로 정의한다. 3) 사용자의 손 위치를 기준으로 저글링 형태의 움직임을 공에 매핑하기 위한 포물선 기반 입자 기법을 제안한다. 결과적으로 본 논문의 프레임워크를 이용하면 실시간 저글링 게임을 할 수 있다. In this paper, we propose a new framework that calculates the user"s hand motions using a Leap Motion device, and uses this to practice and analyze arm muscles as well as juggling motions. The proposed method can map the movement of the ball in a virtual environment according to the user"s hand motions in real time, and analyze the amount of exercise by visualizing the relaxation and contraction of the muscles. The proposed framework consists of three main parts : 1) It tracks the user"s hand position with the Leap Motion device. 2) As with juggling, the action pattern of the user throwing the ball is defined as an event. 3) We propose a parabola-based particle method to map the movement of a juggling shape to a ball based on the user"s hand position. As a result, using the our framework, it is possible to play a juggling game in real-time.

Leap Motion을 활용한 캐릭터 애니메이팅 구현 연구

김기홍(Ki-Hong Kim) 한국애니메이션학회 2014 애니메이션연구 Vol.10 No.4

일반적으로 애니메이터는 준 배우 수준의 액팅이 필요한데 한국 현실은 그러하지 못하다. 바꾸어 말하면 애니메이팅을 하기 위하여 자신의 몸을 활용하여 포즈를 연구하고 타이밍을 도출해 내는 것이 정석인데 국내 대부분의 애니메이터는 이러한 과정을 거치지 않는다. 무조건 캐릭터를 3D CG상에서 포즈를 취하고 플레이를 한 상태에서 결과를 보고 수정하는 과정을 반복한다. 마치 제 3자의 입장에서 보는 느낌의 애니메이팅은 좋은 결과를 만들기 어렵다. 배우가 자신의 몸을 활용하여 연기 하듯이 애니메이터도 자신의 몸을 활용함이 가장 직관적이고 자연적이고 창의적인 퍼포먼스를 이끌어 낼 수 있다. 그렇다면 책상에서 일어 나와야 하는데 이것이 배우가 아닌 이상 대부분의 애니메이터는 정말 어렵다고 판단된다. 그렇다면 책상위에서 몸의 감각을 불러올 수 있는 방법은 무엇일까? 책상위에서 뭔가 할 수 있는 액팅은 없을까? 본 논문에서 제안하는 것은 립모션을 활용한 손가락 애니메이팅을 활용함이 몸속의 타이팅 감각과 포즈를 즉흥적으로 불러들일 수 있다고 본다. 물론 손가락 애니메이션으로 최종 결과물을 완성은 어렵다. 하지만 러프한 애니메이션 이상의 결과를 짧은 시간 동안 손가락 모션까지 만들 수 있어 효율적이라고 본다. One of the requirements to become a animator is good acting skills, but the reality of South Korea is not as long as that. In other words, it is normal to study the pose and derive timing with using their own bodies for animating but most of the animators are not going through these processes. They repeat the process with the play by posing in unconditional 3D CG character and modify it to look at the results. It is difficult to make a good result with animating of feeling it from the point of view of the third party. As an actor act naturally using his body, Animators may also utilize their bodies to provide the creative and intuitive performance. If so, it should come out to get up from the desk, but it is really difficult for most of animators. Then, how can we bring a sense of the body on the desk? Is there any acting to be able to do on the desk? This paper proposes that using finger animating with Leap Motion can create the spontaneous sense of timing and poses of the body. Of course, it is difficult to complete the final result with just Leap Motion"s finger animation. But the animating process takes only a very short time and the result is over a rough animation.

립 모션 컨트롤러를 이용한 야구 게임 개발

주향한(Hyanghan Joo),조민수(Minsoo Cho),인승교(SeungKyo In),조규원(Kyuwon Cho),민준기(Jun-Ki Min) 한국정보과학회 2015 정보과학회 컴퓨팅의 실제 논문지 Vol.21 No.5

마우스와 키보드와 같은 입력장치를 사용하여 할 수 있는 게임들은 많이 출시되었다. 그러나 최근에 키넥트와 Wii와 같이 인체를 움직여 인식을 받는 게임들이 증가하고 있는 추세이다. 본 논문에서는 사람의 손 모션을 정확하게 인식하는 센서들 중 하나인 립 모션 컨트롤러를 사용하여 즐길 수 있는 야구게임 개발에 대하여 다룬다. 개발된 게임의 주요 요소는 캐릭터, 야구장이 속하는 배경, 애니메이션으로 구성되어 있으며, 3인칭 시점의 야구게임 형식으로 진행된다. 이 게임의 가장 큰 특징은 게임 사용자가 립모션 컨트롤러를 활용하여 색다른 게임 플레이가 가능하다는 점이다. While many games have been published that are used with input-devices such as a mouse and keyboard, the number of games that can recognize the behavior of a human utilizing devices such as Kinect and Wii has increased. In this paper, we present the development of a baseball game that utilizes a Leap Motion Controller. A Leap Motion Controller recognizes accurately the movement of a user`s fingers. Our implemented game consists of characters, a background and animation. It is a moving animated game in which the users play a game in point of view of a third person. The major feature of our game is that the game players can enjoy the game using a Leap Motion Controller.

Virtual Clay Art에서 립모션과 아두이노를 이용한 터치감

윤유창,진성아 사단법인 인문사회과학기술융합학회 2018 예술인문사회융합멀티미디어논문지 Vol.8 No.2

Researches with the aim of improving interaction, have been carried out to enhance fidelity of virtual reality technology through NUI (natural user interface). NUI is a good example that links the user's natural behavior to the interaction. The NUI has the advantage of controlling content without attaching additional equipment to the hands or body. However, it is also fact that there are limitations in providing such experiences. Using natural interaction and haptic technology, realistic touch will give users immersive and exciting experience in virtual reality. In this paper, we proposed a more realistic virtual environment by adding a touch to the desired clay art figures using Leap Motion in virtual reality clay art experience environment. In order to provide a sense of touch, Arduino was developed as a glove for natural motion, Leap Motion interaction and a sense of heterogeneity. By overcoming the limits of physical touch that can not be provided by a simple Leap Motion interaction, the fidelity of the virtual reality is enhanced by adding immersion and interactivity to the user. 가상현실 기술의 충성도를 높이기 위해서 고도화된 인터렉션을 제공하는 연구들이 수행되고 있다. 사용자의 자연스러운 행동을 인터렉션과 연결시키는 NUI 인터페이스가 좋은 사례이다. NUI는 별도의 장비를 손이나 신체에 부착하지 않고도 콘텐츠를 제어할 수 있는 장점이 있다. 하지만 사실과 같은 체험을 제공하는데 한계가 있는 것도 사실이다. 자연스런 인터랙션과 함께 햅틱 기술을 이용하여 사실적인 터치감을 부여해 준다면 사용자가 가상현실을 체험하는데 몰입감과 흥미를 더해 줄 것이다. 본 연구에서는 가상현실 클레이 아트 체험환경에서 립모션을 이용하여 원하는 클레이 아트 피규어를 제작 시 터치감을 더해 줌으로 좀 더 실감적인 가상환경을 구축하였다. 터치감을 제공하기 위해 아두이노를 이용하여 자연스런 행동인 립모션 인터렉션과 이질감이 없도록 장갑형태로 개발하였다. 단순한 립모션 인터렉션에서는 제공하지 못하는 물리적 터치감의 한계를 극복하여 사용자에게 몰입감과 상호작용성을 더함으로 가상현실의 충성도를 고도화하였다.

인터랙티브 실감영상을 활용한 교육 매체 사용에 대한 사용자의 몰입과 정서경험

박현린,김누리,최현준 국제인문사회연구학회 2024 Studies on Humanities and Social Sciences (SHSC) Vol.6 No.3

인터랙티브 실감영상을 활용한 교육 매체 사용에 대한 사용자의 몰입과 정서경험 박 현 린ㆍ김 누 리ㆍ최 현 준 연구 목적: 본 연구에서는 실감형 교육 매체의 사용에서 인터랙티브(상호작용) 기술 적용의 유무가 사용자의 경험에 어떠한 차이를 불러일으키는지 살펴보고자 하였다. 연구 방법: 실험에는 감각 및 인지 문제를 동반하지 않은 24명의 대학생(평균연령 22.8세)이 참가하였으며, 실감영상 디스플레이 장치는 Looking GlassTM을 활용하였다. 실감영상 장치를 통해 두 가지 타입의 콘텐츠(#1, 2)를 제공하였으며, 인터랙티브 기술의 적용 없이 시청하는 것과 인터랙티브 기술이 적용되는 것을 각각 모두 경험하도록 하였다. 인터랙티브 기술의 적용을 위해서는 간단한 손의 움직임으로 콘텐츠 내의 사물을 움직일 수 있도록 하는 Leap-motion 컨트롤러를 사용하였다. 사용자 경험 측정에는 현존감, 몰입감, 즐거운 감정, 인지부하 척도를 사용하였다. 연구 내용: 대응표본 t-test를 통해 분석을 실시한 결과, 콘텐츠 1과 2 모두 Leap-motion을 사용할 경우 몰입감과 인지부하가 유의미하게 높았으며, 콘텐츠 1의 경우 즐거운 감정에서 Leap-motion을 사용한 조건이 유의미하게 높았다. 결론 및 제언: 이를 통해 실감형 매체와 사용자 사이에 상호작용이 있거나 사용자가 직접 참여가 가능한 콘텐츠의 경우 높은 몰입이 가능하지만, 인지부하 또한 높아진다는 것을 추측해 볼 수 있었다. 이러한 결과를 바탕으로 이 연구는 실감형 디스플레이 매체가 교육자료로 활용될 수 있는지를 실증적으로 검토하는 데 의의가 있었다. 핵심어: 실감영상 디스플레이, 인터랙티브, 립모션, 사용자 경험, 교육 콘텐츠 Analysis of User’s Immersion and Emotional Experience in Educational Media Using Interactive Immersive Display Hyunrin Park,** Nooree Kim,*** & Hyunjun Choi**** Abstract: The study aimed to investigate the impact of interactive applications on users’ experiences with realistic image displays. Twenty-four college students (average age 22.8 years old), free from sensory or cognitive issues, participated. The Looking GlassTM served as the display device, with participants exposed to two types of content (#1, #2). They experienced both passive viewing and interactive sessions to assess differences in user engagement. In order to apply the interactive technology, the Leap-Motion controller was used to move things in the content with a simple hand movement. We use the scale of the presence, immersion, pleasant emotion, and the cognitive load as user experience. As a result of paired-samples t-test, the score of immersion and cognitive load were significantly higher when Leap-motion was used for both contents 1 and 2 than when it was not used. In the case of content 1, the score of pleasant emotion were significantly higher in the condition in which Leap-motion was used than in the condition in which it was not used. Through this study, it was possible to infer that high immersion is possible in content where there is interaction between realistic media and users or where users can participate directly, but on the other hand, cognitive load also increases. Based on these results, it was possible to empirically verify whether the realistic display device can be used as educational material. Key Words: Realistic Image Display, Interactive, Leap-motion, User’s Experience, Educational Content □ 접수일: 2024년 4월 30일, 수정일: 2024년 6월 2일, 게재확정일: 2024년 6월 20일* 이 연구는 2024년도 광주대학교 대학 연구비의 지원을 받아 수행되었음. ** 주저자, 광주대학교 언어치료학과 교수(First Author, Professor, Gwangju Univ., Email: hyunrin@gwangju.ac.kr)*** 공동저자, 국립목포대학교 교육학과 교수(Co-author, Professor, Mokpo National Univ., Email: edunooree@mnu.ac.kr**** 교신저자, 국립목포해양대학교 해양매카트로닉스학부 교수(Corresponding Author, Professor, Mokpo National Maritime Univ., Email: hjchoi@mmu.ac.kr)

손 제스처 상호작용을 통한 립모션 기반 윷놀이 게임

성재훈,김태영 한국차세대컴퓨팅학회 2017 한국차세대컴퓨팅학회 논문지 Vol.13 No.1

최근 웨어러블 컴퓨팅과 가상현실 기술의 발전으로 제스처 인식을 통하여 비접촉식으로 상호작용하는 사용자 친화 적인 입력 인터페이스에 관한 연구가 활발히 진행되고 있다. 본 논문은 립모션을 이용하여 별도의 학습 없이 손 제 스처를 통한 직관적인 상호작용이 가능한 손 제스처를 정의하고 이를 기반으로 윷놀이 게임을 제안한다. 본 논문에 서 제시한 방법은 가상의 3D 객체를 손으로 잡고 던지고 선택하고 이동하며 3차원 화면을 확대, 축소, 이동, 회전 하는 직관적인 상호작용이 가능하므로 윷놀이 게임 뿐 아니라 3D 객체를 다루는 다양한 가상현실 응용 분야의 3차 원 입력 인터페이스로 사용될 수 있다. 실험 결과 평균 85.4% 이상의 인식률로 59 fps 이상의 처리속도를 보여 실 시간 처리가 가능하였다. 또한 정성적 평가를 위하여 사용자 입력 인터페이스(마우스, 터치패널, 립모션을 이용한 손 제스처)를 달리하여 평가를 시행한 결과 마우스나 터치패널에 비하여 본 방법은 립모션 인식 오류로 인한 조작은 다소 불편하나 직관적이고 자연스러운 상호작용이 가능하고 게임의 흥미를 높이는데 도움이 됨을 알 수 있었다. The study on an intuitive user-friendly input interface such as gesture recognition has been actively proposed in recent years thanks to the development of wearable computing and VR(Virtual Reality) technologies. In this paper, we present a Leap Motion-based Playing Yut game with intuitive user input interface through the recognition of hand gestures without prior learning. The proposed method can be used as a contact-less 3D user input interface in various virtual reality applications as well as the Playing Yut game since it supports intuitive 3D interaction such as grabbing, throwing, selecting, and moving a 3D object or zooming, panning, and rotating a 3D view. As a result of the experiment on the hand gesture interface defined in this paper, the accuracy showed over 85.4 % and the performance indicated over 59 fps. Qualitative analysis with various factors relating to user experience were evaluated compared to the other methods using mouse or touch panel, and showed that Leap Motion-based hand gesture provided more intuitive and natural user interaction and aroused much interest to the game, but caused inconvenience condition due to the recognition error of Leap Motion device.

3D 인터랙티브 홀로그램 작품 및 관객 경험 연구

김은솔,김현주 차세대컨버전스정보서비스학회 2017 디지털예술공학멀티미디어논문지 Vol.4 No.1

The development process of a real-time interactive 3D hologram artwork <Re/De-Construction> is described. The process includes the research on the affordable technologies in creating 4-sided cheoptics holographic displays and integrating interactive real-time 3D rendering based on hand gestures sensed by Leap Motion. Users of Leap Motion, however, often brings issue of emptiness due to the fact that the gesture of the user’s body lacks corresponding physical and material reactions. In our research, we developed a way to overcome this issue by combining 3D interactive cheoptics hologram along with Leap motiom. It is believed that the utilization of realtime 3D graphics and NUI devices like Leap Motion will improve the quality of user experience such as presence, immersiveness and interactivity. 본 논문은 실시간 3D 인터랙티브 홀로그램 작품인 <Re/De-Construction>의 제작 연구를 기술한다. 이를 통해 예술가가 직접 구현하기 쉬운 유사 홀로그램의 제작 방법을 모색하고, 립모션에 의한 손 제스처 인식, 실시간 3D 렌더링을 결합한 인터랙티브 3D 홀로그램의 제작 방법론을 소개한다. 본 연구에서는 가상성의 시각적 재현이라고 할 수 있는 플로팅 방식의 유사 홀로그램을 적용시켜 연구자의기존 립모션 활용 작품에서 손의 움직임이 가지는 물질성에 대한 부재 측면을 보완하고자 했다. 본 연구는 360도 회전이 가능한 실시간 3D 그래픽스와 립모션과 같은 NUI 장치의 결합을 통해 홀로그램의실재감과 몰입감, 상호작용적 관객 경험이 증대될 수 있는 가능성을 제시한다.

립모션 센서와 블루투스 통신을 이용한 원격 제어 로봇팔

이재원(Jae Won Lee),김한솔(Han Sol Kim),김준호(Jun Ho Kim),배재혁(Jae Hyeok Bae),유창근(Chang Keun Ryu) 한국전자통신학회 2017 한국전자통신학회 논문지 Vol.12 No.6

본 연구에서는 사람이 접근하기 힘든 환경에서도 사용할 수 있는 로봇 팔이 사람의 손 동작에 따라 동작하는 로봇 팔 제어시스템을 구현하였다. 적외선 센서와, 영상인식 센서를 이용한 립모션 센서를 사용해 사람 손의 좌표를 추출 후 맵핑하고 블루투스 통신을 통하여 로봇 팔에게 전송하여 동작하도록 하였다. In this study, the robot arm control system was implemented that is operated by human hands, which can be used in environments that are inaccessible to humans. This function has to be sent to the robot’s arms after extracting coordinates of human hands. Through mapping and bluetooth communication we use a leap motion sensor with infrared light and Image recognition sensor.

모션인식 디바이스를 이용한 수부재활치료 시스템

황제승(Je-Seung Hwang),김민진(Min-Jin Kim),문미경(Mi-Kyeong Moon) 한국컴퓨터정보학회 2014 韓國컴퓨터情報學會論文誌 Vol.19 No.8

수부와 상지 질환을 가지고 있는 환자가 질환 회복을 위해서 재활치료를 받게 된다. 재활치료는 신체 기능을 회복, 유지시키기 위해 환자의 활동에 대해 중재를 시행하고 물리적 자극을 이용하여 치료하는 것으로, 이는 반복하여 꾸준히 시행하는 것이 가장 중요하다. 본 논문에서는 손상 받은 수부의 기능을 향상시키고 회복시키기 위해 능동적인 활동으로 치료를 제공할 수 있는 수부재활 시스템의 개발 내용에 대해 기술한다. 이 시스템은 손의 움직임을 포착 추적하는데 특화된 디바이스인 립모션을 활용하여 환자 스스로 따라할 수 있는 6 가지 수부재활 운동 패턴을 제공한다. 이를 통해 환자가 일상생활에서 지속적으로 재활운동을 수행하도록 함으로써 치료의 성과를 향상시키도록 한다. The patients who have illness of hand and upper limb should be received rehabilitation treatment to recover such illness. The rehabilitation treatments is a treatments designed to facilitate the process of recovery from injury, illness, or disease to as normal a condition as possible. This should be done continuously and repeatedly. In this paper, we describe hand-rehabilitation system which provides a treatment method improving and recovering the function of injured hands. Expecially, this system is using a leap motion device which can easily and properly identify and trace a hand motion and provide six treatment patterns for hand rehabilitation. By using this system, the patients can do rehabilitation treatment easily and continuously in their daily life and in result, the achievement of treatment will be improved.

립모션 기반의 윈도우즈 애플리케이션 제어 모델에 관한 연구

김원 한국융합학회 2019 한국융합학회논문지 Vol.10 No.11

With recent rapid development of computer capabilities, various technologies that can facilitate the interaction between humans and computers are being studied. The paradigm tends to change to NUI using the body such as 3D motion, haptics, and multi-touch with GUI using traditional input devices. Various studies have been conducted on transferring human movements to computers using sensors. In addition to the development of optical sensors that can acquire 3D objects, the range of applications in the industrial, medical, and user interface fields has been expanded. In this paper, I provide a model that can execute other programs through gestures instead of the mouse, which is the default input device, and control Windows based on the lip motion. To propose a model which converges with an Android application and can be controlled by various media and voice instruction functions using voice recognition and buttons through connection with a main client. It is expected that Internet media such as video and music can be controlled not only by a client computer but also by an application at a long distance and that convenient media viewing can be performed through the proposal model. 최근 컴퓨터 능력의 급속한 발전으로 인간과 컴퓨터간의 상호 작용을 편리하게 연결할 수 있는 많은 기술들이 연구되고 있는 상황으로, 전통적인 입력장치를 사용한 GUI에서 3D 모션, 햅틱, 멀티 터치와 같은 신체를 이용한 NUI로 패러다임이 변화되고 있는 추세이다. 인간의 동작을 센서를 이용하여 컴퓨터에 전달하는 많은 연구가 이루어지고 있으며, 3D 객체를 획득할 수 있는 광학 센서의 개발과 더불어 산업 및 의료 분야, 사용자 인터페이스 분야 등으로 응용 범위가 확장되고 있다. 본 논문에서는 립모션을 기반으로 사용자의 손동작에 따라 기본 입력장치인 마우스를 대신하여 제스처를 통한 타 프로그램 실행 및 윈도우즈 제어가 가능하며, 안드로이드 앱과 융합하여 메인 클라이언트와 연결을 통하여, 음성인식과 버튼을 사용해 각종 미디어와 음성 명령 기능을 통한 제어가 가능한 모델을 제안한다. 제안 모델을 통하여 영상, 음악과 같은 인터넷 미디어를 클라이언트 컴퓨터 뿐만 아니라 앱을 통한 원거리 제어가 가능하여, 편리하게 미디어를 시청할 수 있을 것으로 기대된다.