객체의 움직임 해석을 이용한 회화적 스트로크 생성 방법

이호창(Hochang Lee),서상현(Sanghyun Seo),류승택(Seungtack Ryoo),윤경현(KyungHyun Yoon) 한국정보과학회 2010 정보과학회논문지 : 시스템 및 이론 Vol.37 No.4

기존의 회화적 렌더링은 영상 기울기(image gradient) 정보를 사용해 스트로크의 방향, 크기, 길이 등을 결정하였다. 영상 기울기는 객체의 모양을 표현하는데 있어서 유용한 정보이지만 풍경화에서 표현되는 객체(물, 나무 등)의 현재 움직임이나 흐름을 나타낼 수 없는 한계를 가진다. 실제 화가들의 그림에서, 객체의 실제 움직임에 기반한 브러시 스트로크는 관찰자에게 객체의 움직임을 보다 쉽게 인지할 수 있게 하며, 그림이 그려질 당시의 느낌을 보다 생동감 있게 전달할 수 있는 장점을 가진다. 본 논문에서는 풍경화의 주 대상이 되는 객체들의 움직임 정보를 기반으로 동적인 객체의 움직임을 효과적으로 표현할 수 있는 회화적 스트로크 생성에 관한 연구를 제안한다. 이를 위해 동일한 시점을 가진 순차영상 집합으로부터 표현하고자 하는 장면의 움직임 정보(크기, 방향, 편차)을 추출한다. 그리고 움직임의 크기가 큰 영역은 움직임의 방향에 기반하여 스트로크를 생성하며 움직임의 정보가 작은 영역은 영상 기울기 값을 기반으로 방향을 결정한다. 우리의 알고리즘은 사실적인 움직임의 방향을 표현하는데 유용하며 이는 풍경화 영상을 렌더링 하는데 유용하다. Previous painterly rendering techniques normally use image gradients for stroke generation. Although image gradients are useful for expressing object shapes, it is difficult to express the flow or movements of objects of objects. In real painting, the use of brush strokes corresponding to the actual movement of objects allows viewers to recognize objects’ motion better and express the liveliness of the objects much more. In this paper, we propose a novel painterly stroke generation algorithm to express dynamic objects based on their motion information. We first extract motion information (magnitude, direction) of a scene from a set of image sequences from the same view. Then the motion directions are used for determining stroke orientations in the regions with significant motions. Where little motion is observed, image gradients are used for determining stroke orientations. Our algorithm is useful for realistically and dynamically representing moving objects.

회화적 렌더링에서의 대기원근법의 표현에 관한 연구

장재니(Jae-Ni Jang),류승택(Seung Taek Ryoo),서상현(SangHyun Seo),이호창(Hochang Lee),윤경현(Kyung-Hyun Yoon) 한국멀티미디어학회 2010 멀티미디어학회논문지 Vol.13 No.10

감성리컬러링을 통한 회화적 렌더링과 평가에 관한 연구

이태민 차세대컨버전스정보서비스학회 2021 차세대컨버전스정보서비스기술논문지 Vol.10 No.5

화가가 어떤 장면을 그림으로 표현할 때, 장면을 그대로 표현하는 경우도 있지만, 일반적으로 자신이 느끼는 감정을 기반으로 그림을 그린다. 감정을 표현할 수 있는 예술적 표현 방식들이 존재하기 때문에, 이런 방식들이 그림에 적용된다. 감정 표현 요소들이 관찰자들에게 영향을 미치게 되면서, 화가가 장면을 보며 느낀 감정을, 관찰자들은 그림을 통해서 느낄 수 있게 된다. 기술의 발전에 따라서 이미지를 이용하여 다양한 표현이 가능하게 되었지만, 비전문가들이 그림 요소들을 능숙하게 사용하여 감정 표현까지 하기에는 어려움이 존재한다. 본 연구에서는 사용자가 자신이 원하는 감정을 이미지에 반영하여, 반영된 색상을 기반으로 회화를 만들어내는 시스템을 제안한다. 본 연구에서는 감정에 가장 크게 연관이 되는 시각 정보인 색상을 이용하여, 감정과 색상과의 관계를 찾아낸다. 사용자가 특정 감성을 선택하며 그 감성에 맞는 색상 팔레트를 제작한 후, 만들어진 색상 팔레트를 기반으로 이미지를 리컬러링한다. 그 후 리컬러링된 이미지를 이용하여 회화적 렌더링을 진행하면, 사용자의 감성에 맞는 회화가 만들어지게 된다. When an artist draws a scene as a painting, there are cased where the scene is expressed as it is, but in general, he draws a painting based his feelings, Since there are artistic expression methods that can express emotions, these methods apply to paintings. As the emotional expression elements influence the observers, the artist’s feelings while watching the scene, and the observers can feel them through the paintings. With the development of technology, various expressions have become possible using images, but it is difficult for non-experts to skillfully use picture elements to express emotions. In this study, a system is proposed in which a user reflects the emotions he or she wants in an image and creates a painting based on the reflected color. In this study, the relationship between emotion and color is found using color, which is visual information that is most related to emotion. After the user selects a specific emotion and creates a color palette suitable for the emotion, the image is recolored based on the created color palette. After that, when painterly rendering is performed using the recolored image, a painting suitable for the user's emotion is created.

회화적 렌더링을 위한 세일리언시 기반의 스트로크 단계별 세부묘사 제어에 관한 연구

이호창(Ho Chang Lee),서상현(Sang Hyun Seo),윤경현(Kyung Hyun Yoon) 한국정보과학회 2009 정보과학회논문지 : 시스템 및 이론 Vol.36 No.3

본 논문은 세일리언시 밀도에 기반한 스트로크의 단계별 세부묘사(Level of Detail:LOD) 표현 알고리즘을 제안한다. 회화적 렌더링에서, 스트로크 LOD는 주된 대상에 대한 관찰자의 시선을 집중시키며 표현의 정확성을 높일 수 있는 장점을 가진다. 이를 위해 세밀하게 묘사될 부분과 추상적 묘사가 될 영역을 구분할 필요가 있다. 본 논문에서는 세일리언시 분포를 기준으로 공간 분할 후, 그 데이터에 기반하여 세밀한 표현의 정도를 제어한다. 세일리언시 분포가 높은 영역은 작가가 표현하고자 하는 주된 대상으로 가정하여 세밀한 묘사가 되도록 하며 밀도가 낮은 영역은 상대적으로 추상적인 표현을 한다. 우리의 알고리즘을 통해 쉽고 명확하게 스트로크 LOD를 제어, 표현 할 수 있다. In this paper, we suggest a stroke level of detail (LOD) based on a saliency density. On painterly rendering, the stroke LOD has an advantage of making the observer concentrate on the main object and improving accuracy of expression. For the stroke LOD, it is necessary to classify the detailed and abstracted area. We divide the area on the basis of saliency distribution and the level of detailed expression is controlled based on the saliency information. We define that the area of which the saliency distribution is high is a major subject that an artist tries to express, it is described in detail. The area of which the saliency distribution is low is abstractly described. Each divided area has the abstraction level. And by adapting the brushes of which sizes are appropriate to each level, it is possible to express the area which needs to be expressed in details from the one which needs to be expressed abstractly.

실제 작품의 분석을 통한 점묘화의 색상병치

서상현,윤경현 (사)한국컴퓨터그래픽스학회 2010 컴퓨터그래픽스학회논문지 Vol.16 No.2

In this paper, we proposes a method that analyzes the characteristics and patterns of color juxtaposition based on the color wheel used by pointillism painter and an algorithm that generates pointillistic images by applying obtained analysis data. In order to analyze color juxtaposition of pointillism, we extract the stroke colors of real painting and find the most similar probability density functions(PDFs) through applying good-of-fit tests for the probabilistic distribution of stroke colors. By performing the juxtaposition of color based on the found PDFs, we can convert input image to pointillistic image effectively. It can be seen that this study shows reliability in the use of data obtained from actual paintings and that leads to perform a reasonable work. 본 논문에서는 점묘주의에서 화가들이 사용했던 색상이론을 기반으로 색상병치의 특징 및 패턴을 분석하고 얻어진 분석 데이터를 회화적 렌더링에 적용해 점묘화를 생성하는 알고리즘을 제안한다. 점묘화의 병치를 분석하기 위해서, 실제 작품에 나타나는 스트로크의 색상을 추출하고 그 색상의 분포도를 잘 알려진 확률분포함수와 적합도 검정을 통해 최적의 분포도 함수를 얻는다. 이러한 분포도 함수를 이용해 색상 병치를 함으로써 2D 입력영상을 점묘화풍의 영상으로 효과적으로 변환할 수 있었다. 우리의 연구는 실제 작품을 통해 얻어진 데이터를 사용함으로써 보다 신뢰성이 있으며 합리적이라고 할 수 있다.

회화적 렌더링을 위한 에지 기반 동적 브러시 스트로크 생성에 관한 연구

박영섭(Youngsup Park),윤경현(Kyunghyun Yoon) 한국멀티미디어학회 2005 멀티미디어학회논문지 Vol.8 No.2

회화적 렌더링을 위한 MHN 필터 기반 브러시 스트로크 생성기법

서상현(Sang-Hyun Seo),윤경현(Kyung-Hyun Yoon) 한국멀티미디어학회 2006 멀티미디어학회논문지 Vol.9 No.8

페인팅 매체 프로파일을 이용한 스트로크 기반 렌더링에 관한 연구

서상현(Sang Hyun Seo),윤경현(Kyung Hyun Yoon) 한국멀티미디어학회 2009 멀티미디어학회논문지 Vol.12 No.11

사용자 정의 팔레트에 기반한 점묘화 렌더링에 관한 연구

서상현(Sang-Hyun Seo),윤경현(Kyung-Hyun Yoon) 한국멀티미디어학회 2008 멀티미디어학회논문지 Vol.11 No.4

회화적 애니메이션에서 브러시 스트로크의 시간적 일관성을 유지하기 위한 모션 맵 생성

박영섭(Youngsup Park),윤경현(Kyunghyun Yoon) 한국정보과학회 2006 정보과학회논문지 : 시스템 및 이론 Vol.33 No.8

회화적 애니메이션은 비디오 동영상을 이용하여 손으로 그린 듯 한 회화적 느낌을 표현하는 방법이며 프레임 간 브러시 스트로크의 시간적 일관성을 유지하는 것이 가장 중요한 요소이다. 본 논문에서는 프레임 간 브러시 스트로크의 일관성을 유지하기 위한 모션 맵 생성을 제안한다. 모션 맵이란 모션이 발생한 에지 위치를 기준으로 해서 모션 정보를 더함으로써 프레임 간 에지가 움직이는 영역을 말한다. 본 논문에서 사용한 모션 추정 방법은 광류(optical flow) 방법과 블록 기반 방법을 이용하였으며 여러 가지 모션 추정 방법을 통해서 얻은 모션 정보(방향과 크기) 중 신호 대 잡음비(PSNR)가 가장 큰 방법을 최종 모션 정보로 선택하여 모션 맵을 생성하였다. 생성된 모션 맵은 다음 프레임의 덧칠 부분을 결정해 준다. 손으로 그린 듯 한 회화적 느낌을 표현하면서도 프레임 간 브러시 스트로크의 시간적 일관성을 유지하기 위해서 브러시 스트로크의 방향을 결정해주는 강한 에지에 대해서만 모션 정보를 적용하였다. 또한 다중노출기법과 소스 영상과 캔버스 간의 차이 맵을 이용하여 프레임 간 플릭커링 현상을 줄이고자 하였다. 구조적 일관성을 유지하기 위해 국부 기울기 보간법(local gradient interpolation)을 이용하여 브러시스트로크 간 방향의 일관성을 유지하였다. Painterly animation is a method that expresses painterly images with a hand-painted appearance from a video, and the most crucial element for it is the temporal coherence of brush strokes between frames. A motion map is proposed in this paper as a solution to the issue of maintaining the temporal coherence in the brush strokes between the frames. A motion map is the region that frame-to-frame motions have occurred. Namely, this map refers to the region frame-to-frame edges move by the motion information with the motion occurred edges as a starting point. In this paper, we employ the optical flow method and block-based method to estimate the motion information. The method that yielded the biggest PSNR using the motion information (the directions and magnitudes) acquired by various methods of motion estimation has been chosen as the final motion information to form a motion map. The created motion map determine the part of the frame that should be re-painted. In order to express painterly images with a hand-painted appearance and maintain the temporal coherence of brush strokes, the motion information was applied to only the strong edges that determine the directions of the brush strokes. Also, this paper seek to reduce the flickering phenomenon between the frames by using the multiple exposure method and the difference map created by the difference between images of the source and the canvas. Maintenance of the coherence in the direction of the brush strokes was also attempted by a local gradient interpolation to maintain the structural coherence.