압축 비디오 데이터로부터 디지털 워터마킹을 위해 인지 모델에 근거한 의미 있는 특징 추출 방법

강행봉 가톨릭대학교 자연과학연구소 1998 자연과학논문집 Vol.19 No.-

비디오 데이터에 있어서 워터마킹은 정지 영상의 워터마킹과는 달리 여러 가지 문제점이 있다. 데이터 자체가 대용량인데다가, 프레임 간의 반복되는 면이 많기 때문에 프레임간의 평균화, 프레임 교환 및 통계적 처리 등을 통해 데이터의 불법 복제가 가능하다. 더욱이, 정지 영상에서 사용되는 워터마킹 방식을 그대로 사용한다면 워터마크는 비디오 데이터에 독립적으로 삽입되게 된다. 비디오 내용에 독립된 워터마크를 삽입하게 되면, 프레임간의 움직임이 없는 영역에서는 통계적으로 비교하거나 평균을 계산하여 워커마크를 삭제할 수 있다. 따라서, 워터마크를 삽입하는 데 있어서 비디오 데이터가 갖고 있는 내용의 중요한 속성을 인간이 시각 시스템에 의존하여 처리하는 것이 바람직하다. 본 논문에서는 압축 비디오 데이터로부터 디지털 워터마킹을 위해 인지 모델에 근거한 영역 정보, 칼라 정보 및 카메라 모션 정보와 같은 의미있는 특징들을 압축 데이터의 복호화 과정을 거치지 않고 직접 추출하는 방법을 제안한다. Video watermarking introduces some issues not present in image watermarking. Because of large amounts of data and inherent redundancy between frames, video signals are susceptible to pirate attacks, including frame averaging, frame dropping, frame swapping, and statistical analysis. Furthermore, if we use image watermarking scheme on video data, the watermarking is video independent because the watermark is fixed while the frame changes. In order to generate robust watermarks on video data, it is desirable to use meaningful features residing on video data. In this paper, we propose a new method in extracting meaningful features such as dominant regions, color information and motions from compressed video data for digital watermarking.

감정에 관련된 비디오 셧의 특징 표현 및 검출

강행봉,박현재 한국정보처리학회 2004 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.11 No.1

The processing of emotional information is very important in Human-Computer Interaction (HCI). In particular, it is very important in video information processing to deal with a user's affection. To handle emotional information, it is necessary to represent meaningful features and detect them efficiently. Even though it is not an easy task to detect emotional events from low level features such as colour and motion, it is possible to detect them if we use statistical analysis like Linear Discriminant Analysis (LDA). In this paper, we propose a representation scheme for emotion-related features and a detection method. We experiment with extracted features from video to detect emotional events and obtain desirable results. 인간과 컴퓨터간의 상호작용에 있어서 감정처리는 매우 중요한 부분이다. 특히, 비디오 정보처리에 있어서 사용자의 감정을 처리할 수 있다면 비디오 검색이나 요약본 추출 등 다양한 응용분야에 활용이 가능하다. 비디오 데이터로부터 이러한 감정 처리를 하기 위해서는 감정에 관련된 특징들을 표현하고, 검출하는 것이 필요하다. 쉽게 추출이 가능한 색상이나 모션 등의 저급 특징들로부터 고급 개념인 감정을 검출하는 것은 매우 어려운 일이지만, 감정에 관련된 여러 장면으로부터 LDA(Linear Discriminant Analysis)와 같은 통계적인 분석을 통해 감정에 관련된 특징들을 검출하는 것은 가능하다. 본 논문에서는 색상, 모션 및 셧 길이 정보로부터 감정과의 관련된 특징을 표현하고 검출하는 방법을 제안한다. 제안된 특징을 사용하여 감정 검출에 관련된 실험을 한 결과 바람직한 결과를 얻었다.

압축 비디오 데이터로부터 내용 기반 비디오 분할에 관한 연구

강행봉 가톨릭대학교 자연과학연구소 1997 자연과학논문집 Vol.18 No.-

비디오 분할은 비디오 데이터 검색에 있어서 중요한 과정 중의 하나이다. 특히, 압축된 영상으로부터 비디오 분할에 필요한 특징들을 직접 추출하여 분할할 수 있다면 효율적으로 정보 검색을 할 수 있을 것이다. 기존의 발표된 방법들은 단순히 DC 영상의 신호특성을 이용한 것으로서 DC 영상의 내용 변화에 민감하지 못하다. 본 논문에서는 압축 비디오 데이터로부터 DC 영상을 복원하고, 이 영상에 존재하는 의미있는 내용을 공간 및 시간적인 응집성을 이용하여 추출하여 비디오 데이터를 분할하는 방식을 제안한다. Automatic video segmentation is one of the most important procedures for video indexing. In particular, it is desirable to segment directly from compressed video data. In this paper, we describe a new approach to segment from compressed video data using spaio-temporal coherence. We extract DC images first and then quantize them using our own quantization table in which the intensity value range is divided into non-uniform-size bins based on human visual system. Next, we extract meaningful connected regions on each frame with spatial coherence and find 3D connected volume using correspondences between regions with temporal coherence. Finally, we can segment video data based on 3D connected volume.

지능적인 비디오 브라우저 구현에 관한 연구

강행봉 가톨릭대학교 자연과학연구소 1999 자연과학논문집 Vol.20 No.-

최근 들어, 컴퓨터 처리 속도 및 네트워크의 대역폭이 급속히 증가하고 있어서, 비디오나 고 해상도(high resolution)의 영상들 및 상호 작용을 제공하는 에니메이션 등과 같은 비쥬얼 정보 처리에 대한 필요성은 사용자들에게 있어서 매우 중요하게 인식되고 있다. 약 600만 시간정도분량의 비디오 데이터가 저장되어 있고, 또 매년 10퍼센트 정도의 비율로 비디오 데이터가 증가하고 있으므로, 비디오 정보를 빠르게 탐색 및 검색 기능을 갖춘 비디오 브라우저가 필수적으로 필요하다. 본 논문에서는 신속하고 사용자에 편리한 검색환경을 제공하기 위한 지능적 비디오 브라우저를 제안하고, 프로토타입을 구현하였다. Recently, visual information such as full-motion video, high-resolution images, and interactive animations are becoming important to users as computing power and network bandwidth continue to increase. Since there are more than 6 million hours of video already stored and this number grows at a rate of about 10 percent a year, it is necessary to develop a video browser for searching and retrieval of video data. In this paper, we propose an intelligent video browser for fast, user-friendly searching and implement a prototype.

감정에 관련된 비디오 셧의 특징 표현 및 검출

강행봉,박현재,Kang, Hang-Bong,Park, Hyun-Jae 한국정보처리학회 2004 정보처리학회논문지B Vol.11 No.1

인간과 컴퓨터간의 상호작용에 있어서 감정처리는 매우 중요한 부결이다. 특히, 비디오 정보처리에 있어서 사용자의 감정을 처리할 수 있다면 비디오 검색이나 요약본 추출 등 다양한 응용분야에 활용이 가능하다. 비디오 데이터로부터 이러한 감정 처리를 하기 위해서는 감정에 관련된 특징들을 표현하고, 검출하는 것이 필요하다. 쉽게 추출이 가능한 색상이나 모션 등의 저급 특징들로부터 고급 개념인 감정을 검출하는 것은 매우 어려운 일이지만, 감정에 관련된 여러 장면으로부터 LDA(Linear Discriminant Analysis)와 같은 통계적인 분석을 통해 감정에 관련된 특징들을 검출하는 것은 가능하다. 본 논문에서는 색상, 모션 및 셧 길이 정보로부터 감정과의 관련된 특징을 표현하고 검출하는 방법을 제안한다. 제안된 특징을 사용하여 감정 검출에 관련된 실험을 한 결과 바람직한 결과를 얻었다. The processing of emotional information is very important in Human-Computer Interaction (HCI). In particular, it is very important in video information processing to deal with a user's affection. To handle emotional information, it is necessary to represent meaningful features and detect them efficiently. Even though it is not an easy task to detect emotional events from low level features such as colour and motion, it is possible to detect them if we use statistical analysis like Linear Discriminant Analysis (LDA). In this paper, we propose a representation scheme for emotion-related features and a defection method. We experiment with extracted features from video to detect emotional events and obtain desirable results.

다양한 환경에서의 칼라 얼굴 데이터베이스 구축 및 얼굴 검출 방법

강행봉 가톨릭대학교 자연과학연구소 2002 자연과학논문집 Vol.23 No.-

본 논문에서는 다양한 조명 및 포즈로 구성된 칼라 얼굴 데이터베이스 구축 및 얼굴 검출 방법에 대해 기술한다. 본 논문에서 제안된 방식은 피부 검출 모듈, 눈 검출 모듈 및 템플레이트 매칭 모듈로 구성되어 있다. 일반적인 사무실 환경에서 조명 및 포즈 변환에 의해 PC 카메라에서 얻은 영상으로부터 실시간으로 얼굴을 검출하기 위해, RGB 칼라 스페이스를 HSV로 변환하고 H(Hue) 및 S(Saturation)로 이루어진 윈도우를 적응적으로 변환하여 얼굴 후보 영역을 검출한다. 얼굴 후보 영역으로부터 얼굴 구성의 중요한 특징이고, 포즈 변환에 강인한 눈의 후보 점들을 추출한다. 추출된 눈의 후보 점을 평균얼굴의 눈과 템플레이트 매칭을 한다. 이때 hausdorff 거리를 유사도로 사용한다. 다양한 실험을 통해 95%이상의 검출율을 기록하였다. In this paper, we discuss the method to construct color face database under variable lighting and pose and detect faces from that database. Our proposed method consists of three modules such as a skin segment extraction module, an eye feature extraction module, and a template matching module. First, we detect skin color segments by adjusting threshold window in Hue-Saturation(HS) space according to the distribution of color histogram. From these skin color segments, salient feature points for face are extracted. After that, the feature points for eyes are computed. The possible eye feature points are compared with normalized eye features which are obtained from the training data. At this template matching stage, we use a modified Hausdorff distance. Finally, eye feature points are selected and then face segments are determined. The accuracy of face detection result on our test images is 95%.

Considerations of Semantics and Multimedia Information at Name Server for Directory Service

강행봉,박용진 대한전자공학회 1986 대한전자공학회 학술대회 Vol.1986 No.1

감정 기반 컴퓨팅

강행봉 대한전자공학회 2001 전자공학회지 Vol.28 No.12

지역 컨텍스트 및 전역 컨텍스트 정보를 이용한 비디오 장면 경계 검출

강행봉 한국정보과학회 2002 정보과학회 컴퓨팅의 실제 논문지 Vol.13 No.6

장면 경계 검출은 비디오 데이타에서 의미적인 구조를 이해하는데 있어서 매우 중요한 역할을 한다. 하지만, 장면 경계 검출은 의미적인 일관성을 갖는 장면을 추출하여야 하므로 셧 경계 검출에 비해 매우 까다로운 작업이다. 본 논문에서는 비디오 데이타에 존재하는 의미적인 정보를 사용하기 위해 비디오 셧의 지역 및 전역 컨텍스트 정보를 추출하여 이를 바탕으로 장면 경계를 검출하는 방식을 제안한다. 비디오 셧의 지역 컨텍스트 정보는 셧 자체에 존재하는 컨텍스트 정보로서 전경 객체(foreground object), 배경(background) 및 움직임 정보들로 정의한다. 전역 컨텍스트 정보는 주어진 비디오 셧이 주위에 존재하는 다른 비디오 셧들과의 관계로부터 발생하는 다양한 컨텍스트로서 셧들간의 유사성, 상호 작용 및 셧들의 지속 시간 패턴으로 정의한다. 이런 컨텍스트 정보를 바탕으로 연결 작업, 연결 검증 작업 및 조정 작업등의 3단계 과정을 거쳐 장면을 검출한다. 제안된 방식을 TV 드라마 및 영화에 적용하여 80% 이상의 검출 정확도를 얻었다. Scene boundary detection is important in the understanding of semantic structure from video data. However, it is more difficult than shot change detection because scene boundary detection needs to understand semantics in video data well. In this paper, we propose a new approach to scene segmentation using contextual information in video data. The contextual information is divided into two categories: local and global contextual information. The local contextual information refers to the foreground regions' information, background and shot activity. The global contextual information refers to the video shot's environment or its relationship with other video shots. Coherence, interaction and the tempo of video shots are computed as global contextual information. Using the proposed contextual information, we detect scene boundaries. Our proposed approach consists of three consecutive steps: linking, verification, and adjusting. We experimented the proposed approach using TV dramas and movies. The detection accuracy of correct scene boundaries is over than 80%.

Hidden Markov Model을 이용한 감정관련 비디오 셧 검출

강행봉 가톨릭대학교 자연과학연구소 2004 자연과학논문집 Vol.25 No.-

본 논문에서는 Hidden Markov Model(HMM)을 기반으로 한 감정 이벤트를 검출하는 새로운 방법을 제안한다. 비디오 데이터의 저급 특징들로부터 고급 개념의 감정 이벤트를 매핑하기 위하여 감정 이벤트와 저급 특징들 사이에 존재하는 관련성에 대한 다양한 실험을 수행하였다. 실험 결과로부터 감정에 관련된 특성을 나타내는 저급 특징들을 계산할 수 있었고, 이러한 저급 특징들을 결합한 관찰 벡터를 구성하였다. 관찰 벡터는 HMM을 통하여 감정 관련 이벤트를 검출하는데 사용되었다. 두 가지의 HMM 형태를 감정 이벤트 검출에 사용하였다. 제안된 모델은 감정 검출에 있어서 바람직한 성능을 보여주었다. This paper discusses a new technique for detecting affective events using Hidden Markov Models(HMM). To map low level features of video data to high level emotional events, we perform empirical study on the relationship between emotional events and low-level features. After that, we compute simple low-level features that represent emotional characteristics and construct a token or observation vector by combining low level features. The observation vector sequence is tested to detect emotional events through HMMs. We create two HMM topologies and test both topologies. The affective events are detected from our proposed models with good accuracy.