유사 시퀀스 매칭을 위한 하이브리드 저차원 변환

문양세,김진호,Moon, Yang-Sae,Kim, Jin-Ho 한국정보처리학회 2008 정보처리학회논문지D Vol.15 No.1

유사 시퀀스 매칭에서는 고차원인 시퀀스를 저차원의 점으로 변환하기 위하여 저차원 변환을 사용한다. 그런데, 이러한 저차원 변환은 시계열 데이터의 종류에 따라 인덱싱 성능에 있어서 큰 차이를 나타낸다. 즉, 어떤 저차원 변환을 선택하느냐가 유사 시퀀스 매칭의 인덱싱 성능에 큰 영향을 주게 된다. 이 문제를 해결하기 위하여, 본 논문에서는 하나의 인덱스에서 두 개 이상의 저차원 변환을 통합하여 사용하는 하이브리드 접근법을 제안한다. 먼저, 하나의 시퀀스에 두 개 이상의 저차원 변환을 적용하는 하이브리드 저차원 변환의 개념을 제안하고, 변환된 시퀀스간의 거리를 계산하는 하이브리드 거리를 정의한다. 다음으로, 이러한 하이브리드 접근법 사용하면 유사 시퀀스 매칭을 정확하게 수행할 수 있음을 정형적으로 증명한다. 또한, 제안한 하이브리드 접근법을 사용하는 인덱스 구성 및 유사 시퀀스 매칭 알고리즘을 제시한다. 다양한 시계열 데이터에 대한 실험 결과, 제안한 하이브리드 접근법은 단일 저차원 변환을 사용하는 경우에 비해서 우수한 성능을 보이는 것으로 나타났다. 이 같은 결과를 볼 때, 제안한 하이브리드 접근법은 다양한 특성을 지닌 다양한 시계열 데이터에 두루 적용될 수 있는 우수한 방법이라 사료된다. We generally use lower-dimensional transformations to convert high-dimensional sequences into low-dimensional points in similar sequence matching. These traditional transformations, however, show different characteristics in indexing performance by the type of time-series data. It means that the selection of lower-dimensional transformations makes a significant influence on the indexing performance in similar sequence matching. To solve this problem, in this paper we propose a hybrid approach that integrates multiple transformations and uses them in a single multidimensional index. We first propose a new notion of hybrid lower-dimensional transformation that exploits different lower-dimensional transformations for a sequence. We next define the hybrid distance to compute the distance between the transformed sequences. We then formally prove that the hybrid approach performs the similar sequence matching correctly. We also present the index building and the similar sequence matching algorithms that use the hybrid approach. Experimental results for various time-series data sets show that our hybrid approach outperforms the single transformation-based approach. These results indicate that the hybrid approach can be widely used for various time-series data with different characteristics.

IPTV 기술 ; IPTV 동영상 압축 표준

문양세,노웅기 한국정보처리학회 2007 정보처리학회지 Vol.14 No.2

시계열 스트림 데이터 상에서 핸드헬드 디바이스를 위한 효율적인 스트림 시퀀스 매칭 알고리즘

문양세,노웅기 한국통신학회 2006 韓國通信學會論文誌 Vol.31 No.8

시계열 스트림 데이터 상에서 핸드헬드 디바이스를 위한 효율적인 스트림 시퀀스 매칭 알고리즘

문양세,노웅기,Moon Yang-Sae,Loh Woong-Kee 한국통신학회 2006 韓國通信學會論文誌 Vol.31 No.8B

핸드헬드 디바이스의 경우, 반복 작업에 대한 CPU 연산 최소화가 성능에 중요한 요소이다. 본 논문에서는 주식 데이터, 네트워크 트래픽, 센서 데이터 등의 시계열 스트림 데이터 상에서 유사 시퀀스를 효율적으로 찾아내는 핸드헬드 디바이스용 알고리즘을 제시한다. 이를 위하여, 우선 시계열 스트림 데이터 상에서 유사 시퀀스를 찾아내는 문제를 스트림 시퀀스 매칭(stream sequence matching)으로 정형적으로 정의한다. 다음으로, 기존의 서브시퀀스 매칭에서 사용했던 윈도우 구성법을 적용하여, 스트림 시퀀스 매칭을 효율적으로 처리하는 윈도우 기반 접근법을 제안한다. 그리고 이러한 윈도우 기반 접근법을 가능하게 하는 윈도우 MBR(window MBR) 개념을 제시하고, 이 개념을 사용하면 스트림 시퀀스 매칭을 정확하게 수행할 수 있음을 증명한다. 또한, 윈도우 기반 접근법에 기반한 두 가지 스트림 시퀀스 매칭 알고리즘을 제안한다. 마지막으로, 분석과 실험을 통해 제안한 알고리즘이 단순 접근법에 비해 CPU 연산을 크게 줄이고 성능을 향상시킴을 보인다. 이 같은 결과를 볼 때, 제안한 방법은 CPU 연산 능력이 부족한 핸드헬드 디바이스의 내장형 알고리즘으로 매우 적합하다고 사료된다. For the handhold devices, minimizing repetitive CPU operations such as multiplications is a major factor for their performances. In this paper, we propose efficient algorithms for finding similar sequences from streaming time-series data such as stock prices, network traffic data, and sensor network data. First, we formally define the problem of similar subsequence matching from streaming time-series data, which is called the stream sequence matching in this paper. Second, based on the window construction mechanism adopted by the previous subsequence matching algorithms, we present an efficient window-based approach that minimizes CPU operations required for stream sequence matching. Third, we propose a notion of window MBR and present two stream sequence matching algorithms based on the notion. Fourth, we formally prove correctness of the proposed algorithms. Finally, through a series of analyses and experiments, we show that our algorithms significantly outperform the naive algorithm. We believe that our window-based algorithms are excellent choices for embedded stream sequence matching in handhold devices.

시계열 데이터베이스에서 단일 색인을 사용한 정규화 변환 지원 서브시퀀스 매칭

문양세,김진호,노웅기,Moon Yang-Sae,Kim Jin-Ho,Loh Woong-Kee 한국정보처리학회 2006 정보처리학회논문지D Vol.13 No.4

정규화 변환은 시계열 시퀀스를 구성하는 엔트리들의 전체적인 패턴을 분석하는데 매우 유용하다. 본 논문에서는 단일 색인을 사용한 정규화 변환 지원 서브시퀀스 매칭 방법을 제안한다. 기존의 정규화 변환 지원 서브시퀀스 매칭 방법은 다양한 길이의 질의 시퀀스를 지원하기 위하여 여러 개의 색인을 생성해야 하고, 이에 따라 색인 저장 공간의 오버헤드와 색인 관리의 오버헤드가 발생한다. 본 논문에서는 하나의 색인을 사용하면서도 다양한 길이의 질의 시퀀스에 대한 정규화 변환을 지원하는 효율적인 서브시퀀스 매칭 방법을 제안한다. 이를 위하여, 우선 정규화 변환을 일반화한 포함-정규화 변환(inclusion-normalization transform) 개념을 제시한다. 포함 정규화 변환이란 색인에 저장할 윈도우에 대해서 해당 윈도우를 포함하는 서브시퀀스의 평균과 표준편차로 정규화하는 것으로서, 기본적인 정규화 변환을 윈도우 및 서브시퀀스 개념을 사용하여 확장한 것이다. 다음으로, 포함-정규화 변환을 기존 서브시퀀스 매칭 연구에 적용하기 위한 이론적 근거를 정리로서 제시하고 증명한다. 그리고, 이 방안을 구현하기 위한 색인 구성 알고리즘 및 서브시퀀스 매칭 알고리즘을 각각 제시한다. 실제 주식 데이터에 대한 실험 결과, 제안한 방법은 기존 방법에 비해 최대 $2.5{\sim}2.8$배까지 성능을 향상 시킨 것으로 나타났다. 본 논문에서 제안한 정규화 변환 지원 서브시퀀스 매칭은 정규화 변환 이외의 다른 변환을 지원하는 서브시퀀스 매칭으로 일반화 될 수 있다. 따라서, 제안한 방법은 정규화 변환을 포함하는 많은 다른 종류의 변환을 지원하는 서브시퀀스 매칭에 폭넓게 적용될 수 있는 좋은 연구결과라 사료된다. Normalization transform is very useful for finding the overall trend of the time-series data since it enables finding sequences with similar fluctuation patterns. The previous subsequence matching method with normalization transform, however, would incur index overhead both in storage space and in update maintenance since it should build multiple indexes for supporting arbitrary length of query sequences. To solve this problem, we propose a single index approach for the normalization transformed subsequence matching that supports arbitrary length of query sequences. For the single index approach, we first provide the notion of inclusion-normalization transform by generalizing the original definition of normalization transform. The inclusion-normalization transform normalizes a window by using the mean and the standard deviation of a subsequence that includes the window. Next, we formally prove correctness of the proposed method that uses the inclusion-normalization transform for the normalization transformed subsequence matching. We then propose subsequence matching and index building algorithms to implement the proposed method. Experimental results for real stock data show that our method improves performance by up to $2.5{\sim}2.8$ times over the previous method. Our approach has an additional advantage of being generalized to support many sorts of other transforms as well as normalization transform. Therefore, we believe our work will be widely used in many sorts of transform-based subsequence matching methods.

시계열 스트림 시퀀스 매칭을 위한 효율적인 내장형 알고리즘

문양세,김진호 강원대학교 정보통신연구소 2006 정보통신논문지 Vol.10 No.-

For handheld devices, minimization of CPU operations is the most important factor in performance. In this paper, we propose the efficient algorithms that extract sequences similar to the given query sequence from the time-series stream sequence matching as the problem of finding similar to the given query sequence from the time-series stream such as network traffic data, stock prices, and sensor data. First, we formally define th stream sequence matching as the problem of finding similar sequences from the time-series stream. Second, we propose an efficient window-based approach by using the window construction mechanism of traditional subsequence matching methods. Third, we provide the notion of window MBR and propose two different stream sequence matching algorithms based on the notion. Fourth, we formally prove correctness of the proposed algorithms by presenting related theorems. Last, through extensive experiments, we show that our approach improves performance significantly compared with the naive approach. Overall, we believe that our methods would be very suitable for handheld devices as the embedded algorithms.

단일 색인 기반의 이동평균 변환 지원 시계열 서브시퀀스 매칭

문양세,김진호 강원대학교 기초과학연구소 2005 기초과학연구 Vol.16 No.-

  본 논문에서는 단일 색인 기반의 임의 계수 이동평균 변환 지원 서브시퀀스 매칭 방법을 제안한다. 기존 연구에서는 임의 계수를 지원하기 위해 여러 개의 색인을 생성해야 하고, 이에 따라 색인 저장 공간 및 색인 관리의 오버헤드가 발생하는 문제점이 있다. 본 논문에서는 우선 이동평균 변환의 정의를 확장한 다계수 이동평균 변환(poly-order moving average transform) 개념을 제시한다. 다음으로, 이러한 다계수 이동평균 변환 개념을 사용하는 서브시퀀스 매칭 방법의 이론적 근거인 정확성을 정리로서 제시하고 증명한다. 또한, 다계수 이동평균 변환을 기존 서브시퀀스 매칭 연구에 적용하여, 두 가지 이동평균 변환 지원 서브시퀀스 매칭 방법을 제시한다. 실험 결과, 제안한 두 가지 서브시퀀스 매칭 방법은 모든 경우에 있어서 순차 스캔보다 성능을 크게 향상시킨 것으로 나타났다. 이와 같이 성능 측면과 색인 공간 및 관리 측면에서의 우수성에 덧붙여, 제안한 방법은 이동평균 변환 이외의 다른 변환을 지원하는 서브시퀀스 매칭으로 일반화 될 수 있는 우수한 연구결과라 사료된다.

MBR-Safe 변환: 유사 시퀀스 매칭에서 고차원 MBR의 저차원 변환

문양세(Yang-Sae Moon) 한국정보과학회 2006 정보과학회논문지 : 데이타베이스 Vol.33 No.7

대부분의 유사 시퀀스 매칭 방법은 다차원 색인을 사용한 검색 속도의 향상을 위해, 많은 수의 고차원 시퀀스를 저차원 변환한 후 이들 변환된 시퀀스들을 포함하는 저차원 MBR을 구성한다. 본 논문에서는 고차원 MBR 자체를 직접 저차원 MBR로 변환하는 정형적인 방법을 제안하고, 이를 사용하면 유사 시퀀스 매칭에서 필요한 저차원 변환 횟수를 획기적으로 줄일 수 있음을 보인다. 이를 위해, 우선 변환의 MBR-safe 개념을 정형적으로 제안한다. 어떤 변환이 MBR-safe하다 함은 고차원 MBR을 직접 변환한 저차원 MBR이 개별 고차원 시퀀스가 변환된 저차원 시퀀스를 모두 포함함을 의미한다. 다음으로, 기존 저차원 변환 중에서 가장 널리 사용되는 DFT와 DCT에 대해 각각 MBR-safe 변환을 제안한다. 먼저, 기존 DFT와 DCT가 MBR-safe하지 않음을 보이고, DFT와 DCT를 확장한 mbrDFT와 mbrDCT를 각각 정의한다. 그리고, 이들 mbrDFT와 mbrDCT가 MBR-safe함을 정형적으로 증명한다. 또한, mbrDFT(혹은 mbrDCT)가 고차원 MBR을 저차원 MBR로 직접 변환하는 DFT(혹은 DCT) 기반의 최적 MBR-safe 변환임을 증명한다. 분석과 실험 결과, 제안한 mbrDFT 및 mbrDCT를 사용하면 저차원 변환 횟수를 획기적으로 줄이고 성능을 크게 향상 시킨 것으로 나타났다. 이 같은 결과를 볼 때, 본 논문에서 제시한 MBR-safe 개념은 고차원 MBR의 저차원 변환이 필요한 많은 응용에 활용될 수 있는 유용한 연구 결과라 사료된다. To improve performance using a multidimensional index in similar sequence matching, we transform a high-dimensional sequence to a low-dimensional sequence, and then construct a low-dimensional MBR that contains multiple transformed sequences. In this paper we propose a formal method that transforms a high-dimensional MBR itself to a low-dimensional MBR, and show that this method significantly reduces the number of lower-dimensional transformations. To achieve this goal, we first formally define the new notion of MBR-safe. We say that a transform is MBR-safe if a low-dimensional MBR to which a high-dimensional MBR is transformed by the transform contains every individual low-dimensional sequence to which a high-dimensional sequence is transformed. We then propose two MBR-safe transforms based on DFT and DCT, the most representative lowerdimensional transformations. For this, we prove the traditional DFT and DCT are not MBR-safe, and define new transforms, called mbrDFT and mbrDCT, by extending DFT and DCT, respectively. We also formally prove these mbrDFT and mbrDCT are MBR-safe. Moreover, we show that mbrDFT(or mbrDCT) is optimal among the DFT-based(or DCT-based) MBR-safe transforms that directly convert a high-dimensional MBR itself into a low-dimensional MBR. Analytical and experimental results show that the proposed mbrDFT and mbrDCT reduce the number of lower-dimensional transformations drastically, and improve performance significantly compared with the na?ve transforms. These results indicate that our MBR-safe transforms provides a useful framework for a variety of applications that require the lower-dimensional transformation of high-dimensional MBRs.

윈도우를 구성하는 방법의 이원성을 이용한 효율적인 시계열 서브시퀀스 매칭

문양세(Yang-Sae Moon),노웅기(Woong-Kee Loh),황규영(Kyu-Young Whang) 한국정보과학회 2001 정보과학회논문지 : 데이타베이스 Vol.28 No.1

서브시퀀스 매칭은 질의 시퀀스와 유사한 서브시퀀스를 가지는 데이타 시퀀스와 해당 서브시퀀스의 위치를 찾는 문제이다. 본 논문에서는 윈도우를 구성하는 방법의 이원성을 이용한 새로운 서브시퀀스 매칭 방법인 Dual-Match를 제안하고, 이 방법이 서브시퀀스 매칭의 성능을 획기적으로 향상시킬 수 있음을 보인다. Dual-Match는 윈도우를 구성하는 방법에 있어서 Faloutsos 등이 사용한 방법(간단히 FRM이라 한다)의 이원적 접근법이다. 즉, FRM에서는 데이타 시퀀스를 슬라이딩 윈도우로 나누고 질의 시퀀스를 디스조인트 윈도우로 나누는 방법을 사용한 반면, Dual-Match에서는 데이타 시퀀스를 디스조인트 윈도우로 나누고 질의 시퀀스를 슬라이딩 윈도우로 나누는 방법을 사용한다. FRM은 색인에 필요한 저장공간을 줄이기 위하여 개별 점 대신 최소 포함 사각형만을 저장함으로 인하여 많은 착오해답(유사하지 않은 후보 서브시퀀스)을 발생시켰다. Dual-Match는 FRM과 비슷한 크기의 저장공간에 개별 점을 직접 저장함으로써 이 문제를 해결한다. 실험 결과, Dual-Match는 많은 경우에 있어서 FRM에 비하여 후보 개수를 크게 줄이고 성능을 향상시켰다. 특히, 선택률이 낮은 경우(10-⁴ 이하)에는 후보 개수를 최대 8800배 까지 줄이고, 페이지 액세스 횟수를 최대 26.9배까지 줄였으며, 성능을 최대 430배까지 향상시켰다. 또한, 동일한 크기의 색인을 생성하는데 있어서 Dual-Match는 FRM보다 4.10~25.6배 빠르게 색인을 구성하였다. 이는 색인 구성 시에 CPU 오버헤드의 많은 부분을 차지하는 저차원 변환의 횟수를 FRM에 비해 크게 줄이기 때문이다. 이 같은 결과로 볼 때, Dual-Match는 대용량 데이타베이스에 대한 서브시퀀스 매칭의 성능을 크게 향상시킬 수 있는 획기적인 연구 결과라 믿는다. Subsequence matching is a solution to a problem of finding the data sequences containing subsequences similar to a given query sequence and of finding the offsets of these subsequences in the original data sequences. In this paper, we propose a new subsequence matching method, which we named Dual-Match. Dual-Match exploits duality in constructing windows and significantly improves overall performance. From the viewpoint of constructing windows, Dual-Match is a kind of dual approach of the subsequence matching method proposed by Faloutsos et al.(FRM in short). FRM divides data sequences into sliding windows, and the query sequence into disjoint windows. Conversely, Dual-Match divides data sequences into disjoint windows and the query sequence into sliding windows. To save storage space for the index, FRM stores minimum bounding rectangles rather than stores individual points representing windows, which causes a lot of false alarms(i.e., candidates that do not qualify). Dual-Match solves this problem by directly storing points without incurring excessive storage overhead. Experimental results show that, given the same amount of storage space, Dual-Match reduces the number of false alarms as well as improves overall performance over FRM. In particular, for low selectivities(less than 10-4), Dual-Match drastically reduces the number of candidates─down to as little as 1/8800 of that for FRM─, reduces the number of page accesses up to 26.9 times, and improves performance by up to 430-fold. Moreover, Dual-Match is 4.10~25.6 times faster than FRM in building indexes of approximately equal sizes. The main reason is that it requires far smaller number of transformations, which are the major part of the CPU overhead, than FRM does. Overall, these results indicate that our approach provides a new paradigm in subsequence matching that improves performance significantly especially in large database applications.

삼각 부등식을 이용한 효율적인 회전-불변 윤곽선 이미지 매칭

문양세(Yang-Sae Moon),김상필(Sang-Pil Kim),김범수(Bum-Soo Kim),노웅기(Woong-Kee Loh) 한국정보과학회 2010 정보과학회 컴퓨팅의 실제 논문지 Vol.16 No.10

윤곽선 이미지 매칭에서 두 이미지 시계열 간 회전-불변 거리는 많은 유클리디안 거리 계산을 필요로 하는 고비용의 연산이다. 본 논문에서는 삼각 부등식(triangular inequality)을 사용하여 유클리디안 거리 계산을 크게 줄이는 획기적인 해결책을 제시한다. 이를 위해, 먼저 질의 시퀀스의 자체 회전 거리의 개념을 제시하고, 이를 삼각 부등식과 함께 사용하면 많은 수의 거리 계산을 줄일 수 있음을 보인다. 다음으로, 자체 회전 거리 하나만으로 모든 가능한 자체 회전 거리를 대신할 수 있음을 정형적으로 증명한다. 실험 결과, 제안한 기법은 기존 기법에 비해 최대 수 배까지 성능을 향상시킨 것으로 나타났다. Computing the rotation-invariant distance between image time-series is a time-consuming process that incurs a lot of Euclidean distances for all possible rotations. In this paper we propose an innovative solution that significantly reduces the number of Euclidean distances using the triangular inequality. To this end, we first present the notion of self rotation distance and show that, by using the self rotation distance with the triangular inequality, we can prune many unnecessary distance computations. We next present that only one self-rotation is enough for all self-rotation distances required. Experimental results show that our self rotation distance-based methods outperform the existing methods by up to an order of magnitude.