XML기반 SDI시스템에서 여과된 데이터의 효율적인 배포방법

최재호(Jae-Ho Choi),윤영진(Young-Jin Yoon),이상근(SangKeun Lee) 한국정보과학회 데이터베이스 소사이어티 2005 데이타베이스 연구 Vol.21 No.2

최근 XML 데이터의 사용이 증가하면서 효율적인 데이터 처리를 위한 XML 기반의 SDI시스템이 주목을 받고 있다. 지금까지 다양한 XML 필터링에 기법들이 효율적인 XML 기반의 SDI를 지원하기 위해서 제안되었다. 기존의 XML 필터링 기법에 관한 연구는 XML 문서의 효율적인 필터링에 대한 연구가 대부분이었다. 본 논문에서는 필터링 된 데이터를 효율적으로 배포하기 위해서, 새롭게 XML 배포의 문제를 정의하고 효과적인 배포를 위한 알고리즘들을 제안하였다. 또한, 우리는 제안된 알고리즘에 기반하여 XML 문서를 효율적으로 배포할 수 있는 XML 기반의 SDI 시스템을 개발하였다. 실험결과는 우리의 시스템이 기존의 XML 필터링 시스템에 비해 네트워크 대역폭 사용의 측면에서 좋은 성능을 보이는 것을 보여준다. With the increasing popularity of XML, there is a growing number of reports on the XML-based Selective Dissemination of Information (SDI) in the literature, in which many XML filtering systems have been proposed to support the efficient XML-based SDI. While previous research into XML filtering focused on efficient filtering algorithms, in this paper, we consider a novel XML dissemination problem, focusing on the efficient dissemination of filtered data. To this end, we describe a significant problem associated with the dissemination of XML documents and propose effective algorithms which allow for its resolution. Based on these effective algorithms, we developed an XML-based SDI system that can disseminate XML documents efficiently. The experimental results demonstrate that the proposed algorithms outperform earlier XML filtering systems in terms of the usage of network bandwidth.

PrimeFilter: 소수 인덱싱 기법에 기반한 효율적 XML 데이타 필터링

김재훈(Jaehoon Kim),김상욱(Sangwook Kim),박석(Seog Park) 한국정보과학회 2008 정보과학회논문지 : 데이타베이스 Vol.35 No.5

최근 이질적인 시스템 사이에서의 정보교환의 표준으로 널리 사용되는 XML을 사용하는 Publish/Subscribe 시스템의 스트리밍 XML 데이타 필터링 기법이 활발히 연구되었다. 스트리밍 XML 데이타 필터링 기법은 사용자가 등록한 질의에 대해서 신속한 질의-데이타 매칭을 목적으로 하기 때문에 효율적인 질의 처리 메커니즘이 요구된다. 현재까지 대부분의 연구는 질의 경로 표현식의 부분적인 공유를 꾀하거나 프레디킷을 효율적으로 처리함으로써 질의 처리의 시간적, 공간적 효율을 목적으로 하였다. 하지만 만약 질의간의 포함 관계를 알 수 있다면 질의 처리시에 가장 하위의 질의가 매칭되면 그 질의를 포함하고 있는 상위의 질의들은 별도의 처리 과정 없이 매칭됨을 알 수 있게 된다. 이러한 질의 포함 관계를 이용한 질의 처리 방식은 XML 스트리밍 데이타를 처리하는 또 하나의 효율적 방식이 될 수 있다. 본 논문에서는 소수 인덱싱 기법과 목표 질의 노드 중심의 포함 관계 설정에 기반하여 효율적인 스트리밍 XML 데이타 필터링을 수행하는 새로운 방법을 소개한다. 그리고 몇 가지 실험을 통하여 기존 방법과의 비교 분석 및 효율성을 보인다. 비록 각각의 실험은 서로 다른 실험 요소에 대하여 수행되었지만, 모두 제안 방법이 기존의 방법보다 두 배 이상 더 나은 성능을 가짐을 보여 주었다. Recently XML is becoming a de facto standard for online data exchange between heterogeneous systems and also the research of streaming XML data filtering comes into the spotlight. Since streaming XML data filtering technique needs rapid matching of queries with XML data, it is required that the query processing should be efficiently performed. Until now, most of researches focused only on partial sharing of path expressions or efficient predicate processing and they were work for time and space efficiency. However, if containment relationship between queries is previously calculated and the lowest level query is matched with XML data, we can easily get a result that high level queries can match with the XML data without any other processing. That is, using this containment technique can be another optimal solution for streaming XML data filtering. In this paper, we suggest an efficient XML data filtering based on prime number indexing and containment relationship between queries. Through some experimental results, we present that our suggested method has a better performance than the existing method. All experiments have shown that our method has a more than two times better performance even though each experiment has its own distinct test purpose.

효율적인 질의 기반 XML 접근제어 수행 메커니즘

변창우(Changwoo Byun),박석(Seog Park) 한국정보과학회 2007 정보과학회논문지 : 데이타베이스 Vol.34 No.1

다양한 사용자 및 응용 프로그램들이 XML을 기반으로 정보의 분산과 공유를 요구함에 따라 안전하고 효율적으로 XML 데이타를 접근하는 요구가 중요한 이슈로 부각되고 있다. 특히, 접근제어 규칙을 XPath로 표현함으로써 문서 단위 접근 범위의 한계를 극복하고 문서의 일부분 단위의 접근을 해결하면서 접근제어를 수행할 때 발생될 수 있는 충돌에 대한 해결책을 마련하는 안전성에 초점을 둔 연구들은 많았으나 접근제어를 수행할 때의 효율성에 초점을 둔 연구는 미비하다. 본 논문은 안정성뿐만 아니라 효율성을 고려한 XML 접근제어 시스템을 내용으로 하고 있다. 제안하는 방법은 사용자의 질의와 그 사용자의 접근제어 규칙들 중에 질의와 관련된 접근제어 규칙들만을 선택하게 하고 XPath 2.0에서 지원하고 있는 집합 연산을 적절히 연결시켜 접근 제어 정책을 준수하는 새로운 대체 질의로 변경하는 선처리 방법이다. 본 논문에서 제안하고 있는 방법은 어떠한 XML 데이타베이스 관리 시스템에도 적용가능하며 최소 단위의 접근제어 수행, 구현의 용이성, 낮은 실행시간, 그리고 안전하고 정확한 대체 질의 생성을 보장한다. 이와 같은 장점들을 실험을 통해 분석한다. As XML is becoming a de facto standard for distribution and sharing of information, the need for an efficient yet secure access of XML data has become very important. To enforce the fine-level granularity requirement, authorization models for regulating access to XML documents use XPath which is a standard for specifying parts of XML data and a suitable language for both query processing. An access control environment for XML documents and some techniques to deal with authorization priorities and conflict resolution issues are proposed. Despite this, relatively little work has been done to enforce access controls particularly for XML databases in the case of query access. Developing an efficient mechanism for XML databases to control query-based access is therefore the central theme of this paper.This work is a proposal for an efficient yet secure XML access control system. The basic idea utilized is that a user query interaction with only necessary access control rules is modified to an alternative form which is guaranteed to have no access violations using tree-aware metadata of XML schemas and set operators supported by XPath 2.0. The scheme can be applied to any XML database management system and has several advantages over other suggested schemes. These include implementation easiness, small execution time overhead, fine-grained controls, and safe and correct query modification. The experimental results clearly demonstrate the efficiency of the approach.

XML 필터링 질의의 효율적 처리를 위한 이차원 그룹핑 색인기법

여대휘,이종학 한국엔터프라이즈아키텍처학회 2013 정보기술아키텍처연구 Vol.10 No.1

This paper presents a two-dimensional grouping index(2DG-index) for efficient processing of XML filtering queries. Recently, many index techniques have been suggested for the efficient processing of structural relationships among the elements in the XML database such as an ancestor-descendant and a parent-child relationship. However, these index techniques focus on simple path queries, and don’t consider the path queries that include a condition value for filtering. The 2DG-index is an index structure that deals with the problem of clustering index entries in the twodimensional domain space that consists of a XML path identifier domain and a filtering data value domain. For performance evaluation, we have compared our proposed 2DG-index with the conventional one dimensional index structure such as the data grouping index (DG-index) and the path grouping index (PG-index). As the result of the performance evaluations, we have verified that our proposed 2DG-index can efficiently support the query processing in XML databases according to the query types. 본 논문에서는 XML 필터링 질의의 효율적 처리를 위한 이차원 그룹핑 색인기법인 2DG-index를 제안한다. 최근 XML데이터의 질의 처리를 위해 조상-후손관계 또는 부모-자식관계 등의 구조적관계를 효율적으로 처리하기 위한 많은 연구들이 수행되었다. 그러나 이러한 연구들은 경로 질의에만 초점을 두고 있으며 특정 조건 값을 포함하는 필터링 질의에 대해서는 고려하지 않고 있다. 2DGindex는 필터링 질의를 효율적으로 처리하기 위한 방안으로 XML 스키마의 경로 도메인과 필터링 데이터 값의 도메인으로 구성된 이차원 도메인 공간상의 색인 엔트리들의 클러스터링을 다루는 색인기법이다. 2DG-index의 성능평가를 위하여 특정 조건 값을 포함하는 질의의 유형을 세 가지로 분류하고, 이러한 질의 유형별로 2DG-index의 질의처리 성능을 기존의 일차원 색인구조를 이용하는 색인기법인 데이터 값별로 그룹핑한 DG-index와 경로별로 그룹핑한 PG-index와 비교하여 2DG-inedx의효율성을 입증한다.

NFA 표현을 사용한 문서-중심적 XML의 키워드 기반 필터링 기법 (pp.437-452)

이경한(Kyounghan Lee),박석(Seog Park) 한국정보과학회 2006 정보과학회논문지 : 데이타베이스 Vol.33 No.5

XPath 명세는 XML 원소 내용을 필터링하기 위한 질의어 작성이 어렵다. 본 논문은 이러한 문제점을 해결하기 위해 SQL의 LIKE 연산자에서 사용되던 특별한 매칭 문자 ‘%’를 허용한 확장된 XPath 명세와 그것을 표준 질의어로 사용하는 문서-중심적 XML 필터링 기법인 Pfilter를 제안한다. Pfilter는 값-기반 술어(value-based predicate)에서 피연산자의 공통 앞부분 문자를 공유하여 값-기반 술어의 처리 성능을 향상시킨다. 또한 본 논문은 Pfilter와 대표적인 데이타-중심적 XML 필터링 기법인Yfilter를 값-기반 술어 처리의 확장성과 효율성에 대해 비교하고 Pfilter의 값-기반 술어 삽입, 삭제, 처리결과를 제공한다. 본 논문에서 제안한 Pfilter는 XML 필터링 시스템에서 XPath의 contains() 함수를 평가(evaluation)하기 위한 핵심 알고리즘으로 사용할 수 있으며, XML 기반의 분산 정보 시스템을 구축하기 위한 기초 연구로 활용될 수 있다. In this paper, we propose an extended XPath specification which includes a special matching character ‘%’ used in the LIKE operation of SQL in order to solve the difficulty of writing some queries to filter element contents well, using the previous XPath specification. We also present a novel technique for filtering a collection of document-centric XMLs, called Pfilter, which is able to exploit the extended XPath specification. Owing to sharing the common prefix characters of the operands in value-based predicates, the Pfilter improves the performance in processing those. We show several performance studies, comparing Pfilter with Yfilter in respect to efficiency and scalability as using multi-query processing time (MQPT), and reporting the results with respect to inserting, deleting, and processing of value-based predicates. In conclusion, our approach provides a core algorithm for evaluating the contains() function of XPath queries in previous XML filtering researches, and a foundation for building XML-based distributed information systems.

세그먼트 기반의 XML 문서 필터링

권준호(Joonho Kwon),Praveen Rao,문봉기(Bongki Moon),이석호(Sukho Lee) 한국정보과학회 2008 정보과학회논문지 : 데이타베이스 Vol.35 No.4

최근 XML 문서 필터링에 기반한 출판-구독(publish-subscribe) 시스템이 많은 관심을 받고있다. 전형적인 출판-구독 시스템에서, 구독자들은 XPath 언어로 명세된 프로파일로 자신들의 관심을 표현하고, 새로운 내용들은 사용자 프로파일에 대하여 매칭 여부를 판단하여 관심을 가지고 있는 사용자들에게만 배달된다. 구독자의 수와 그들의 프로파일이 증가할수록, 시스템의 확장성이 출판-구독 시스템의 중요한 성공 요소가 된다. 이 논문에서는 FiST 시스템을 확장한 세그먼트 기반의 XML 문서 필터링 시스템인 SFiST 시스템을 제안한다. SFiST 시스템은 XML 문서 필터링에서 중복된 처리를 없애기 위해서 가지형 패턴의 사용자 프로파일에서 세그먼트를 추출하여 해시 기반의 세그먼트 테이블에 저장하고 유지한다. 이 세그먼트는 사용자 프로파일을 터스 시퀀스 형태로 표현하는데 이용되고, 효율적인 필터링을 위한 컴팩트 시퀀스 인덱스에도 사용된다. 실험을 통하여 세그먼트 기반의 SFiST 시스템이 이전의 연구인 FiST 시스템보다 좋은 성능을 가지고 있음을 보였다. In recent years, publish-subscribe (pub-sub) systems based on XML document filtering have received much attention. In a typical pub-sub system, subscribed users specify their interest in profiles expressed in the XPath language, and each new content is matched against the user profiles so that the content is delivered to only the interested subscribers. As the number of subscribed users and their profiles can grow very large, the scalability of the system is critical to the success of pub-sub services. In this paper, we propose a fast and scalable XML filtering system called SFiST which is an extension of the FiST system. Sharable segments are extracted from twig patterns and stored into the hash-based Segment Table in SFiST system. Segments are used to represent user profiles as Terse Sequences and stored in the Compact Segment Index during filtering. Our experimental study shows that SFiST system has better performance than FiST system in terms of filtering time and memory usage.

오토마타 기반 XML 스트림 필터링시스템에서의 캐시-친화형 질의 인덱스

최대한(Dae-Han Choi),이경하(Kyong-Ha Lee),김수형(Soo-Hyong Kim),이윤준(Yoon-Joon Lee) 한국정보과학회 2014 정보과학회 컴퓨팅의 실제 논문지 Vol.20 No.1

오토마타 기반 XML 스트림 필터링 시스템에서 질의 처리는 인 메모리 기반으로 수행된다. 이에 따라, 캐싱이 필터링 시스템의 전체 성능을 결정하는 주요 요인이 된다. 하지만, 해시 테이블로 구현되는 오토마타라는 질의 인덱스 특성상 인덱스에 대한 접근 패턴은 메모리 내의 임의 접근이 될 수 밖에 없으며 그로 인해 많은 캐시 미스를 유발한다. 이 논문에서는 XML 스트림 필터링 과정에 있어 캐시 히트율을 높이는 것을 목적으로 한다. 이를 위해 높은 적재율과 상수 탐색 시간을 보장할 수 있도록 Splash 해시테이블과 SIMD 명령어에 의한 탐색 병렬화 기법을 적용하였다. 또한 질의 인덱스에서 빈번하게 자주 접근되는 일련의 상태 전이들을 찾아 해시테이블 내에 같은 버켓에 저장함으로써 보다 캐시 히트율을 높이는 방안을 고안하였다. The automata-based XML stream filtration has achieved recognition as an efficient solution for processing many queries over XML streaming data simultaneously. However, the current implementations of the automata-style query indexes, i.e. hash tables, have been reported to involve frequent random memory accesses, causing many cache misses. We focus on improving the hash tables for the automata-based XML stream filtration in this paper. We first adopt the Splash hash table which guarantees the high load factor and the constant lookup time. We also provide two optimization techniques that further improve the overall throughput of the XML stream filtration: 1) SIMD CPU commands for parallelizing hash lookups and 2) identifying and grouping the state transitions which frequently occur together into the same bucket.

가지형 패턴의 시퀀스화를 이용한 XML 문서 필터링

권준호(Joonho Kwon),Praveen Rao,문봉기(Bongki Moon),이석호(Sukho Lee) 한국정보과학회 2006 정보과학회논문지 : 데이타베이스 Vol.33 No.4

최근 XML 문서 필터링에 기반한 출판-구독(publish-subscribe) 시스템이 많은 관심을 받고 있다. 전형적인 출판-구독 시스템에서, 구독자들은 XPath 언어로 명세된 프로파일로 자신들의 관심을 표현하고, 새로운 내용들은 사용자 프로파일에 대하여 매칭 여부를 판단하여 관심을 가지고 있는 사용자들에게만 배달된다. 구독자의 수와 그들의 프로파일이 증가할수록, 시스템의 확장성이 출판-구독 시스템의 중요한 성공 요소가 된다. 이 논문에서는 XPath로 명세된 가지형 패턴과 입력 XML 문서들을 Prufer의 방법을 사용하여 시퀀스로 변환하는 FiST라 불리는 새로운 필터링 시스템을 제안한다. FiST 시스템은 가지형 패턴을 구성하는 선형 경로들에 대하여 각각 매칭을 수행하고 후처리 과정에서 그 결과들을 병합하는 방법을 이용하는 대신에 가지형 패턴 전체를 사용하여 입력 문서에 대하여 매칭을 수행한다. 또한 효율적인 필터링을 위하여 시퀀스들을 해시 기반의 동적 인덱스로 구성한다. 실험 결과를 통해 전체 매칭 접근 방법이 다양한 환경에서 낮은 필터링 비용과 좋은 확장성을 가짐을 알 수 있다. In recent years, publish-subscribe (pub-sub) systems based on XML document filtering have received much attention. In a typical pub-sub system, subscribing users specify their interest in profiles expressed in the XPath language, and each new content is matched against the user profiles so that the content is delivered only to the interested subscribers. As the number of subscribed users and their profiles can grow very large, the scalability of the system is critical to the success of pub-sub services. In this paper, we propose a novel scalable filtering system called FiST(Filtering by Sequencing Twigs) that transforms twig patterns expressed in XPath and XML documents into sequences using Pr?fer's method. As a consequence, instead of matching linear paths of twig patterns individually and merging the matches during post-processing, FiST performs holistic matching of twig patterns with incoming documents. FiST organizes the sequences into a dynamic hash based index for efficient filtering. We demonstrate that our holistic matching approach yields lower filtering cost and good scalability under various situations.

문서 단위 순위화를 통한 XML 문서에 대한 키워드 검색 성능 향상

이형동(Hyungdong Lee),김형주(Hyoung-Joo Kim) 한국정보과학회 2006 정보과학회논문지 : 데이타베이스 Vol.33 No.5

XML 문서에 대한 키워드 검색은 사용자로 하여금 XML 문서의 복잡한 구조에 관한 지식 없이 쉽게 정보를 검색할 수 있게 해준다. 또한 사용자의 정보 요구에 대해 해당 정보를 포함하는 문서 전체를 반환하는 기존의 정보 검색 시스템과 달리 문서 내의 해당 정보를 포함하는 문서 조각을 결과로 반환함으로써 보다 빠르게 원하는 정보를 얻을 수 있도록 도와준다. 이러한 특징은 XML 문서 검색 시스템이 XML 문서를 문서 단위가 아닌 세부적인 엘리먼트 단위로 처리함으로써 가능하다. 하지만 이로 인해 대용량 문서들에 대한 질의 처리 부담 역시 가중되었다. 본 논문에서는 엘리먼트 단위 질의 처리의 비용을 줄이기 위해 XML 문서에 대한 문서 단위 순위화 기법을 제안하는데, 이는 결과물의 점수에 영향을 미치는 질의 키워드들의 문서 내에서의 근접도를 경로 노드 집합 정보와 이에 대한 유사도를 통해 구함으로써 엘리먼트 단위 질의 처리 결과를 예측하고 문서 단위 점수를 계산한다. 이러한 문서 중심의 뷰는 대용량 문서에 대한 순위화 혹은 필터링을 가능하게 해주며, 우리는 문서 단위 인덱스를 통해 순위가 높은 문서를 우선적으로 처리함으로써 Top-k 질의에 대해 검색 성능을 높였으며, 실험을 통해 해당 기법의 유효성과 성능 향상을 검증하였다. XML Keyword search enables us to get information easily without knowledge of structure of documents and returns specific and useful partial document results instead of whole documents. Element level query processing makes it possible, but computational complexity, as the number of documents grows, increases significantly overhead costs. In this paper, we present document-level ranking scheme over XML documents which predicts results of element-level processing to reduce processing cost. To do this, we propose the notion of "keyword proximity" - the correlation of keywords in a document that affects the results of element-level query processing using path information of occurrence nodes and their resemblances - for document ranking process. In benefit of document-centric view, it is possible to reduce processing time using ranked document list or filtering of low scored documents. Our experimental evaluation shows that document-level processing technique using ranked document list is effective and improves performance by the early termination for top-k query.

SemFilter: 단순하며 효율적인 시맨틱 XML 메시지 필터링

김재훈(Jaehoon Kim),박석(Seog Park) 한국정보과학회 2008 정보과학회 컴퓨팅의 실제 논문지 Vol.14 No.7

Recent studies on XML filtering assume that all data sources follow a single global schema defined in a filtering system. However, beyond this simple assumption, a filtering system can provide a service that allows data publishers to have their own schema; hence, the data sources will become heterogeneous. The number of data sources is expected to be large in a filtering system and the data sources are frequently published, updated, and disappeared, that is, dynamic. In this paper, we introduce implementing a simple and efficient XPath query translation method for such a dynamic environment. The method is especially targeted for a query which is composed based only on users’ knowledge and experience without a graphical guidance of the global schema. When a user queries a large number of heterogeneous data, there is a high possibility that the query is not consistent with the same local schema assumed by the user. Our query translation method also supports a function for this problem. Some experimental results for query translation performance have shown that our method has reasonable performance, and is more practical than the existing method. XML 메시지 필터링에 관한 최근의 연구들은 모든 출판되는 데이타 소스들이 필터링 시스템에 정의된 유일한 전역 스키마를 따르는 것을 가정한다. 하지만 이러한 가정을 넘어서, 데이타 제공자들이 그들 자신의 스키마를 자유롭게 사용할 수 있는 서비스를 고려할 수 있다. 즉, 데이타 소스들이 이질적인 환경이다. 하지만 XML 필터링 시스템에서 데이타 소스는 다수이며, 또한 출판되는 데이타들은 수시로 생성되고, 갱신되며, 사라진다. 즉, 매우 다이내믹한 환경이다. 본 논문에서는 그러한 다이내믹한 환경을 고려하여 고안된 단순하며 효율적인 의미적 XPath 질의 번역 구현을 소개한다. 특별히 제안되는 질의 번역 기법은 어떤 비주얼한 데이타 가이드가 제공되지 않는 환경에서 사용자가 자신의 지식과 경험에만 의존하여 작성한 질의를 번역하는 것에 초점을 맞춘다. 이러한 환경에서, 사용자는 다수의 이질적인 데이타를 질의하기 때문에, 사용자의 기억상의 스키마에 의존하여 작성된 질의는 실제 스키마와 불일치할 수 있다. 본 연구에서는 제안하는 의미적 XPath 질의 기법이 이러한 문제를 고려하도록 설계한다. 몇 가지 실험 결과는 제안된 질의 번역 기법이 수용할 만한 질의 번역 시간을 제공하며, 기존의 방법과 비교하여 실제적임을 보여 준다.