IP 어드레스 검색을 위한 새로운 pipelined binary 검색 구조

임혜숙,이보미,정여진,Lim Hye-Sook,Lee Bo-Mi,Jung Yeo-Jin 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.1B

라우터에서의 어드레스 검색은 일초에 수천만개 이상으로 입력되는 패킷에 대하여 실시간으로 처리되어야하기 때문에 인터넷 라우터는 효율적인 IP 어드레스 검색 구조를 갖도록 설계되어야 한다. 본 논문에서는 [1]에서 제안된 IP prefix의 binary tree에 기초한 효율적이면서 실용적인 IP 어드레스 검색 구조와 이를 구현하는 하드웨어 구조를 제안한다. 제안된 구조는 (1)에서 제안된 binary tree의 문제점들을 해결하는 구조로서 작은 수의 엔트리를 갖는 TCAM과 pipelined binary search를 적용하여 효율적인 하드웨어로 구현되었다. 구현된 하드웨어 구조의 성능을 평가하여 본 결과., 약 30,000 여개의 entry를 갖는 MAE-WEST 라우터 데이타의 경우, 2,000여개의 엔트리를 갖는 TCAM과 총 245 Kbyte의 SRAM을 사용하여 한번의 메모리 access를 통하여 어드레스 검색이 가능한 것으로 평가되었다. 또한 제한된 방식은 큰 데이터베이스나 IPv6를 위해서도 확장이 용이하다. Efficient hardware implementation of address lookup is one of the most important design issues of internet routers. Address lookup significantly impacts router performance since routers need to process tens-to-hundred millions of packets per second in real time. In this paper, we propose a practical IP address lookup structure based on the binary tree of prefixes of different lengths. The proposed structure produces multiple balanced trees, and hence it solve the issues due to the unbalanced binary prefix tree of the existing scheme. The proposed structure is implemented using pipelined binary search combined with a small size TCAM. Performance evaluation results show that the proposed architecture requires a 2000-entry TCAM and total 245 kbyte SRAMs to store about 30,000 prefix samples from MAE-WEST router, and an address lookup is achieved by a single memory access. The proposed scheme scales very well with both of large databases and longer addresses as in IPv6.

공간 효율적인 DNA 시퀀스 인덱싱 방안

송혜주(Hye-Ju Song),박영호(Young-Ho Park),노웅기(Woong-Kee Loh) 한국정보과학회 2009 정보과학회논문지 : 데이타베이스 Vol.36 No.6

서픽스 트리는 공통의 프리픽스의 빈도수가 높을 때 효과적인 알고리즘으로, 한정된 문자로만 구성된 DNA 유사성 검색을 위한 연구에서 널리 활용되고 있다. 그러나, 서픽스 트리는 인덱스 특성 상 메모리 공간을 많이 차지하며, 트리의 분할 시 DNA 시퀀스의 비율로 인한 쏠림현상이 발생한다는 문제점을 가진다. 따라서, 본 논문에서는 공통의 프리픽스를 가지는 가변길이의 파티셔닝 방법으로 합병하지 않는 인덱싱 방안인 SENoM을 제안한다. SENoM은 전체 시퀀스에서 공통의 프리픽스를 가지는 서픽스들의 발생 빈도수가 임계치 이하인 경우 디스크에 저장하고, 임계치 이상인 경우 임계치 이하가 될 때까지 프리픽스를 확장한다. 모든 파티션은 서브트리로 구축한 후 디스크에 저장하며, 질의처리를 위해, 구축된 파티션의 프리픽스를 서픽스로 가지는 트리를 구축한다. 제안하는 기법은 복잡한 합병과정을 제거하고, 많은 파티션 발생으로 인한 디스크 I/O 발생을 줄인다. 실험을 통해, SENoM이 Trellis 알고리즘에 비해 메모리 사용량을 약 35%, 인덱스 크기를 약 20% 감소시켰음을 보인다. 또한, 질의길이가 긴 경우에도 프리픽스 트리를 이용하여 효과적인 질의처리가 가능함을 보인다. Suffix trees are widely used in similar sequence matching for DNA. They have several problems such as time consuming, large space usages of disks and memories and data skew, since DNA sequences are very large and do not fit in the main memory. Thus, in the paper, we present a space efficient indexing method called SENoM, allowing us to build trees without merging phases for the partitioned sub trees. The proposed method is constructed in two phases. In the first phase, we partition the suffixes of the input string based on a common variable-length prefix till the number of suffixes is smaller than a threshold. In the second phase, we construct a sub tree based on the disk using the suffix sets, and then write it to the disk. The proposed method, SENoM eliminates complex merging phases. We show experimentally that proposed method is effective as bellows. SENoM reduces the disk usage less than 35% and reduces the memory usage less than 20% compared with TRELLIS algorithm. SENoM is available to query efficiently using the prefix tree even when the length of query sequence is large.

복수의 작은 트리에 대한 바이너리 검색을 이용한 IP 주소 검색 구조

이보미,임혜숙,김원정,Lee Bo mi,Lim Hye sook,Kim Won jung 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.12C

인터넷 접근 기술의 발달은 보다 큰 인터넷 bandwidth를 필요로 하게 되었고 라우터에서의 빠른 패킷 처리를 요구하게 되었다. 라우터에서의 어드레스 경색은 일초에 수천만개 이상으로 입력되는 패킷에 대하여 실시간으로 처리되어야 하는 중요한 기능이다. 본 논문에서는 효율적인 어드레스 검색을 위한 소프트웨어에 기반한 새로운 검색 구조를 제안한다. 라우팅 테이블을 여러 개의 밸런스 트리들로 구성하여 하나의 SRAM에 저장하고 각각의 트리에 대해 순차적으로 바이너리 검색을 수행하는 방식이다. 본 논문에서 제안하는 구조는 약 40,000 여개의 프리픽스를 갖는 라우팅 테이블을 저장하기 위하여 301.7KByte의 작은 사이즈 SRAM을 사용하고 평균 11.3번의 메모리 접근으로 주소 검색이 가능한 구조이다. Advance of internet access technology requires more internet bandwidth and high-speed packet processing. IP address lookups in routers are essential elements which should be performed in real time for packets arriving tens-of-million packets per second. In this paper, we proposed a new architecture for efficient IP address lookup. The proposed scheme produces multiple balanced trees stored into a single SRAM. The proposed scheme performs sequential binary searches on multiple trees. Performance evaluation results show that p개posed architecture requires 301.7KByte SRAM to store about 40,000 prefix samples, and an address lookup is achieved by 11.3 memory accesses in average.

IP 주소 검색을 위한 가중 이진 프리픽스 트리

임창훈,임혜숙,이보미,Yim Changhoon,Lim Hyesook,Lee Bomi 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.11B

IP 주소 검색은 인터넷 라우터의 필수적인 기능의 하나로서, 라우터 전체의 성능을 결정하는 중요한 요소이다. 소프트웨어에 기반한 IP 주소 검색 방식의 성능 평가 기준 중 가장 중요한 것은 라우터의 처리 속도를 보장해 주는 의미를 갖는 최대 메모리 접근 횟수이다. 이진 프리픽스 트리 방식(BPT)은 최대 메모리 접근 횟수에 있어서 기존의 다른 소프트웨어에 기반한 방식 중 우수한 방식이지만, 트리의 구조가 불균형적이 되는 단점이 있다. 본 논문에서는 기존의 BPT 방식의 트리 생성 과정에 가중치 개념을 추가하여, 완전 균형 트리에 매우 근접하는 트리를 생성하는 가중 이진 프리픽스 트리 (WBPT) 방식을 제안한다. 제안하는 WBPT 방식은 기존의 소프트웨어에 근거한 방식들에 비교하여 최대 메모리 접근 횟수에 있어서 가장 적은 성능을 보인다. 또한 3만 개 정도의 프리픽스에 대해서 L2 캐쉬에 저장이 가능한 정도의 작은 메모리 크기를 요구하구 프리픽스의 추가, 삭제가 용이하므로 실제적인 라우터의 IP 검색을 위하여 사용될 수 있는 방식이다. IP address lookup is one of the essential functions on internet routers, and it determines overall router performance. The most important evaluation factor for software-based IP address lookup is the number of the worst case memory accesses. Binary prefix tree (BPT) scheme gives small number of worst case memory accesses among previous software-based schemes. However the tree structure of BPT is normally unbalanced. In this paper, we propose weighted binary prefix tree (WBP) scheme which generates nearly balanced tree, through combining the concept of weight to the BPT generation process. The proposed WBPT gives very small number of worst case memory accesses compared to the previous software-based schemes. Moreover the WBPT requires comparably small size of memory which can be fit within L2 cache for about 30,000 prefixes, and it is rather simple for prefix addition and deletion. Hence the proposed WBPT can be used for software-based If address lookup in practical routers.

암호화된 빅데이터 상에서 효율적인 질의 처리를 지원하는 Prefix 트리를 사용한 GPU 기반 병렬 질의처리 기법

신영성,이현조,장재우 한국차세대컴퓨팅학회 2014 한국차세대컴퓨팅학회 논문지 Vol.10 No.2

최근 페이스북, 트위터 등의 SNS(Social Networking Service)가 발전함에 따라, 사용자가 생성하는 데이터가 급격히 증가하고 있다. 사용자 데이터는 민감한 개인정보를 포함하기 때문에, 원본 데이터를 공격자로부터 보호하기 위해서는 데이터를 암호화하는 것이 필요하다. 따라서 암호화된 데이터의 복호화 없이 질의를 처리하는 암호화 질의 처리 기법이 제안되었다. 그러나 기존의 질의처리 기법은 암호화 데이터에 대한 색인 구조를 구축하고 이를 순차적 으로 탐색하기 때문에, 데이터의 크기가 증가함에 따라 질의탐색 비용이 증가하는 문제점이 존재한다. 이를 위해, P.B.Volk, et al.은 prefix 트리 기반 병렬 질의처리 알고리즘을 제안하였다. 제안하는 알고리즘은 암호화된 데이 터를 위해 prefix 트리 구조를 구축하고, 트리를 부분 트리로 분할하여 생성된 모든 부분 트리를 병렬적으로 탐색한 다. 그러나 이 알고리즘은 모든 부분 트리를 탐색하기 때문에, 트리 깊이에 따라 연산 비용이 급격히 증가하는 문제 점이 존재한다. 아울러, 이 알고리즘은 범위 질의나 부분 매칭 등의 다양한 질의를 지원하지 못하는 문제점이 존재 한다. 이러한 문제를 해결하기 위해, 본 논문에서는 prefix 트리 및 해시 테이블을 사용하는 GPU 기반 병렬 질의처 리 알고리즘을 제안한다. 제안하는 알고리즘은 prefix 트리 loop-up 테이블을 사용하여 범위 질의 및 부분매칭 질 의를 지원한다. 아울러 제안하는 알고리즘이 기존 P.B.Volk, et al. 의 알고리즘보다 검색 시간 측면에서 약 30% 우수한 성능을 나타냄을 보인다.

큐보이드 전위트리를 이용한 빙산질의 처리

한상길(Sang Gil Han),양우석(Woo Sock Yang),이원석(Won Suk Lee) 한국정보과학회 2009 정보과학회논문지 : 데이타베이스 Vol.36 No.3

무한한 데이터 스트림을 저장하는 것은 거의 불가능하기 때문에 데이터 스트림 환경에서 빙산질의를 수행하기 위해서는 새로운 데이터 구조와 알고리즘이 요구된다. 본 논문에서는 데이터 스트림 환경에서 빙산질의를 처리하기 위해 전위트리 구조에 기반한 큐보이드 전위트리(Cuboid prefix tree)를 제안한다. 큐보이드 전위트리는 빙산질의에 사용된 그룹항목으로 이루어진 항목집합만을 트리에서 관리하므로 전위트리보다 적은 메모리를 사용한다. 1-항목 관리를 통해서 빈발하지 않은 항목을 트랜잭션에서 제거함으로써 갱신 시 불필요하게 소요되는 시간을 줄일 수 있다. 또한 다중 빙산질의에서 공통적으로 사용된 그룹속성에 따라 노드를 공유함으로써 적은 메모리를 사용하여 효율적으로 다중 빙산질의를 처리할 수 있는 방법을 제안한다. 큐보이드 전위트리는 무한히 연속적으로 생성되는 데이터에 대하여 빙산질의를 처리하는데 있어서 메모리 사용량과 처리시간을 효과적으로 줄이며, 이를 여러 실험을 통해 확인하였다. A data stream is a massive unbounded sequence of data elements continuously generated at a rapid rate. Due to the characteristics of a data stream, it is impossible to save all the data elements of a data stream. Therefore it is necessary to define a new synopsis structure to store the summary information of a data stream. For this purpose, this paper proposes a cuboid prefix tree that can be effectively employed in evaluating an iceberg query over data streams. A cuboid prefix tree only stores those itemsets that consist of grouping attributes used in GROUP BY query. In addition, a cuboid prefix tree can compute multiple iceberg queries simultaneously by sharing their common sub-expressions. A cuboid prefix tree evaluates an iceberg query over an infinitely generated data stream while efficiently reducing memory usage and processing time, which is verified by a series of experiments.

항공 우주 해상 : 효율적인 다중 버전 ADS-B 타깃 리포트 메시지 처리를 위한 모듈 설계 및 구현

김강희 ( Kang Hee Kim ),장은미 ( Eun Mee Jang ),송인성 ( In Seong Song ),조태환 ( Tae Hwan Cho ),최상방 ( Sang Bang Choi ) 한국항행학회 2015 韓國航行學會論文誌 Vol.19 No.4

ADS-B (automatic dependent surveillance-broadcast)는 차세대 항행시스템 CNS/ATM (communication, navigation and surveillance/air traffic management)의 핵심기술로 위성항법시스템 정보를 이용하여 자신의 위치 정보를 자동으로 방송하며, 기존 레이더 시스템에 비해 지형에 의한 제약이 적고 갱신 속도가 빠르다는 장점을 가지고 있다. EUROCONTROL에서는 항공관제시스템에서 ADS-B 메시지를 교환하기 위하여 표준 감시자료 포맷 ASTERIX (all purpose structured eurocontrol surveillance information exchange) CAT.021을 정의하였다. 그러나 ASTERIX CAT.021은 업데이트 주기가 빠르고 이전 버전과 호환이 되지 않는 문제가 있다. 본 논문에서는 ASTERIX CAT.021의 버전과 관계없이 효율적으로 메시지를 처리하는 모듈을 설계 및 구현하였다. 구현 모듈은 네트워크로부터 수신한 메시지를 수집하여 패턴을 생성하고, 이후 수신 메시지는 패턴에 따라 정의된 루틴으로 처리한다. Automatic dependent surveillance-broadcast (ADS-B) is the core technology of communication, navigation and surveillance/air traffic management (CNS/ATM), automatically broadcasts its own position information using GNSS and has an advantage of lower geological constraints and faster update speed compared with legacy radar systems. EUROCONTROL defined all purpose structured eurocontrol surveillance information exchange (ASTERIX) CAT.021. ASTERIX CAT.021 is modified several times, but it has compatibility issues with previous version of it. In this paper, we have designed an efficient message processing module regardless of the version of ASTERIX CAT.021. This implemented module generates patterns to collect messages received from the network, after that, received messages are processed in the routine that is defined in accordance with the patterns.