PC 클러스터 기반 병렬 한국어 정보검색 시스템

김진혁(J.H.Kim),장한국(H.K.Jang),최참아(C.A.Choi),류광렬(K.R.Ryu),정상화(S.H.Chuang),권혁철(H.C.Kwon) 한국정보과학회 1999 한국정보과학회 학술발표논문집 Vol.26 No.2Ⅱ

대용량의 정보를 다루는 정보검색 시스템은 정보 처리 과정에서 디스크 접근 시간이 큰 오버헤드로 작용한다. 본 논문에서는 단일 기계에서 작동하는 정보검색 시스템이 가지는 이러한 문제점을 해결하기위해 PC 클러스터 기반 정보검색 시스템을 구현하였다. 색인어 간의 동시등장 빈도 정보를 이용한 Greedy De-clustering 알고리즘으로 클러스터에 색인어 역파일을 병렬 분산하여 저장하고, SCI기반의 효율적인 통신 시스템을 구축하여 클러스터 노드 간의 통신이 원활하게 하였다. 따라서 사용자 질의어를 처리할 때 질의어별로 가져오는 색인어 역파일의 디스크 접근 시간이 감소하는 효과를 얻을 수 있었으며, 기존의 단일 기계에서 수행되는 정보검색 시스템보다 수행속도가 2.3배 빠른 시스템을 구현하였음을 실험을 통해 확인하였다.

GIS를 활용한 부동산정보시스템의 설계 및 구현

김석환(Suk-Hwan Kim),노동학(Dong-Hag Rho),김부영(Bu-Young Kim),옥철영(Chul-young Ok) 한국정보과학회 2000 한국정보과학회 학술발표논문집 Vol.27 No.2Ⅲ

부동산 정보는 많은 사람들이 관심을 가지며 현실 생활에서 많은 비중을 차지하고 있는 부분이다. 또한 부동산 정보는 변화가 많으며 실시간적인 성향이 짙고 지리적 특색이 상당히 강한편이며, 또한 기존 정보의 매개체인 정보지와 공인 중개사 사무소에서의 정보는 한계에 도달하게 되었다. 이에 대한 해결책으로 부동산정보는 전자지도를 기반으로 한 Internet-GIS 시스템을 활용한 부동산정보시스템의 도입이 절실하다. 본 시스템은 지리정보시스템(G.I.S Geographic Information System)의 장점인 전자지도를 이용하여 각 지역에 산재되어 있는 부동산정보의 체계적인 구축을 위한 데이터 베이스 설계와 인터넷에 적용시키기 위한 Internet-GIS 기술의 적용을 중점으로 한 실용성 있는 인터넷정보 시스템이다.

준구조화된 정보소스에 대한 지식기반의 Wrapper 학습 에이전트

서희경,양재영,최중민,Seo, Hee-Kyoung,Yang, Jae-Young,Choi, Joong-Min 한국정보과학회 2002 정보과학회논문지 : 소프트웨어 및 응용 Vol.29 No.1

정보추출은 한 문서에서 그 문서의 중심적 의미를 나타내는 특정 구성요소를 인식하여 추출하는 작업이다. 기존의 정보추출 시스템은 대부분 정보추출 규칙인 wrapper를 수동으로 구성하여 적용하였기 때문에 추출의 정확성은 높지만 유연성, 확장성, 효율성의 측면에서 문제점이 발생하였다. Wrapper를 자동으로 생성하는 일부 연구에서도 도메인 지식의 획득과 표현의 어려움, 그리고 여러 정보소스 사이에 나타나는 문서형태의 구조적 이질성 때문에 정확한 정보추출이 이루어지지 못했다. 본 논문에서는 이러한 이질적이고 복잡한 형태의 실세계 정보소스로부터의 정확한 정보추출을 추구하는 정보추출 에이전트인 XTROS를 제안한다. XTROS는 도메인 지식을 이용하여 준구조화된 형태의 정보소스에서 제공하는 문서를 분석하고 학습하여 wrapper들을 자동으로 생성하고, 이 wrapper들을 모두 XML 문서의 형태로 구성하는 새로운 표현기법을 제시함으로써 도메인 지식표현의 용이성과 wrapper 해석기 구현의 간결함, XML이 지닌 이식성 등을 최대한 활용하고자 하였다. Wrapper의 정보추출 규칙은 도메인 지식과 샘플 문서를 이용하여 자동으로 생성된다. 정보추출 규칙을 자동으로 생성하는 알고리즘의 핵심은 도메인 지식을 바탕을 샘플 문서의 각 논리 라인에 의미를 부여하고 이 논리 라인 의미의 나열로부터 반복되는 패턴을 찾아내는 것이다. 이 패턴의 위치와 구조를 XML 문서로 표현한 것이 wrapper가 된다. XTROS 시스템을 부동산 매물정보를 제공하는 다수의 실제 웹 정보소스에 대해서 테스트한 결과 이질성과 복잡성을 가진 대부분의 정보소스로부터 정확한 wrapper 생성과 정보추출이 가능하였다. Information extraction(IE) is a process of recognizing and fetching particular information fragments from a document. In previous work, most IE systems generate the extraction rules called the wrappers manually, and although this manual wrapper generation may achieve more correct extraction, it reveals some problems in flexibility, extensibility, and efficiency. Some other researches that employ automatic ways of generating wrappers are also experiencing difficulties in acquiring and representing useful domain knowledge and in coping with the structural heterogeneity among different information sources, and as a result, the real-world information sources with complex document structures could not be correctly analyzed. In order to resolve these problems, this paper presents an agent-based information extraction system named XTROS that exploits the domain knowledge to learn from documents in a semi-structured information source. This system generates a wrapper for each information source automatically and performs information extraction and information integration by applying this wrapper to the corresponding source. In XTROS, both the domain knowledge and the wrapper are represented as XML-type documents. The wrapper generation algorithm first recognizes the meaning of each logical line of a sample document by using the domain knowledge, and then finds the most frequent pattern from the sequence of semantic representations of the logical lines. Eventually, the location and the structure of this pattern represented by an XML document becomes the wrapper. By testing XTROS on several real-estate information sites, we claim that it creates the correct wrappers for most Web sources and consequently facilitates effective information extraction and integration for heterogeneous and complex information sources.

준구조화된 정보소스에 대한 지식기반의 Wrapper 학습 에이전트

서희경,양재영,최중민 한국정보과학회 2002 정보과학회논문지 : 소프트웨어 및 응용 Vol.29 No.2

Information extraction(IE) is a process of recognizing and fetching particular information fragments from a document. In previous work, most IE systems generate the extraction rules called the wrappers manually, and although this manual wrapper generation may achieve more correct extraction, it reveals some problems in flexibility, extensibility, and efficiency. Some other researches that employ automatic ways of generating wrappers are also experiencing difficulties in acquiring and representing useful domain knowledge and in coping with the structural heterogeneity among different information sources, and as a result, the real-world information sources with complex document structures could not be correctly analyzed.In order to resolve these problems, this paper presents an agent-based information extraction system named XTROS that exploits the domain knowledge to learn from documents in a semi-structured information source. This system generates a wrapper for each information source automatically and performs information extraction and information integration by applying this wrapper to the corresponding source. In XTROS, both the domain knowledge and the wrapper are 정보추출은 한 문서에서 그 문서의 중심적 의미를 나타내는 특정 구성요소를 인식하여 추출하는 작업이다. 기존의 정보추출 시스템은 대부분 정보추출 규칙인 wrapper를 수동으로 구성하여 적용하였기 때문에 추출의 정확성은 높지만 유연성, 확장성, 효율성의 측면에서 문제점이 발생하였다. Wrapper를 자동으로 생성하는 일부 연구에서도 도메인 지식의 획득과 표현의 어려움, 그리고 여러 정보소스 사이에 나타나는 문서형태의 구조적 이질성 때문에 정확한 정보추출이 이루어지지 못했다.본 논문에서는 이러한 이질적이고 복잡한 형태의 실세계 정보소스로부터의 정확한 정보추출을 추구하는 정보추출 에이전트인 XTROS를 제안한다. XTROS는 도메인 지식을 이용하여 준구조화된 형태의 정보소스에서 제공하는 문서를 분석하고 학습하여 wrapper들을 자동으로 생성하고, 이 wrapper들을 이용하여 정보추출과 정보통합을 수행한다. 본 논문에서는 특별히 도메인 지식과 wrapper를 모두 XML 문서의 형태로 구성하는 새로운 표현기법을 제시함으로써 도메인 지식표현의 용이성과 wrapper 해석기 구현의 간결함, XML이 지닌 이식성 등을 최대한 활용하고자 하였다. Wrapper의 정보추출 규칙은 도메인 지식과 샘플 문서를 이용하여 자동으로 생성된다. 정보추출 규칙을 자동으로 생성하는 알고리즘의 핵심은 도메인 지식을 바탕으로 샘플 문서의 각 논리 라인에 의미를 부여하고 이 논리 라인 의미의 나열로부터 반복되는 패턴을 찾아내는 것이다. 이 패턴의 위치와 구조를 XML 문서로 표현한 것이 wrapper가 된다. XTROS 시스템을 부동산 매물정보를 제공하는 다수의 실제 웹 정보소스에 대해서 테스트한 결과 이질성과 복잡성을 가진 대부분의 정보소스로부터 정확한 wrapper 생성과 정보추출이 가능하였다.

상호정보량을 이용한 동형이의어 분별용 의미정보의 정제

김준수(Jun-Su Kim),이왕우(Wang-Woo Lee),김창환(Chang-Hwan Kim),옥철영(Cheol-Young Ock) 한국정보과학회 2002 한국정보과학회 학술발표논문집 Vol.29 No.1B

사전 뜻풀이에서 추출된 기존의 의미정보는 동형이의어가 포함된 뜻풀이에서 명사, 용언을 모두 추출하는 방법을 이용하여 단어 중의성 해소에 부적절한 정보를 상당수 포함하게 되었다. 이러한 부적절한 정보 때문에 오분석이나 과분석이 발생하게 된다. 그러므로 기존의 의미정보에서 동형이의어 분별에 유용한 정보만을 선택하는 기준이 필요하게 되었다. 본 논문에서는 사전 뜻풀이에서 동형이의어와 의미정보 사이의 상호정보량을 계산하고 임계치를 설정하여 의미정보를 선택제약하는 방법을 이용하였다. 임계치에 의해 제한된 의미정보의 효율성을 실험하기 위한 다양한 동형이의어 분별 실험들을 수행하였다.

SGML 정보 관리 시스템의 설계

김현기(Hyun-Ki Kim),이상기(Sang-Ki Lee),주종철(Zong-Cheol Zhoo),박동인(Dong-In Park) 한국정보과학회 1996 한국정보과학회 학술발표논문집 Vol.23 No.2A

SGML은 시스템에 독립적인 정보 표현과 정보를 효율적으로 관리하고 사용 할 수 있는 개념들을 제공한다. SGML로 표현된 정보를 효율적으로 관리하기 위해서는 다음과 같은 기능들이 요구된다. 첫째, SGML 문서의 내용 및 구조에 대해 원하는 정보를 다양한 Granularity 로 검색할 수 있어야 한다. 둘째, SGML 정보 표현의 기본 단위인 엘리먼트에 의한 정보의 생성, 저장, 분배, 재사용 등의 기능을 제공해야 한다. 셋째, SGML의 추상화된 저장 객체의 단위는 엔티티이므로 시스템이 제공하는 저장 서비스로부터 독립적인 엔티티 관리 기능이 필요하며 이기종 시스템간의 독립적인 문서 교환 기능이 필요하다. 본 논문에서는 이러한 SGML 정보 관리를 위한 요구 사항들을 충족하는 정보 관리 시스템의 계층 구조를 설계하고 기존의 전문검색과 SGML 구조 정보 검색을 결합한 인덱스 구조를 제안한다. 또한, 설계된 계층 구조에 근거하여 SGML 엔티티 관리자를 비롯한 SGML 정보 관리 시스템의 기능들을 정의한다.

다차원 색인구조를 이용한 내용 기반 음악 정보 검색 기법

김소영(So-Young Kim),김유성(Yoo-Sung Kim) 한국정보과학회 2000 한국정보과학회 학술발표논문집 Vol.27 No.2Ⅰ

오늘날, 컴퓨터 하드웨어와 네트워크의 발달로 인하여, 사용자의 멀티미디어 정보 검색 시스템에 대한 요구들이 높아져가고 있다. 이러한 멀티미디어 정보 검색 시스템에서 멀티미디어 정보는 그 해당 데이터의 고유한 성질에 알맞은 특징 정보로써 표현되며, 각각의 특징 정보를 이용하여 해당 멀티미디어 정보 검색을 위한 색인을 구성하고 사용자의 질의에 대해 검색을 수행하게 된다. 그러나 이미지나 비디오 등의 다른 멀티미디어 정보 검색에 비해, 음악 정보에 대한 검색은 아직 연구가 미비한 상태이므로 본 논문에서는 음악 정보로부터 추출된 특징 정보를 이용하여 음악정보의 다차원 색인을 구축함으로써, 사용자의 음악 질의에 대해서 보다 나은 기능들과 효율을 가지도록 내용 기반 음악 정보 검색 수행을 지원하는 정보 검색 기법을 제안한다.

객체지향 기반 실시간 지리정보 전문가시스템의 설계를 위한 접근

양성욱(Sung Wook Yang),이태경(Tae Kyung Lee) 한국정보과학회 1997 한국정보과학회 학술발표논문집 Vol.24 No.2Ⅱ

실시간 지리정보 전문가시스템은 지리정보 시스템에 실시간 의사결정을 추가한 형태로서 가스관 관리시스템과 같은 공간정보와 관련된 실시간 업무처리 분야에 적요된다. 실시간 지리정보 전문가시스템은 지리정보시스템, 전문가시스템, 실시간시스템의 특성을 모두 지녀야 하는 복잡한 시스템이다. 본 논문에서는 객체지향 이론을 적용하여 실시간 지리정보 시스템의 복잡성을 줄이고, 최대한 지리정보의 특성을 반영하는 설계를 위한 접근방법을 제안하였다. 실시간 지리정보 전문가 시스템을 지리정보 객체와 모니터링 객체의 두 객체로 설계하였으며, 작업흐름은 메시지에 의한 지리정보 객체의 상태전이로 표현하였고, 지리정보 객체를 가장 기본적인 프로그램을 단위로 인식하여 지식베이스와 추론기능을 모두 지니게 하였다. 그리고, 객체지향 이론을 적용하여 지리정보의 계층구조, 지식베이스의 계층구조, 복합객체를 표현하였다. 실시간 추론시에 추론결과의 정확성을 보장하고 시간제약을 지키기 위해서 모니터링 객체를 사용하였다.

비디오 지리 정보 시스템의 설계 및 구현

유재준(JaeJun Yoo),주인학(In-Hak Joo),남광우(Kwang-Woo Nam),이종훈(Jong-Hoon Lee) 한국정보과학회 2002 한국정보과학회 학술발표논문집 Vol.29 No.2Ⅰ

최근에 지리 정보를 검색, 관리, 분석할 수 있는 지리 정보 시스템(Geographic Information System)의 사용이 확대됨에 따라 단순한 수치지도 정보 이외에 좀 더 현실적이고, 사실적인 정보를 제공해 줄 수 있는 시스템에 대한 요구가 커지고 있다. 이러한 요구에 부응하는 한 방향으로써 차량에 부착된 카메라 등을 사용하여 획득한 비디오 데이터와 수치지도 정보를 연계하여 특정 수치지도 객체의 영상을 제공함으로써 수치지도 객체에 대한 자세한 현장의 정보를 쉽게 파악할 수 있도록 하는 비디오 지리 정보 시스템이 등장하였다. 하지만 기존의 비디오 지리 정보 시스템은 획득한 비디오 데이터를 수치지도의 한 속성으로서 표현하거나, 수치지도에서 비디오 데이터로의 단순한 링크를 사용하여 수치지도와 연계함으로써 수치지도의 검색을 통한 영상 정보의 출력이라는 단 방향 검색만을 지원한다. 즉, 비디오 데이터에 존재하는 수치지도 객체의 검색을 통한 수치지도의 검색 및 관리, 분석은 지원해 주지 못하고 있다. 본 논문에서는 비디오 데이터와 수치지도의 양방향 검색 및 관리를 지원하는 비디오 지리 정보 시스템을 설계하고 구현한다. 이를 위해 1) 비디오 데이터와 수치지도 정보를 효율적으로 연계하기 위한 데이터 모델을 제안하고, 2) 비디오 데이터와 수치지도 정보의 연계 정보를 추출 및 구축하는 과정을 제안하며, 3) 비디오 데이터의 출력 및 검색, 수치지도의 출력 및 검색, 연계 정보를 통한 비디오 데이터와 수치지도 정보의 연동 등을 효율적으로 지원하기 위한 시스템을 컴포넌트(Component) 구조를 사용하여 설계한다.

어휘정보와 통사정보를 모두 이용한 문서분류

박성배(Seong-Bae Park),장병탁(Byoung-Tak Zhang) 한국정보과학회 2001 한국정보과학회 학술발표논문집 Vol.28 No.2Ⅱ

현재 이용가능한 대부분의 자동문서분류 시스템의 가장 큰 문제는 문서에 포함된 단어 사이의 통사 정보는 무시한 채, 각 단어의 분포만 고려한다는 점이다. 하지만, 통사 정보도 문서 분류를 위해 매우 중요한 정보 중의 하나이다. 본 논문에서는 문서에 나타난 어휘 정보와 함께 통사 정보를 함께 고려하는 자동문서분류 방법을 제시한다. Reuters-21578 말뭉치에 대한 문서분류 실험결과, 제시된 방법은 어휘정보만 사용하는 방법과 통사정보만 사용하는 방법 모두보다 높은 성능을 보인다. 이 말뭉치에 대해서, 어휘정보만으로 학습된 Support Vector Machine으로 약 97%의 매우 높은 정확도를 얻을 수 있음에도 약 0.63%의 추가적인 성능 향상이 있었다.