실행시간 프로세스 모니터를 위한 XML 기반의 데이터 저장소의 설계

정윤석,김태완,장천현,Jeong, Yoon-Seok,Kim, Tae-Wan,Chang, Chun-Hyon 한국정보처리학회 2003 정보처리학회논문지 A Vol.10 No.6

실시간 시스템은 시스템이 적시성을 보장하는지 파악하기 위해 실시간 감시 기법을 이용한다. 실시간 감시의 대상은 내부 시스템만이 아니라 네트워크 상에 존재하는 인격 시스템만이 포함된다. 각 시스템에서 발생하는 데이터를 감시하기 위해서는 데이터를 일시적 혹은 장기적으로 저장할 데이터 저장소가 필요하며, 이러한 데이터 저장소는 실시간 감시를 지원할 수 있도록 시간 제약과 데이터 저장소에 대한 접근성을 고려해 설계해야 한다. 이에 따라 본 논문에서는 시간 제약과 접근성을 고려한 XML 기반의 데이터 저장소 및 전송 구조를 제시한다. XML기반의 데이터 저장소는 표준화된 데이터 포맷인 XML을 기반으로 설계하여 TCP/IP 및 HTTP를 지원하는 모든 플랫폼에서 원격으로 데이터 저장소 접근이 가능하며, 별도의 변환과정 없이 데이터를 사용할 수 있다. XML 기반의 전송 구조는 DOM, XML-RPC 및 저장 후 전송 기법을 이용하여 데이터 접근 및 전송 시간을 최소화하도록 설계하였다. 더 나아가 본 논문에서는 XML 기반의 데이터 저장소 및 전송구조를 이용하여 실시간 감시를 수행할 때, 기준이 되는 시간적 한계치를 제시하기 위해 측정 실험을 수행하였다. 본 논문에서 설계한 XML 기반의 데이터 저장소 및 전송 구조 그리고 실험 결과는 기본적으로 실시간 감시 및 제어를 필요로 하는 분야 및 응용 분야에서 이용할 수 있다. Monitoring is used to see if a real-time system provides a service on time. The target of monitoring is not only an interior system but also a remote system which is located in the remote network. Monitoring needs data store to monitor data from each system. But a data store should be designed on the considerations of time constraints and data accessibility. In this paper, we present an architecture of XML-based data store and network delivery. XML-based data store is based on XML which is a standardized data format. So any platform which supports TCP/IP and HTTP can access data in the data store without any conversion. The XML-based delivery architecture is designed to reduce the time of data access and delivery. In addition, some experiments were tested to provide the timing guideline to be kept by a real-time system which uses the architecture presented in this paper. The architecture of XML-based data store and delivery designed in this paper can be used in the domains of remote real-time monitoring and control.

블록 단위 트랜잭션을 이용한 대용량 데이터의 실시간 저장관리기

백성하,김경배,배해영,정원일,오영환,이동욱,어상훈 한국공간정보시스템학회 2008 한국공간정보시스템학회 논문지 Vol.10 No.2

Automatic semiconductor manufacture system generating transacti on from 50,000 to 500,000 per a second needs storag e management system processing very large data at once. A lot of storage managemen t systems are researched for st oring very large data.Existing storage management syste m is typical DBMS on a disk. I t is difficult that the DBMS on a disk processes the 500,000 number of insert transacti on per a second. So, the DBMS on main memory appeared to use memory. But it is difficult that very large data stores into the DBMS on a memory becaus e of limited amount of memory. In this paper we propose storage management syste m using insert transaction of a block unit that can process insert transaction over 50,000 and store data on low storage cost. A transaction of a block unit can decrease cost for a log and ind e x p e r e a c h t u p l e a s transforming a transaction of a t uple unit to a block unit. Bes ides, the proposed s ystem come cost to decompres al block of data because the informati on of each field be loss. To solve the problems, the proposed s ystem generates the index of each compressed block to prevent reducing speed for sear ching. The proposed system can s tore very large data generated in semiconductor sys tem and reduce storage cost. 초당 최소 5만 건에서 50만 건이 넘는 삽입트랜잭션이 발생하는 반도체 자동 생산 공정 시스템은 대량의 데이터를 실시간으로 저장하는 저장관리시스템을 필요로 한다. 대용량의 데이터를 빠르고 안 정적으로 저장하기 위해서 많은 저장관리시스템이 연구되었다. 기존의 저장관리시스템은 대표적으로 전형적인 디스크 기반 DBMS가 있다. 그러나 디스크 기반 DBMS는 초당 50만 건의 삽입트랜잭션 처리는 매우 어렵다. 그래서 디스크 기반 DBMS의 성능을 향 상시키기 위해 데이터를 디스크가 아닌 메인메모리를사용하는 메인메모리 DBMS가 등장하였다. 그러 나 메인메모리 DBMS는 메인메모리 용량의 한계로 인해 대용량 데이터를 저장하는 것은 어렵다. 본 논문에서는 초당 5만 건 이상의 삽입트랜잭션을 지원하고 대용량 데이터를 저비용으로 저장하기 위해 블록단위의 삽입 트랜잭션을 사용한 저장관리시스템을 제안한다. 블록단위의 삽입 트랜잭션은 개별 튜플 단위의 로그기록 비용과 인덱스 생성비용을 블록단위로 변경시켜 비용을 크게 감소시킬 수 있다. 또한 제안시스템은 데이터를 압축 저장하여 저장 비용을 감소시킬 수 있다. 그러나 압축기법은 데이터의 필드정보가 유실되어 모든 데이터의 압축을 해제하는 비용이 발생한다. 이 문제를 해결하기 위해 제안시스템은 압축 시 압축되는 블록의 인덱스를 생성하여 데이터 검색 속도를 향상시켰다. 본 제안시스템은 반도체 공정에서 빠르게 발생하는 대용량 데이터를 고속으로 저장할 수 있고, 디스크 저 장비용을 감소시킬 수 있다.

파일 공유를 지원하는 분산 저장 시스템에서 실시간 비디오 재생 기법

김은삼(Eunsam Kim) 한국스마트미디어학회 2023 스마트미디어저널 Vol.12 No.11

피어들의 접속과 이탈이 빈번한 P2P 기반의 분산 저장 시스템에서 실시간 제약 조건을 가지는 비디오 파일에 대해 데이터 가용성뿐만 아니라 재생 시 로컬 저장 장치에서 제공하는 수준의 품질을 보장하는 것이 필수적이다. 또한, 분산 저장 시스템 기반의 클라우드 저장 서비스에서는 각 사용자가 자신의 파일을 다른 사용자와 공유하는 기능을 제공하기 때문에 여러 사용자가 동일한 비디오 파일에 대해 동시에 재생을 요청하는 경우 모든 재생이 실시간으로 끊김 없이 지원되어야 한다. 따라서, 본 논문에서는 파일 공유를 지원하는 P2P 기반의 분산 저장 시스템에서 데이터 가용성뿐만 아니라 각 비디오 파일에 대해 동시에 요청되는 여러 재생들을 실시간 처리할 수 있는 기법을 제안한다. 이 기법은 각 비디오 파일에 대한 사용자의 재생 요청 수에 맞게 이레이져 코딩으로 인코딩된 중복 데이터의 양을 조절하여 실시간 동시 재생을 지원할 수 있으며 저장 공간을 효율적으로 사용할 수 있다. In a P2P-based distributed storage system where peers frequently join and leave, it is essential to guarantee not only data availability but also playback quality comparable to that provided by local storage devices when playing back video files with real-time constraints. In addition, cloud storage services based on distributed storage systems provide each user with the functionality to share their files with other users, so when multiple users request playback of the same video file at the same time, all playback should be supported seamlessly in real time. Therefore, in this paper, we propose a scheme that process multiple simultaneous playback requests for each video file in real time as well as data availability in a P2P-based distributed storage system that supports file sharing. This scheme can support real-time simultaneous playback and efficiently use storage space by adjusting the amount of redundant data encoded through erasure coding according to the number of concurrent playback requests for each video file.

실시간 검색을 위한 다중 사용자용 주기억장치 자료저장 시스템 개발

권오수,홍동권,Kwon, Oh-Su,Hong, Dong-Kweon 한국정보처리학회 2003 정보처리학회논문지D Vol.10 No.2

Main Memory storage system can increase the performance of the system by assigning enough slack time to real-time transactions. Due to its high response time of main memory devices, main memory resident data management systems have been used for location management of personal mobile clients to cope with urgent location related operations. In this paper we have developed a multi-threaded main memory storage system as a core component of real-time retrieval system to handle a huge amount of readers and writers of main memory resident data. The storage system is implemented as an embedded component which is working with the help of a disk resident database system. It uses multi-threaded executions and utilizes latches for its concurrency control rather than complex locking method. It only saves most recent data on main memory and data synchronization is done only when disk resident database asks for update transactions. The system controls the number of read threads and update threads to guarantee the minimum requirements of real-time retrievals. 주기억장치 자료저장 시스템은 실시간 트랜젝션에 충분한 여유 시간을 부여하여 실시간 트랜잭션의 성능을 높혀준다. 이런 특성으로 인하여 주기억장치를 이용한 데이터관리 시스템들이 이동 통신 관리 시스템의 가입자 위치 관리와 같은 여유시간의 급박한 실시간 트랜잭션에 많이 활용되고 있다. 본 논문에서는 다중 사용자용 멀티쓰레드 방식의 실시간 검색시스템 개발의 일환으로 대량의 실시간 검색 트랜잭션과 자료 변경 트랜잭션이 주기억장치 자료저장 시스템의 자료를 검색, 변경하는 환경에서 주기억장치 자료저장 시스템을 설계 구현하였다. 구현된 시스템은 기존의 디스크 데이터베이스 시스템과 상호 보완적인 형태로 사용되는 내장형 방식으로 다중 쓰레드 방식으로 동작되며, 동시성 제어는 주기억장치의 특성을 살려 복잡한 잠금방식이 아닌 래치를 사용한다. 주기억장치 자료저장 시스템에는 가장 최근의 데이터만을 저장하며, 동기화 기법으로는 디스크 데이터베이스 시스템에서 변경 트랜잭션이 발생하는 경우에 구현 시스템의 데이터를 갱신하는 방법을 사용한다. 시스템은 검색 및 변경 쓰레드의 비율을 제한하여 실시간 검색의 최소성능을 보장할 수 있게 하였다.

한국형발사체 시스템통합시험용 실시간 시험 데이터 저장 시스템(DSS) 설계 및 개발

최경준,박용규,선병찬 한국항공우주학회 2015 한국항공우주학회 학술발표회 논문집 Vol.2015 No.4

본 논문은 한국형발사체 시스템통합시험용 실시간 시험 데이터 저장 시스템(DSS)의 설계 및 개발에 대해 다루고 있다. 시스템통합시험에서는 한국형발사체의 항법유도제어 탑재장비의 비행성능과 안정성을 종합적으로 평가할 수 있도록 다양한 비행환경을 구현하여 실시간 시험을 수행한다. 시험 결과의 정확한 판단을 위해 항법유도제어 탑재장비의 동작을 개발자들이 실시간으로 모니터링하기 위한 주요 시험 파라미터를 전송하는 시스템과, 시험 종료 후 정밀한 분석을 위해 생성되는 모든 데이터를 저장하는 시스템이 요구된다. 이에, 시험데이터를 저장/분배하기 위한 DSS를 설계 및 개발하여 실시간 시험에 적용하였다. This paper deals with design and development of the real-time tests Data Storage System(DSS) for System Integration Laboratory of KSLV-II launch vehicle. The flight performance and stability of KSLV-II onboard GNC(Guidance, Navigation, and Control) avionics is verified by implementing various flight environmental conditions during System Integration Laboratory(SIL) tests. A system is requested to transmit the major test parameters for monitoring how the onboard GNC avionics is being controlled in real-time, and to store the whole test data for precisely analyzing after SIL tests for making better decision. Thus, DSS which is designed and developed were applied to SIL for storage and distribution of SIL test data.

실시간 하이브리드 실험을 이용한 LRB 면진받침이 사용된 LNG 저장탱크의 지진응답 분석

박자민(Park, Ja Min),채윤병(Chae, Yunbyeong),진원종(Jin, Won Jong) 대한토목학회 2023 대한토목학회 학술대회 Vol.2023 No.10

사용자 기반 대용량 교통정보 시스템 설계

백영태(Yeong-Tae Back),김상오(Sang-Oh Kim) 한국컴퓨터정보학회 2011 韓國컴퓨터情報學會論文誌 Vol.16 No.1

본 논문은 기존의 TPEG, UTIS, DSRC 등의 교통 정보 시스템들의 문제점을 극복할 수 있는 사용자 기반의 교통정보시스템을 제안한다. 기존의 보편화된 서비스인 TPEG은 단방향 서비스로 하나의 정보 제공자에 위한 교통정보의 한계가 문제가 되고 있다. 또한 경찰청을 중심으로 하는 UTIS는 기존과는 다른 단말기를 요구하므로 지자체의 관용차나 택시 등으로 한정적인 사용자가 이용하고 있어서 전국적으로 모든 도로의 교통 정보를 수집하기에는 제한적이다. 따라서 보편화되고 있는 스마트폰 및 모바일 내비게이션 프로그램을 기반으로 사용자가 참여하는 교통정보 시스템을 구축하면, 더욱 더 많은 데이터를 수집하여 전국적으로 자세한 교통 정보를 제공할 수 있게 된다. 하지만 새로운 시스템에서는 실시간으로 늘어나는 대용량 교통데이터가 문제가 될 수 있다. 본 논문에서는 기존의 일반적인 튜플 단위의 데이터 처리 시스템을 사용하지 않고, 블록단위로 데이터를 처리하는 새로운 교통정보 데이터저장 관리자를 설계하고 기존 상용 DBMS와 비교 평가하였다. This paper suggests a user based OST(Open Street Traffic) system that solves TPEG's one-way communication problem, UTIS's limited usage and DSRC's small traffic bandwidth. In current commercial TPEG service, only some service providers collect traffic information. Thus, it can't cover traffic status in local lanes And UTIS, which local governments and police supports, requires additional equipments. Currently, only taxi and official vehicles use this system. Therefore, new traffic service by mobile device and user's participation can provide very detail traffic information coupling with previous traffic systems. But in this new system, real-time high volume data can be a problem. So, in this paper, new data storage manager design(TDSM :Traffic Data Storage Manager) is suggested and its performance is measured against commercial DBMS.

HL7과 수정된 MFER(TS-MFER)을 접목한 U-healthcare 실시간 의료정보 표준화 적용

엄진우(Jinu Uhm),박상현(Sang-Hyun Park) 한국통신학회 2012 韓國通信學會論文誌 Vol.37 No.8

Multi-core Scalable Real-time Flash Storage Simulation

이현규(Hyeon-gyu Lee),민상렬(Sang Lyul Min),김강희(Kanghee Kim) Korean Institute of Information Scientists and Eng 2017 정보과학회논문지 Vol.44 No.6

자외선 형광 분석법을 이용한 유류 토양오염 모니터링 시스템의 현장 적용을 위한 기초 연구

김우진,박재우,이주인 한국지하수토양환경학회 2002 지하수토양환경 Vol.7 No.4

As a pilot experiment for developing the monitoring system for oil spill from storage tank, previous approach of monitoring contaminated oil from mixed soil sample had the limitation that it cannot reflect the real situations of the contamination. In this study, more realistic contamination condition and water contents were considered. Fluorescence intensity was not affected by water contents. To acquire the stability of media, sand, Ca-bentonite, alumina, Fe-oxide, bead and silica were tested. Only sand was suitable to our system. These results should provide basic information for constructing reliable monitoring system. 본 연구는 자외선-형광분석법을 이용한 유류저장시설의 모니터링 시스템의 현장 적용성에 관한 기초 실험으로서, 선행연구에서 사용하였던 샘플들의 실제 오염상황을 충분히 반영하지 못하는 한계점을 보완하였다. 선행연구에서 보다 측정의 신뢰도를 높이기 위하여 오염이 발생하여 이동하고 감지되어지는 실제 상황을 고려한 형광 측정 실험을 수행하였다. 또한 자연환경의 영향을 보기 위하여 수분 함량에 따른 형광의 세기를 비교한 결과 수분에는 큰 영향을 받지 않고, 측정시의 토양의 상태에 좌우된다고 사료된다. 마지막으로 안정적인 오염도 측정값을 얻기 위하여 시스템에 이용할 대표성을 갖는 표준 토양을 결정하기 위한 실험을 수행하였다. 이를 위해 모래와 칼슘-벤토나이트(Ca-bentonite), 연마용 모래를 실험했으며, 이외에도 여러 가지 단일물질들을 테스트하였으나 모래를 제외한 다른 물질들은 시스템에 적용하기엔 한계점이 있었다 그러나 모래는 자체 형광이 낮아 형광 측정에 영향을 적게 미치며, 누구나 쉽게 구할 수 있는 장점과 더불어 오염도에 따른 형광이 비교적 안정적이어서 시스템의 감지부에 넣어줄 표준 토양으로 이용하기에 적합하다고 사료된다.