내용 기반의 부분 검색을 위한 동영상 장기보존 시스템

국문 초록 (Abstract)

최근 동영상이 주요 기록기관 및 포털 사이트 등에서 주요한 콘텐츠로 활용됨에 따라 동영상 기록물에 관한 연구 또한 활발하게 진행되고 있다. 기록물의 장기보존을 위해서는 보존하고자 하는 데이터정보를 Base64 인코딩을 통해텍스트 화하여 XML파일 안에 기술해야 한다. 하지만 동영상은 전자문서나 디지털이미지와는 다르게 개별단위의기록물 용량이 매우 크다. 또한 빅데이터 시대에 도달하여 저장되는 데이터량 또한 기하급수적으로 증가하고 있다. 이에 따라 기존의 단일 장기보존시스템으로 유입되는 데이터를 Base64인코딩하는데 있어 한계가 있다. 따라서 본논문에서는 동영상 기록물을 분산 환경에서 인코딩하고, 이를 재생 가능한 동영상으로 분할하여 장기보존 할 수 있는 시스템을 제시한다. 분할 된 데이터를 패키징하기 위해 디지털 객체에 대한 각종 메타데이터를 인코딩하는 표준인 METS를 기반으로, 분할된 파일을 관리할 수 있는 새로운 메타데이터 포맷을 제안한다. 또한 Base64인코딩의분산처리를 위해 하둡의 분산환경 저장소 HDFS와 실시간 분산형 컴퓨팅 프로젝트인 아파치 스파크를 이용한다.

다국어 초록 (Multilingual Abstract)

Videos are utilized mainly at recording institutions and major internet portal sites, and research on video archiving ongoing. For long-term data preservation, the information that a user wishes to preserve must be encoded and stored in an XML file using BASE64ENCODING. However, unlike conventional documents and digital images, video files are very large. In addition, as the era of big data approaches, the amount of data being stored is growing exponentially. Accordingly, an important limitation has emerged in that one cannot rely on a single long-term archival system because that system might not be able to encode a large amount of incoming data. Therefore, this paper will present a new long-term archival system that is able to divide the playable video and take advantage of encoding that utilizes the distribution environment. In order to create a distributed package, this study will propose a new metadata format that is able to manage distributed files based on the Metadata Encoding and Transmission Standard (METS). Moreover, in order to carry out the BASE64ENCODE distributed processing, the Hadoop distributed file system (HDFS) and Apache Spark will be used to store and distribute data in real time.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련 연구
• 2.1 OAIS 참조모델
• 2.2 메타데이터 인코딩 표준 METS
• 2.3 전자 기록물 장기보존시스템
• 2.4 동영상 기록물 장기보존 시스템
• 2.5 Spark
• 3. 동영상 분할 장기보존 시스템 설계
• 3.1 Metadata Extractor
• 3.2 Video Splitter
• 3.3 AIP Generator
• 3.4 SIP Format 구조
• 3.5 AIP Format 구조
• 4. 실험 결과 및 분석
• 4.1 인코딩시간 비교
• 4.2 검색성능 비교
• 5. 결론 및 향후 연구
• 참고문헌

참고문헌 (Reference)

1 이소연, "디지털유산의 장기적 보존:국가정책 수립을 위한 제안" 한국기록학회 (10) : 27-64, 2004

2 이수상, "디지털 아카이빙의 워크플로우와 보존처리 기술에 관한 연구" 한국도서관·정보학회 35 (35): 119-138, 2004

3 K.Thibodeau, "The State of Digital Preservation : An International Perspective"

4 ISO, "Space data and information transfer system-Open Archival Information System - Reference Model"

5 M. Zaharia, "Resilient distributed datasets: A faulttolerant abstraction for in-memory cluster computing" NSDI 2012

6 Xinran Du, "Metadata modeling of video archives for long-term preservation system" 한국항공대학교 대학원 2008

7 J.Dean, "MapReduce: simplified data processing on large clusters" 51 (51): 107-113, 2008

8 "METS Metadata Encoding and Transmission Standard"

9 "Apache Hadoop"

10 A.Uherek, "An Approach for Long-Term Preservation of Digital Videos based on the Extensible MPEG-4 Textual Format" ACM/IEEE 2014

11 윤주관, "A Long-term Preservation System for Video Archives" 한국항공대학교 2008

12 G.Janee, "A Data Model and Architecture for Long-term Preservation" ACM/IEEE 2008