하둡에서 데이터 접근 제어 설계 및 구현 = Design and Implementation of Data Access Control in Hadoop

다국어 초록 (Multilingual Abstract)

Many projects have been developed integrating the Hadoop package, a current issue in the research area. Access control technology is one of the leading projects that the research area is focusing on. The access control technology has become necessary, in order to satisfy the needs of the data owners and users, especially with the data rapidly increasing due to internet developments and the growth of smart device users. In this paper, we propose a new data access control framework based on Hadoop Distributed File System (HDFS). The proposed method is composed of the new metadata storage module to manage user's file/directory authority information and the access management module which enables to check the authority of the user permission to create/modify/delete a file. With the design of a data access control framework using the two modules, it allows to provide access control function to users who are using platform of bigdata.
The proposed framework is designed inside the Hadoop so that no additional installation is needed from the existing platform, expecting higher utilization in the future. Next, the metadata is changed from the XML format to a database format using the HBase. This method is based on the observation that the XML base metadata structure is difficult to be used in the bigdata structure which consist large amount of data, and for security reasons as it does not save the file inside the Hadoop. As for this, we first design the HBase table structure, and ensure that this works within the Hadoop. Finally, by designing and implementing the portal that can be actually utilized, affirmation is made whether the access control function works correctly within the proposed framework.

국문 초록 (Abstract)

최근 여러 분야에서 하둡(Hadoop) 환경의 활용이 증가하면서, 데이터 소유자 및 사용자의 니즈에 의해 접근제어 기술의 필요성이 대두되고 있다. 따라서, 본 논문에서는 HDFS(Hadoop Distributed File System, 하둡분산 파일 시스템) 기반의 새로운 데이터 접근 제어 프레임워크를 제안하고자 한다. 제안하는 방법은 파일/디렉터리에 대한 사용자 권한 정보를 관리하는 “메타데이터 저장 모듈”과 파일 접근 권한 관리 및 사용자 권한 확인기능을 갖는 “접근 관리 모듈”로 구성된다. 또한, 제안한 프레임워크는 기존 플랫폼에 추가적인 설치가 필요 없도록 하둡 내부에 설계하여 향후 활용도가 높을 것이라 기대된다. 제안한 프레임워크는 먼저 XML 기반 메타데이터로 프레임워크의 정상 동작을 확인하고, 이후 메타데이터를 HBase 기반으로 관리 가능하도록 확장한다. 이는XML 기반 구조가 빅데이터 환경에서는 사용하기 어려우며, 단일 XML 파일에서 모든 권한 정보를 관리하면 보안상 위험이 있다는 관찰에 기반한다. 이러한 전체 모듈 구성을 바탕으로 접근 관리 포탈을 설계 및 구현하여 제안한프레임워크의 접근 제어 기능이 정상적으로 동작함을 확인한다.

참고문헌 (Reference)

1 이수안, "맵리듀스를 이용한 빙산 큐브 병렬 계산" 37 (37): 25-26, 2010

2 P. Zikopoulos, "Understanding Big Data: Analytics for Enterprise Class Hadoop and Streaming Data" McGraw-Hill Osborne Media 2011

3 J. Kohi, "The Kerberos Network Authentication Service(V5)"

4 K. Shvachko, "The Hadoop Distributed File System" 1-10, 2010

5 S. Ghemawat, "The Google File System" 29-43, 2003

6 J. Dean, "MapReduce : a Flexible Data Processing Tool" 54 (54): 72-77, 2010

7 J. Dean, "MapReduce : Simplified Data Processing on Large Clusters" 51 (51): 107-113, 2008

8 O. O'Malley, "Integrating Kerberos into Apache Hadoop" 2010

9 T. White, "Hadoop: The Definitive Guide" Yahoo! Press 2009

10 C. Lam, "Hadoop in Action" Manning Publications 2010

11 A. Becherer, "Hadoop Security Design Just Add Kerberos? Really?" iSEC PARTNER 2010

12 O. O'Malley, "Hadoop Security Design" Yahoo, Inc. 2009

13 D. Borthakur, "HDFS Architecture Guide"

14 "HDFS"

15 L. George, "HBASE: the definitive guide" O'Reilly Media 2011

16 W. D. Yuefa, "Data Security Model for Cloud Computing" 141-144, 2009

17 A. Gates, "Building a High-Level Dataflow System on Top of MapReduce : The Pig Experience" 2 (2): 1414-1425, 2009

18 F. Chang, "Bigtable : A Distributed Storage System for Structured Data" 26 (26): 1-26, 2008

19 J. Manyika, "Big Data: The Next Frontier for Innovation, Competition, and Productivity" McKinsey Global Institute 2011

20 "Apache ZooKeeper"

21 "Apache Hadoop"

22 "Apache HBase"