FirmOS를 이용한 HDD 무결성 검사 시스템 개발에 관한 연구

오세진,염재환,노덕규,정동규,황주연,오충식,김효령,신재식 한국융합신호처리학회 2017 융합신호처리학회 논문지 (JISPS) Vol.18 No.2

In radio astronomy, high-capacity HDDs are being used to save huge amounts of HDDs in order to record the observational data. For VLBI observations, observational speeds increase and huge amounts of observational data must be stored as they expand to broadband. As the HDD is frequently used, the number of failures occurred, and then it takes a lot of time to recover it. In addition, if a failed HDD is continuously used, observational data loss occurs. And it costs a lot of money to buy a new HDD. In this study, we developed the integrity verification system of the Serial ATA HDD using FirmOS. The FirmOS is an OS that has been developed to function exclusively for specific purposes on a system having a general server board and CPU. The developed system performs the process of writing and reading specific patterns of data in a physical area of the SATA HDD based on a FirmOS. In addition, we introduced a method to investigate the integrity of HDD integrity by comparing it with the stored pattern data from the HDD controller. Using the developed system, it was easy to determine whether the disk pack used in VLBI observations has error or not, and it is very useful to improve the observation efficiency. This paper introduces the detail for the design, configuration, testing, etc. of the SATA HDD integrity verification system developed. 전파천문분야에서 관측데이터의 저장을 위해 대용량 HDD를 RAID로 연결한 디스크 팩을 활용하고 있다. VLBI 관측의 경우 관측속도가 빨라지고 광대역으로 확장되면서 많은 양의 관측데이터를 저장해야 한다. HDD 는 사용회수가 많아질수록 고장이 많이 발생하고 있으며, 이것을 찾아서 복구하는데 많은 시간이 소요된다. 또 한 고장난 HDD를 계속 사용할 경우 관측데이터의 손실이 발생한다. 그리고 새 HDD를 구입하여 많은 비용도 필요하게 된다. 본 연구에서는 FirmOS를 이용하여 SATA HDD의 무결성 검사 시스템을 개발하였다. FirmOS는 일반 서버보드와 CPU를 갖는 시스템에서 특정목적에만 동작하도록 개발한 OS이다. 개발한 시스템은 FirmOS 기반에서 SATA HDD의 물리적인 영역에 특정 패턴의 데이터를 쓰고 읽는 과정을 수행한다. 그리고 HDD 제 어기의 메모리 영역에서 HDD로부터 읽어들인 저장된 패턴 데이터와 비교를 수행하는 방식으로 HDD의 무결성 검사를 확인하는 방법을 채용하였다. 개발한 시스템을 활용하여 VLBI 관측에서 활용하고 있는 디스크 팩의 고 장여부를 쉽게 확인할 수 있었으며, 관측효율을 향상시킬 수 있는데 많은 도움이 되고 있다. 본 논문에서는 개 발한 SATA HDD 무결성 확인 시스템의 설계, 구성, 시험 등에 대해 자세히 기술한다

비디오 저장 서버에서 HDD 접근 불가 시 비디오 품질 최대화를 위한 기법

안승균,송민석 한국차세대컴퓨팅학회 2022 한국차세대컴퓨팅학회 논문지 Vol.18 No.4

Recently, the demand for apps that share short video and video streaming services has increased significantly. This type of service requires a large storage space, and a hard disk drive (HDD)-based storage device that provides a large capacity for the price is commonly used. However, since the HDD cannot be sometimes accessed, the active I/O bandwidth is reduced, lowering the video quality delivered to users. In this paper, we propose a video quality improvement algorithm to effectively deal with the decrease in available I/O bandwidth when HDD access is not possible. Considering that the video is stored in multiple bit-rate versions, the proposed algorithm provides services with a lower bit-rate version than the requested bit-rate version when video access is not possible. The proposed scheme was compared with the other two algorithms through simulation. 최근 짧은 비디오 영상을 공유하는 앱과 비디오 영상 스트리밍 서비스의 수요가 크게 증가하였다. 이러한 형태의 서비스는 대용량 저장공간을 요구하며, 가격 대비 대용량을 제공하는 하드 디스크 (hard disk drive (HDD)) 기반 저장 장치가 보편적으로 사용된다. 그러나, 네트워크 연결성 및 HDD의 문제로 인하여 HDD에 접근할 수 없는 경우가 발생하고, 이로 인한 I/O 대역폭 저하로 사용자의 비디오 요청을 제대로 서비스하지 못하고 비디오 품질이 저하가 발생한다. 본 논문에서는 HDD 접근 불가 시, 가용 I/O 대역폭 저하를 효과적으로 대처하기 위한 비디오 품질 향상 알고리즘을 제안한다. 제안한 알고리즘은 비디오가 여러 비트율 버전으로 저장됨을 고려하여, 접근 불가 시 요청한 비트율 버전보다 낮은 비트율 버전으로 서비스하되, 제공되는 비디오 품질과 접근할 수 있는 HDD의 대역폭 변화를 고려하여 탐욕적으로 비디오 품질이 높은 비트율 버전을 선택한다. 시뮬레이션을 통해서 다른 2가지 알고리즘과 비디오 품질을 비교하였다.

스트리밍 작업부하에서의 HDD와 DDR-SSD 스토리지 입출력 성능분석

정승국(Cheong Seung-Kook),정용완(Jeong Yong-Wan),정용진(Jeong Yong-Jin),정재진(Jeong Jae-Jin) 한국정보기술학회 2010 Proceedings of KIIT Conference Vol.2010 No.-

본 논문에서는 SAN(Storage Area Network)환경에서 스트리밍성(순차적) 작업부하를 발생시켜 HDD와 DDR-SSD 스토리지의 입출력 성능을 비교 분석한 것으로, 성능분석은 Micro Benchmark Test 도구인 Bonnie++를 사용하여, 순차 디시 쓰기 대역폭의 성능을 측정하였다. 성능분석 결과 DDR-SSD 스토리지가 HDD 스토리지의 순차적 작업부하의 처리 대역폭 성능이 3배 정도 빠른 데이터 처리 능력을 보였으며, 데이터 처리 패턴에서도 DDR-SSD 스토리지가 HDD 스토리지보다 일정한 데이터 처리 패턴을 보였다. 성능 분석을 통해 DDR-SSD 스토리지가 스트리밍 서비스 등 순차적인 작업부하를 발생하는 서비스에서 HDD 스토리지보다 안정적이고 고속의 서비스가 가능함을 알 수 있다. From the present paper streaming work loads occurred from SAN environment and with the fact that comparison analyzes HDD and DDR-SSD story lichen input-output efficiencies, the performance analysis the efficiency of writing bandwidth again used Bonnie++ where they are Micro Benchmark Test tools, order measured. The control bandwidth efficiency of performance analysis resultant DDR-SSD story price of land HDD story lichen sequential work load 3 time degree was visible a quick data computing power. Data control pattern DDR-SSD story price of land HDD story was visible the data control pattern which is fixed. Performance analysis leads and DDR-SSD story price of land streaming service etc. stabler HDD story and the service of high speed is possible is a possibility of knowing from the service which occurs the work load which is sequential.

Filter Driver 와 NAND FLASH Memory를 이용한 HDD 장치의 성능 개선에 관한 연구

김재경,김우길,김영길,Kim, Jae-Kyung,Kim, Woo-Gil,Kim, Young-Kil 한국정보통신학회 2011 한국정보통신학회논문지 Vol.15 No.8

본 논문에서는 NAND FLASH Memory를 HDD 의 Cache 로 사용하기 위해 I/O 용 Filter Driver의 구현을 제시 했으며, 이를 통해 HDD 저장장치의 느린 I/O 성능을 개선하기 위한 방법에 대해 연구했다. 반도체 부품으로서 빠른 I/O 성능을 보이는 NAND FLASH Memory이지만, 비싼 가격 때문에 HDD를 통째로 대체할 수 없음에서 본 개선 방법을 제안했다. 본 연구는 SSD의 빠른 I/O성능과 Filter Driver 의 Cache 관리 성능을 통해서 적은 비용으로 HDD의 높은 Performance를 이루어 냄을 목적으로 한다. In this paper, we research the method for HDD I/O Performance improvement by Filter Driver & NAND FLASH Memory. This paper was started from NAND Flash Memory can not be replaced by HDD because of high cost. So We consider that using NAND Flash Memory as cache for HDD. It can be achieved high HDD Performance through Filter Driver by low cost.

리눅스 SSD caching mechanism 의 성능 비교 및 분석

허상복,박진희,조희승,Heo, Sang-Bok,Park, Jinhee,Jo, Heeseung 한국스마트미디어학회 2015 스마트미디어저널 Vol.4 No.2

During several decades, hard disk drive(HDD) has been used in most computer systems as secondary storage and, however, the performance enhancement of HDD is limited by its mechanical properties. On the other hand, although the flash memory based solid state drive (SSD) has more advantages over HDD such as high performance and low noise, SSD is still too expensive for common usage and expected to take several years to replace HDD completely. Therefore, SSD caching mechanism using the SSD as a cache of high capacity HDD has been highlighted lately. The representatives of SSD caching mechanisms are typically bcache, dm-cache, Flashcache, and EnhanceIO. Each of them has its own internal mechanism and implementation, and this makes them to show their own pros. and cons. In this paper, we analyze the characteristics of each SSD caching mechanisms and compare the performance of them under various workloads. We expect that our contribution will be useful to enhance the performance of SSD caching mechanisms. Hard disk drive(HDD)는 보조 저장장치로서 대부분의 컴퓨터 시스템에서 사용되고 있으나 기계적 특성으로 인하여 성능의 향상 측면에서는 한계점에 도달해 있는 상황이다. 반면, 플래시 메모리 기반인 solid state drive(SSD)는 고성능 저소음이라는 장점이 있지만, HDD에 비해 높은 가격으로 인해 아직 HDD를 완전 대체하기에는 부담이 크다. 따라서 SSD를 대용량인 HDD의 cache로 사용하는 SSD caching mechanism이 최근 주목을 받고 있다. SSD caching mechanism은 대표적으로 bcache, dm-cache, Flashcache, EnhanceIO 등이 있으며, 각 mechanism들은 구현상의 장단점과 차별성이 존재한다. 본 논문에서는 각 SSD caching mechanism들의 특정을 파악하고, 벤치마크를 통하여 성능을 비교 분석하였다. 이러한 연구를 기반으로 향후 더 성능이 좋은 SSD caching mechanism을 개발하는데 기여할 수 있을 것으로 예상된다.

디스크 댐퍼 형상이 HDD내부 유동 및 TMR에 미치는 영향

엄요한 ( Yo Han Um ),임윤철 ( Yoon Chul Rhim ) 정보저장시스템학회 2005 추계학술대회논문집 Vol.2005 No.-

The recording density of a hard disk drive is increasing so rapidly that the storage capacity of a commercial HDD in PC reaches several hundred giga bytes recently. Many technologies related to the HDD, such as servo, media, actuator dynamics, thermo and fluid dynamics, etc. must be developed together to realize high recording density. Especially, researches in the airflow inside the HDD cavity become important as the rotational speed of a disk increases. Typical problem due to the airflow is the vibration of an actuator as the airflow collides with an E-block, suspensions and sliders, that is, FIV(Flow Induced Vibration). This problem is one of the significant sources of increasing TMR so that it must be resolved. In this research, a disk damper shape has been modified to minimize the effects of airflow on the actuator. Modified disk dampers which change flow field inside HDD cavity show good effects not only on the disk flutter but also on the vibration of an actuator. Vibrations of Eblock and slider have been measured with LDV and the airflow field inside the HDD cavity has been analyzed using a commercial package to verify these effects.

TPC-H의 Query 문을 이용한 DRAM-SSD와 HDD의 ad-hoc query 처리 성능 분석

송현주(Hyun-Ju Song),이영훈(Young-Hun Lee),정승국(Seung-Kook Cheong) 한국정보기술학회 2011 Proceedings of KIIT Conference Vol.2011 No.5

최근 데이터의 양이 점점 증가함에 따라 데이터 처리에 대한 여러 연구가 진행되고 있다. 이러한 연구로 새로운 저장장치가 개발되었고 그중 하나가 SSD다. SSD는 액세스 속도가 빠르고 내구성이 좋기 때문에 최근에 사용이 증가하고 있다. 본 논문에서는 DRAM-SSD storage와 HDD storage를 SAN Switch를 거쳐 Server와 연결하여 리눅스 환경에 Mysql을 설치하고 TPC-H Benchmark를 사용하여 데이터 처리 성능을 분석 하였다. 실험결과를 토대로 SAN 환경에서 DRAM-SSD가 HDD보다 좋은 성능을 가짐으로 대용량 데이터 처리 시에 SAN을 이용해 데이터를 관리하는 것이 더 효과적일 것이라 판단된다. Recently, Several studies on data processing progressed according to a amounts of data is increasing. As this study a new storage device was developed SSD which is on of them. Recently, Using of SSD is increasing because of faster to access-speed and durable. In this paper, DRAM-SSD storage and HDD storage via a SAN Switch Connected Server, and mysql in a linux environment to install and use the TPC-H Benchmark analyzed the data processing performance. Based on the Experiment result, DRAM-SSD by having better performance than the HDD in san environment, using a SAN to manage data that is judged to be more effective when dealing with large amounts of data.

고속 연산이 가능한 파이프라인 구조의 SATA HDD 암호화용 FPGA 설계 및 구현

구본석(Bonseok Koo),임정석(Jeongseok Lim),김춘수(Choonsoo Kim),윤이중(E joong Yoon),이상진(Sangjin Lee) 한국정보보호학회 2012 정보보호학회논문지 Vol.22 No.2

본 논문에서는 단일 FPGA를 이용한 SATA 하드디스크용 Full Disk Encryption 연산기를 제안하고, 해당 연산기를 FPGA기반 테스트용 보드에 구현하여 실험한 결과를 제시한다. 제안하는 연산기는 크게 디스크 암호화 표준 알고리즘인 IEEE P1619 (XTS-AES) 연산블록과, SATA Host (PC)와 Device (HDD)간의 정합 기능을 담당하는 SATA 인터페이스 블록으로 구성된다. 고속 암복호 연산기능을 담당하는 XTS-AES 암호 연산블록은 암복호기능추가로 인한 속도저하를 최소화하기 위해 매 4 클록 사이클마다 1 블록 암호화를 처리하도록 4단 파이프라이닝 구조로 설계하여 최대 4.8Gbps의 암복호 성능을 가진다. 또한 전체 연산기를 Xilinx사의 ML507 FPGA 개발보드에 구현하여, Windows XP 32비트 환경에서 SATA Ⅱ 하드디스크(7200rpm)에 대해 암호화 장치없이 직접 연결했을 때와 동등한 속도인 최대 140MB/sec 읽기/쓰기 성능을 나타내었다. 따라서, 제안하는 연산기는 단일 FPGA를 이용하여 속도저하 없는 Full Disk Encryption 기능 구현이 가능함을 확인하였다. This paper addresses a Full Disk Encryption hardware processor for SATA HDD in a single FPGA design, and shows its experimental result using an FPGA board. The proposed processor mainly consists of two blocks: the first block processes XTS-AES block cipher which is the IEEE P1619 standard of storage media encryption and the second block executes the interface between SATA Host (PC) and Device (HDD). To minimize the performance degradation, we designed the XTS-AES block with the 4-stage pipelined structure which can process a 128-bit block per 4 clock cycles and has 4.8Gbps (max) performance. Also, we implemented the proposed design with Xilinx ML507 FPGA board and our experiment showed 140MB/sec read/write speed in Windows XP 32-bit and a SATA Ⅱ HDD. This performance is almost equivalent with the speed of the direct SATA connection without FDE devices, hence our proposed processor is very suitable for SATA HDD Full Disk Encryption environments.

디바이스 특성에 따른 파일 시스템 성능 분석

이윤규(Yun Kyu Lee),김영환(Young-Hwan Kim),김태경(Tae-Kyoung Kim),손재기(Jae-Gi Son) 한국정보기술학회 2012 Proceedings of KIIT Conference Vol.2012 No.11

현재 Nand Flash를 기반으로 하는 SSD의 보급과 함께 DRAM 특성을 갖는 Non-Volatile Memory 연구가 활발히 진행되고 있다. 가장 많이 사용되고 있는 상용의 파일 시스템은 HDD 특성을 반영한 구조를 설계되었다. 본 연구는 기존 HDD 특성을 반영한 구조로 설계된 파일 시스템의 성능을 비교하여 각 파일 시스템의 구조가 Storage Device 성능에 어떠한 영향을 주는지 연구하였다. 또한 Non-Volatile Memory 기반 Storage Device에 요구되는 파일 시스템의 구조를 제안한다. Currently, Nand Flash based SSD is widely using in real life. And lots of research on Non-Volatile Memory with DRAM characteristics is undergoing. Most of file systems is designed based on HDD characteristics. On this study, we measure performance between HDD and DRAM-SSD, and measured extended file systems and fat file system performance on HDD and DRAM-SSD to understand how the structure of the file system can influence on storage device. And also proposed structure of the file system for storage device based on Non-Volatile Memory.

파일 시스템의 블록 크기 변화에 따른 디스크 I/O 성능 분석

이제환(Jae-Hwan Lee),이영훈(Young-Hun Lee),정승국(Seung-Kook Cheong) 한국정보기술학회 2011 Proceedings of KIIT Conference Vol.2011 No.5

본 연구는 HDD와 DRAM-SSD 저장 장치를 대상으로 Block Size 크기에 따른 성능을 분석 한 것으로 HDD의 경우 Block Size 크기 변화와 관계없이 성능에 영향을 주지 않으며 DRAM-SSD의 경우는 Block Size 크기가 클수록 성능이 좋아짐을 알 수 있었다. 따라서 HDD의 저장 매체를 사용하는 경우 Block Size 크기는 사용자 환경에 적합한 Block Size 크기로 사용하는 하는 것이 좋으나 DRAM-SSD의 경우 성능을 최대화하기 위해서는 Block Size 크기를 최대한 크게 하는 것이 좋다는 결론을 얻었다. In this paper, It analyzed performance according to block size intended for HDD storage device and DRAM-SSD storage. Case of HDD is not changed performance regardless of the block size changes, Case of DRAM-SSD is improved performance by increasing block size. Therefore, case of using HDD, block size is good to use as Appropriate block size in user environment, but, case of using DRAM-SSD, using maximum block size is good conclusions to maximize the performance.