쓰기요청의 연속성과 발생빈도를 고려한 hot data 검증기법

이승우(Seung-Woo Lee),유관우(Kwan-Woo Ryu) 한국컴퓨터정보학회 2019 韓國컴퓨터情報學會論文誌 Vol.24 No.6

Hard disks, which have long been used as secondary storage in computing systems, are increasingly being replaced by solid state drives (SSDs), due to their relatively fast data input / output speeds and small, light weight. SSDs that use NAND flash memory as a storage medium are significantly different from hard disks in terms of physical operation and internal operation. In particular, there is a feature that data overwrite can not be performed, which causes erase operation before writing. In order to solve this problem, a hot data for frequently updating a data for a specific page is distinguished from a cold data for a relatively non-hot data. Hot data identification helps to improve overall performance by identifying and managing hot data separately. Among the various hot data identification methods known so far, there is a technique of recording consecutive write requests by using a Bloom filter and judging the values by hot data. However, the Bloom filter technique has a problem that a new bit array must be generated every time a set of items is changed. In addition, since it is judged based on a continuous write request, it is possible to make a wrong judgment. In this paper, we propose a method using a counting filter for accurate hot data verification. The proposed method examines consecutive write requests. It also records the number of times consecutive write requests occur. The proposed method enables more accurate hot data verification.

AFTL: Hot Data 검출기를 이용한 적응형 플래시 전환 계층

윤현식,주영도,이동호 한국정보과학회 2008 정보과학회논문지 : 시스템 및 이론 Vol.35 No.1

NAND Flash memory has been growing popular storage device for the last years because of its low power consumption, fast access speed, shock resistance and light weight properties. However, it has the distinct characteristics such as erase-before-write architecture, asymmetric read/write/erase speed, and the limitation on the number of erasure per block. Due to these limitations, various Flash Translation Layers (FTLs) have been proposed to effectively use NAND flash memory. The systems that adopted the conventional FTL may result in severe performance degradation by the hot data which are frequently requested data for overwrite in the same logical address. In this paper, we propose a novel FTL algorithm called Adaptive Flash Translation Layer (AFTL) which uses sector mapping method for hot data and log-based block mapping method for cold data. Our system removes the redundant write operations and the erase operations by the separating hot data from cold data. Moreover, the read performance is enhanced according to sector translation that tends to use a few read operations. A series of experiments was organized to inspect the performance of the proposed method, and they show very impressive results. 최근 NAND 플래시 메모리는 빠른 접근속도, 저 전력 소모, 높은 내구성, 작은 부피, 가벼운 무게 등으로 차세대 대용량 저장 매체로 각광 받고 있다. 그러나 이런 플래시 메모리는 데이타를 기록하기 전에 기존의 데이타 영역이 지워져 있어야 한다는 제약이 있으며, 비대칭적인 읽기, 쓰기, 삭제 연산의 처리속도, 각 블록당 최대 소거 횟수 제한과 같은 특징들을 지닌다. 위와 같은 단점을 극복하고 NAND플래시 메모리를 효율적으로 사용하기 위하여, 다양한 플래시 전환 계층 제안되어 왔다. 그러나 기존의 플래시 전환 계층들은 Hot data라 불리는 빈번히 접근되는 데이타에 의해서 잦은 겹쳐쓰기 요구가 발생되며, 이는 급격한 성능 저하를 가져 온다. 본 논문에서는 Hot data 검출기를 이용하여, 매우 적은 양의 데이타인 Hot data를 검출한 후, 검출된 Hot data는 섹터사상 기법을 적용시키고, 나머지 데이타인 Cold data는 로그 기반 블록 사상 기법을 적용시키는 적응형 플래시 전환 계층(AFTL)을 제안한다. AFTL은 불필요한 삭제, 쓰기, 읽기 연산을 최소화시켰으며, 기존의 플래시 전환 계층과의 비교 측정을 통하여 성능의 우수성을 보인다.

AFTL: Hot Data 검출기를 이용한 적응형 플래시 전환 계층

윤현식(Hyun-Sik Yun),주영도(Young Do Joo),이동호(Dong-Ho Lee) 한국정보과학회 2008 정보과학회논문지 : 시스템 및 이론 Vol.35 No.1·2

최근 NAND 플래시 메모리는 빠른 접근속도, 저 전력 소모, 높은 내구성, 작은 부피, 가벼운 무게 등으로 차세대 대용량 저장 매체로 각광 받고 있다. 그러나 이런 플래시 메모리는 데이타를 기록하기 전에 기존의 데이타 영역이 지워져 있어야 한다는 제약이 있으며, 비대칭적인 읽기, 쓰기, 삭제 연산의 처리속도, 각 블록당 최대 소거 횟수 제한과 같은 특징들을 지닌다. 위와 같은 단점을 극복하고 NAND플래시 메모리를 효율적으로 사용하기 위하여, 다양한 플래시 전환 계층 제안되어 왔다. 그러나 기존의 플래시 전환 계층들은 Hot data라 불리는 빈번히 접근되는 데이타에 의해서 잦은 겹쳐쓰기 요구가 발생되며, 이는 급격한 성능 저하를 가져 온다. 본 논문에서는 Hot data 검출기를 이용하여, 매우 적은 양의 데이타인 Hot data를 검출한 후, 검출된 Hot data는 섹터사상 기법을 적용시키고, 나머지 데이타인 Cold data는 로그 기반 블록 사상 기법을 적용시키는 적응형 플래시 전환 계층(AFTL)을 제안한다. AFTL은 불필요한 삭제, 쓰기, 읽기 연산을 최소화시켰으며, 기존의 플래시 전환 계층과의 비교 측정을 통하여 성능의 우수성을 보인다. NAND Flash memory has been growing popular storage device for the last years because of its low power consumption, fast access speed, shock resistance and light weight properties. However, it has the distinct characteristics such as erase-before-write architecture, asymmetric read/write/erase speed, and the limitation on the number of erasure per block. Due to these limitations, various Flash Translation Layers (FTLs) have been proposed to effectively use NAND flash memory. The systems that adopted the conventional FTL may result in severe performance degradation by the hot data which are frequently requested data for overwrite in the same logical address. In this paper, we propose a novel FTL algorithm called Adaptive Flash Translation Layer (AFTL) which uses sector mapping method for hot data and log-based block mapping method for cold data. Our system removes the redundant write operations and the erase operations by the separating hot data from cold data. Moreover, the read performance is enhanced according to sector translation that tends to use a few read operations. A series of experiments was organized to inspect the performance of the proposed method, and they show very impressive results.

Hot Data Identification For Flash Based Storage Systems Considering Continuous Write Operation

Seung-Woo Lee(이승우),Kwan-Woo Ryu(유관우) 한국컴퓨터정보학회 2017 韓國컴퓨터情報學會論文誌 Vol.22 No.2

Recently, NAND flash memory, which is used as a storage medium, is replacing HDD (Hard Disk Drive) at a high speed due to various advantages such as fast access speed, low power, and easy portability. In order to apply NAND flash memory to a computer system, a Flash Translation Layer (FTL) is indispensably required. FTL provides a number of features such as address mapping, garbage collection, wear leveling, and hot data identification. In particular, hot data identification is an algorithm that identifies specific pages where data updates frequently occur. Hot data identification helps to improve overall performance by identifying and managing hot data separately. MHF (Multi hash framework) technique, known as hot data identification technique, records the number of write operations in memory. The recorded value is evaluated and judged as hot data. However, the method of counting the number of times in a write request is not enough to judge a page as a hot data page. In this paper, we propose hot data identification which considers not only the number of write requests but also the persistence of write requests.

K-nn을 이용한 Hot Deck 기반의 결측치 대체

권순창(Soon chang Kwon) 한국IT서비스학회 2014 한국IT서비스학회지 Vol.13 No.4

Researchers cannot avoid missing data in collecting data, because some respondents arbitrarily or non-arbitrarily do not answer questions in studies and experiments. Missing data not only increase and distort standard deviations, but also impair the convenience of estimating parameters and the reliability of research results. Despite widespread use of hot deck, researchers have not been interested in it, since it handles missing data in ambiguous ways. Hot deck can be complemented using K-nn, a method of machine learning, which can organize donor groups closest to properties of missing data. Interested in the role of k-nn, this study was conducted to impute missing data based on the hot deck method using k-nn. After setting up imputation of missing data based on hot deck using k-nn as a study objective, deletion of listwise, mean, mode, linear regression, and svm imputation were compared and verified regarding nominal and ratio data types and then, data closest to original values were obtained reasonably. Simulations using different neighboring numbers and the distance measuring method were carried out and better performance of k-nn was accomplished. In this study, imputation of hot deck was re-discovered which has failed to attract the attention of researchers. As a result, this study shall be able to help select non-parametric methods which are less likely to be affected by the structure of missing data and its causes.

낸드 플래시 메모리 시스템 기반의 지속성을 고려한 핫 데이터 식별 경량 기법

이승우,Lee, Seungwoo 한국사물인터넷학회 2022 한국사물인터넷학회 논문지 Vol.8 No.5

Nand flash memory requires an Erase-Before-Write operation structurally. In order to solve this problem, it can be solved by classifying a page (hot data page) where data update operation occurs frequently and storing it in a separate block. The MHF (Multi Hash Function Framework) technique records the frequency of data update requests in the system memory, and when the recorded value exceeds a certain standard, the data update request is judged as hot data. However, the method of simply counting only the frequency of the data update request has a limit in judging it as accurate hot data. In addition, in the case of a technique that determines the persistence of a data update request, the fact of the update request is recorded sequentially based on a time interval and then judged as hot data. In the case of such a persistence-based method, its implementation and operation are complicated, and there is a problem of inaccurate judgment if frequency is not considered in the update request. This paper proposes a lightweight hot data determination technique that considers both frequency and persistence in data update requests.

데이터의 법적 보호와 저작권법 우선적용의 원칙

임원선 한국경영법률학회 2021 經營法律 Vol.31 No.3

In the era of big data or artificial intelligence, there is high interest in the data that is the basis for this. In the National Assembly, 5 bills that include a provision to establish a protection system for data or data assets as one of the measures to promote the production, distribution and exploitation of data. However, this kind of effort needs to be reviewed from the point of view of the copyright preemption doctrine. The Copyright Act seeks to harmonize the promotion of creation and the affluent use of the results by granting exclusive rights to certain subject matters when they meet the criteria, and by placing the other ones which are not qualified in a public domain so that anyone can freely use them. However, if another protection is added to these unprotectable subject matters, the purpose of the copyright law may be damaged. In this way, in order to prevent the consequences of undermining the purpose of the copyright law, a copyright preemption doctrine has been developed that prohibits granting rights equivalent to copyright to works protected by copyright law in other laws. Regarding the protection of data, the protection of database producers, which was introduced to the Copyright Act in 2003, is already working in Korea. Even if data protection is necessary for the development of the data industry, a review from this perspective is indispensible. This review can be made from two perspectives. First, whether such protection is already given by copyright law. It is pointless to add protection by the anti-action norms to objects already protected as exclusive rights under copyright law, and rather, it will only cause useless duplication and confusion. Second, does such protection add protection against what the copyright law does not provide protection to, thus undermining the purpose of the copyright law? As a result of the test based on the copyright preemption doctrine, basically subject matter test and general scope test, it was confirmed that the protection of data assets or protected data that the Proposed Framework Act on Data or the Proposed Amendment to the Unfair Competition Prevention Act intend to introduce clearly overlaps with the protection already granted by the Copyright Act. The results of reviews applying extra-elements or criteria for judging special circumstances were also not sufficient to admit special circumstances. It was also pointed out that the judgment of the Supreme Court of Korea, which was used as the basis for the review, and Article 2, subparagraph 1, sub-subparagraph Ka of the Unfair Competition Prevention Act based on it, are too comprehensive and abstract in the light of the development of related laws in foreign countries, requiring a fundamental review. The copyright law is sufficient to protect the production, distribution and use of data, and if there are any deficiencies, it is desirable to review the possibility of using the relevant provision in the Unfair Com- petition Prevention Act, instead of introducing new protection schemes. 빅데이터 또는 인공지능 시대를 맞아 이의 바탕이 되는 데이터에 대한 관심이 높다. 국회에서는 2020년 하반기 이후 데이터의 생산과 유통 및 이용활성화를 위한 방안의 하나로 데이터 자산에 대한 보호 제도의 도입에 관한 규정을 포함한 4개의 제정 법안과 하나의 개정법안이 발의되었다. 그러나 이 데이터 또는 데이터 자산의 보호에 관한 규정을 도입하는 것은 저작권법 우선적용 법리의 관점에서 먼저 검토될 필요가 있다. 저작권법은 일정한 대상에 대해 기준을 충족한 경우에 배타적인 권리를 부여하여 보호하고, 그렇지 못한 경우에는 공유 영역에 두어 누구나 자유롭게 이용할 수 있도록 함으로써 창작의 진작과 그 결과물의 풍요로운 이용의 조화를 꾀하고 있다. 그런데, 저작권법이 보호하지 않고 있는 것에 대해 추가로 보호를 부여한다면 이러한 저작권법의 취지가 훼손될 수 있다. 이렇듯 저작권법의 취지를 훼손하는 결과를 막고자 다른 법에서 저작권법의 보호대상이 되는 저작물에 저작권의 일반적 범위에 해당하는 권리와 동등한 권리를 부여하지 못하도록 하는 저작권법 우선적용의 원칙(copyright preemption doctrine)이 발전해왔다. 데이터의 보호와 관련해서는 저작권법이 2003년에 도입한 데이터베이스제작자의 보호가 이미 작동하고 있다. 데이터 산업의 발전을 위해 데이터에 대한 보호가 필요하다고 하더라도 이러한 관점에서의 검토가 필요하다. 이러한 검토는 두 가지 관점에서 이루어질 수 있다. 첫째, 그러한 보호가 이미 저작권법에 의해 주어지고 있는 것이 아닌가 하는 것이다. 저작권법에 의해 이미 배타적인 권리로서 보호되는 대상에 대해 행위금지 규범에 의한 보호를 추가하는 것은 무의미하고 오히려 중복과 혼란만을 야기할 것이다. 둘째, 그러한 보호가 저작권법이 보호를 부여하지 않는 것에 대한 보호를 추가하는 것이어서 저작권법의 취지를 훼손하는 것은 아닌가. 저작권법 우선적용의 원칙에 기초한 첫 번째 검사인 보호대상 검사 결과, 데이터기본법안과 부경법 개정안에서 도입하려는 데이터자산 및 보호하는 데이터에 대한 보호는 저작권법에서 이미 부여한 보호와 명백히 중복되는 것으로 확인되었다. 저작권법 우선적용의 원칙의 두 번째인 일반적 범위 검사에서도 데이터기본법안과 부경법 개정안에서 부여하는 보호가 저작권법에서 부여한 권리의 일반적 범위에 해당한다는 것이 확인되었다. 그럼에도 불구하고 저작권법 우선적용의 원칙이 적용되지 않는 특별한 사정이 있는가를 검토할 필요가 있어서, 미국의 시사뉴스와 관련한 검토기준과 우리나라 대법원과 부정경쟁방지법 제2조 제1호 카목에 규정된 기준을 적용하여 진행한 검토에서도 역시 이를 충분히 충족하지 못하는 것으로 확인되었다. 검토의 기준으로 사용한 우리나라 대법원 판결과 이에 기초한 부정경쟁방지법 제2조 제1호 카목이 외국에서의 관련 법리의 발전에 비추어 지나치게 포괄적이고 추상적이어서 근본적인 재검토가 요청된다는 점도 지적하였다. 데이터의 생산, 유통 및 이용활성화를 위한 보호는 저작권법으로 충분하고, 혹여 부족한 부분이 있다면 새로운 보호제도를 도입하기보다는 부정경쟁방지법에 도입된 성과물 도용 법리의 활용 가능성을 우선 검토하는 것이 바람직하다.

데이터 매칭을 이용한 주관적 사회계층에 관한 인식과 노후준비에 관한 연구

김소희,오미애,이상인 한국자료분석학회 2018 Journal of the Korean Data Analysis Society Vol.20 No.3

데이터 매칭은 다양한 출처의 자료를 통합하여 단일 자료로부터는 얻을 수 없는 새로운 가치를 창출하는데 목적을 두고 있다. 본 연구에서는 주관적 사회계층에 따른 노후준비여부를 살펴보고 향후 노후준비 실태 파악을 목적으로, 한국사회의 사회·심리적 불안 실태조사 자료와 국민노후보장패널 자료에 다양한 통계적 매칭 방법을 적용한 후 성능이 좋은 방법론을 선택하여 통합자료를 구축하였다. 고려한 데이터 매칭방법으로는 맨하튼 거리, 마할라노비스 거리, 고워 거리함수를 이용한 최근접 이웃 핫덱과 랜덤 핫덱 방법과 성향 점수 매칭방법이다. 본 연구에서는 고워 거리를 이용한 최근접 이웃 핫덱 방법을 적용하여 두 자료를 연계한 통합데이터를 구축하였다. 분석결과, 소속감, 행복감, 주관적 사회계층이 노후준비와 연관성이 있는 것으로 나타났다. 그리고, 주관적 사회계층이 높은 사람들은 본인이, 사회계층이 낮은 사람은 정부가 노후준비를 해야 한다고 생각하는 것으로 나타났다. 사회평등정도가 높고 주관적 사회계층이 높은 사람일수록 노후준비를 더 많이 하고 높은 생활비를 필요로 했으며 소득 자체도 높은 것으로 분석되었다. Data matching aims to create new value that can not be obtained from a single data by integrating data from various sources. The purpose of this study is to examine the preparation of retirement according to subjective social class and to apply various statistical matching methods to social and psychological anxiety survey data and national retirement guarantee panel data of Korean society. The methodology was chosen to build integrated data. Data matching methods are Manhattan distance, Mahalanobis distance, nearest neighbor hot deck method using Gower distance function and random hot deck method and tendency score matching method. In this study, we applied the nearest neighborhood hot deck method using the gull distance and constructed the integrated data combining the two data. As a result of the analysis, belonging feeling, happiness, and subjective social class were found to be related to the retirement preparation. In addition, it appears that people who are high in the subjective social class think that they should prepare for the old, and those who are low in the social class think that the government should prepare for the old age. The higher the level of social equality and the higher the subjective social class, the more aging preparation, the higher the living cost, and the higher the income itself.

데이터 갱신 패턴 기반의 낸드 플래시 메모리의 블록 사용 균일화 기법

신효정(Hyojoung Shin),최돈정(Don-Jung Choi),김보경(Bo-Keong Kim),윤태복(Taebok Yoon),이지형(Jee-Hyong Lee) 한국지능시스템학회 2010 한국지능시스템학회논문지 Vol.20 No.6

낸드 플래시 메모리는 블록에 새로운 데이터를 쓰고자 할 때 삭제 연산이 선행되어야 하며 일정 횟수 이상 지움 연산이 반복된 블록은 더 이상 사용이 불가능하다. 데이터의 갱신이 빈번한 핫 데이터는 블록을 빠르게 사용 불가능한 상태에 도달하게 만들 수 있고 이로써 낸드 플래시 메모리의 용량은 시간이 지남에 따라 감소할 수 있다. 본 논문에서는 데이터의 접근 패턴을 고려해 핫 데이터와 콜드 데이터를 분류하는 알고리즘을 제시한다. 이렇게 분류된 데이터 정보를 이용해 삭제횟수가 많은 블록에 갱신 확률이 적은 콜드 데이터를, 삭제 횟수가 상대적으로 적은 블록에 갱신 확률이 높은 핫 데이터를 맵핑한다. 입력 데이터 패턴을 이용한 핫/콜드 데이터 분류 기법이 기존의 분류 기법을 사용했을 때보다 플래시 메모리의 블록 사용이 균일한 것을 실험을 통해 확인하였다. In the case of NAND flash memory, a whole block needs to be erased for update operations because update-in- place operations are not supported in NAND flash memory. Blocks of NAND flash memory have the limited erasure cycles, so frequently updated data (hot data) easily makes blocks worn out. As the result, the capacity of NAND flash memory will be reduced by hot data. In this paper, we propose a wear-leveling algorithm by discriminating hot and cold data based on the update patterns of data. When we applied this scheme to NAND flash memory, we confirmed that the erase counts of blocks became more uniform by mapping hot data to a block with a low erase count and cold data to block with a high erase count.

하이브리드 저장장치 구조를 활용한 RDF 데이터 질의 최적화

윤슬기,이용주 한국디지털경영학회 2020 디지털경영연구 Vol.7 No.1

The development of the Web has made it easy to access large amounts of data. However, it is one of the big issues how to effectively store and improve query performance about these huge data. This paper proposes an RDF query optimization with hybrid storage structures to solve the issue. Hot-cold detection relocates data properly to improve the RDF query performance. After collecting data access information for a period of time, we identify the data with hot-cold detection. It reduces the write performance degradation of the SSD by moving all hot data at a time to the SSD.