Support SLA via Adaptive Mapping and HeterogeneousStorage Devices in Bigdata Distributed Storage Systems

촘소판하피치 단국대학교 2021 국내석사

Distributed storage system also known as cloud storage solution was created to provide scalability and reliability to store large and complex amount of bigdata. In addition to the functionality of distributed storage system, QoS (Quality of Service) especially to support different type of clients ranging from urgent time-critical to best-effort is one of criteria to gain more popularity and become a vital component in a distributed storage system. We proposes a new resource management scheme that supports SLA (Service Level Agreement) in a bigdata distributed storage system. Basically, it makes use of two modes,isolated mode and shared mode, in an adaptive manner. In specific, to ensure different QoS requirements among clients, it isolates storage devices into two regions, one for urgent clients and the other for normal clients. When there is no urgent client, it switches to the shared mode so that normal clients can access all storage devices, thus achieving full performance. To provide this adaptive mapping effectively, we devise two techniques, called logical cluster and normal inclusion. In addition, we explore how to exploit heterogeneous storage devices, HDDs and SSDs, for supporting SLA. We observe that separating data and metadata into different devices gives a positive impact on the performance per price ratio. Real implementation-based evaluation results show that our proposal can prevent urgent clients from being interfered by normal clients while outperforms a fixed mapping based scheme.

데이터 품질 기반의 빅데이터 성숙도 모델에 관한 연구

최광렬 숭실대학교 소프트웨어특성화대학원 2015 국내석사

빅데이터 분석 성과를 더욱 효율적으로 향상시키기 위해서는 효과적인 빅데이터 운영 체계를 구축해야 한다. 이를 위해서는 빅데이터 운영 체계의 수준을 평가하고 개선할 수 있어야 한다. 그러나 대부분의 조직에서 이러한 요구를 충분히 만족시킬만한 모델은 제시되지 못했다. 따라서 본 연구에서는 기존의 빅데이터 관련 연구들에 대한 분석을 통해 조직의 빅데이터 운영 체계의 수준을 체계적으로 평가할 수 있는 빅데이터 성숙도 모델을 제시한다. 제시한 빅데이터 성숙도 모델은 빅데이터의 속성 저장성, 충분성, 신뢰성, 확장성, 보안성, 분석성, 활용성 7가지의 평가 영역들에 대해 CMMI을 기반으로 5단계의 빅데이터 성숙도 개념을 Staged 방식으로 적용시켰다. 본 논문에서 제시된 성숙도 모델은 빅데이터를 활용하는 조직의 빅데이터 분석 프로세스 운영 체계에 대해 자체적으로 빅데이터 성숙수준을 진단하고 체계적인 빅데이터 성숙도 전략을 수립하여 개선 방향을 설정하는 데 도움이 될 것으로 기대되며, 궁극적으로는 빅데이터의 성과 향상과 효과적인 의사결정에 기여할 수 있을 것으로 기대된다. The BigData operating system needs to be built effectively in order to improve the results obtained from data analysis. Most organizations are not able to produce models that satisfy the demands of users. This study suggests that the maturity model will be able to improve the quality of outputs from BigData operating system. The maturity model has 7 evaluating areas such as storage, expandability, adequacy, security, reliability, analyticity and utilization; the concept of the maturity model will be applied to these evaluating areas in 5 steps. The model is expected to improve the outcome of BigData outputs and contribute to more effective decision making for the users.

빅 데이터 활용에 있어서 개인정보보호 문제점 및 개선방안(PIMS 활용)

김용빈 강원대학교 산업대학원 2013 국내석사

빅데이터를 활용하여 새로운 경제성장을 가져올 것이라는 기대와 달리, 개인정보의 유출 및 오·남용으로 인한 개인정보 침해라는 문제를 낳고 있다. 아직까지 빅데이터가 수집된 정보를 통해 사회현상을 분석하여 경제적 이익을 창출하거나 행정서비스의 결실을 가져올 것이라는 기대를 담고 있어, 수집된 데이터의 조합이 개인의 사생활은 물론 예기치 못한 개인정보의 오·남용을 간과하고 있다. 그러나, 앞으로 집적화된 개인정보를 보호하기 위한 정부차원의 강력한 대책을 필수불가결한 사항이다. 개인정보보호는 이용자의 프라이버시 보호를 위해 필요함은 물론 기업의 리스크 관리를 위해 서도 중요하다. 기업이 개인정보를 제대로 관리하지 못할 경우에는 고객의 신뢰성 저하로 인하여 기업의 이미지가 크게 훼손될 수 있다. 이에 본 연구에서는 2011년 제정된 개인정보보호법을 중심으로 개인정보의 빅데이터에 관한 개선과제를 도출해 하고, ISMS, BS10012의 기능적 특징을 PIMS와 비교 분석하여 각각의 공통점과 각국의 개인정보보호법을 통해 빅데이터 속에서 개인정보를 포함한 각종 정보간의 결합범위, 이용 및 제공에 따른 규제, 안전성 확보조치 등의 세부적인 기준을 검토하여 빅데이터 시대에서 발생하는 다양한 문제점에 대해 개선할 수 있는 방향과 PIMS의 LifeCycle을 개선하여 별도의 모델을 제시하고자 한다, 또한, ISMS와의 상호 인증체계구축에 대한 방안과 PIMS인증 시 개인정보를 다수 보유하고 있는 중소규모 업체에 대한 현실적인 지원정책에 대한 방향을 논의 할 것이며, 본 연구에서는 빅데이터 시대에서의 여러 가지 개인정보침해 라는 문제점과 현재 PIMS가 가지고 있는 다양한 문제의 해결책에 대한 방향을 제시했다. Unlike the expectation that using BigData would bring new economic growth, leak and misuse or abuse of private information creates problems of violation of private information. Still, there is expectation that BigData would create economic profit or bring administrative result through analyzing social phenomena from collected information, so that they overlook the unexpected misuse or abuse of private information as well as personal privacy due to combination of collected data. However, it is inevitable that the government should have strong measures to protect accumulated private information. Protection of private information is important not only to protect privacy of users but also to manage risks of companies. If a company doesn’t manage private information well, it can greatly lose the corporate image due to decline in reliance from customers. Therefore, this research would deduce improvement tasks on private information with BigData around the law of private information enacted in 2011, compare and analyze functional characteristics of ISMS and BS10012 with PIMS to find common points of each, review detailed standards such as the range of combining diverse information, use of it, regulation on provision, and safety measures in the BigData including private information through the laws of personal information protection in many countries, and suggest the direction for improving diverse problems in the BigData era and another model which is improved from the Life Cycle of PIMS. Moreover, this research would discuss about the measures on establishing mutual verification system with ISMS, and direction on realistic support policy on small and medium sized companies which posses many private information when verifying PIMS. In addition, it suggests the problem of many violations on personal information in the BigData era and suggests a direction to solve diverse problems with PIMS at present.

Bigdata based fault and optimal replacement cycle prediction system for power infrastructure

임청원 Graduate School, Yonsei University 2020 국내박사

In the upcoming age of Singularity, it is the right time for the power industry, which has led Korea’s industrial and national competitiveness, to innovate the investment and maintenance policies of electric power infrastructure in order to secure qualitative advancement and scientification of the industries through Digital Transformation. So far, the power industry of Korea has performed maintenance of power infrastructure according to Time-based Investment and Maintenance strategies. This study aims for quality advancement and scientification of power infrastructure maintenance policy through failure prediction of power system utilizing Bigdata and study on computation of the optimal replacement cycle model. This study conducted the following activities in order to achieve its research objectives. Firstly, this study performed reliability analysis using the history of failures and the installation data accumulated in the power operation field to calculate the mean lifetime of the facilities exposed to natural environment (such as meteorological factors), calculate and predict the lifetime of each facility according to the probability of failure, and deduce the information necessary for the optimal replacement cycle of facility through comparative analysis of the lifetime in different regions according to the salt and dust damage degree classification. Secondly, this study surveyed all the meteorological data (temperature, precipitation, wind speed, humidity, air pollution, etc.) and failure data of power distribution facilities to map and match each data respectively to analyze the influence of meteorological conditions on the failure of power distribution facilities. Thirdly, this study deduced the failure conditions under a certain weather condition and predicted the probability of failure of each facility using the data mining techniques of Decision Tree and Logistic Regression for intensive analysis of the influence of meteorological factors (temperature, precipitation, wind speed, etc.) on the failure of power distribution facilities in order to establish RCM (Reliability Centered Maintenance)-based power distribution failure prediction system. Fourthly, this study proposed a practical model which can extract the regions and power infrastructure that have high probability of failure using the results of decision tree analysis and logistic regression analysis to enable Preventive Maintenance (PM) through selection and concentration. Fifthly, this study presented the conceptual model which can calculate the optimal investment cost through identification of the optimal replacement cycle of the facility that can perform RCM systematically, and at the same time, analyzed the environment of data establishment and operation at the national utility company and proposed the essential prerequisites for the introduction of the highly practical Bigdata system. Finally, this study examined the Health Index which has been used in the national utility company since 2007 for minimization of failure of power distribution facilities and optimization of the investment costs, and evaluated the economic effects by utilizing the New Health Index System. This study collected the data on high voltage power failures, low voltage power failures, and the information about the installation of power distribution facilities using the OO Information System (OOIS) being operated by the national utility company and analyzed the collected information. In particular, the data on power failures were collected from the real operation data of the power facilities managed by ‘A’ Headquarters of the national utility company for 118 months in total from January 2008 to October 2017. 우리나라의 산업경쟁력 및 국가경쟁력을 견인해 온 전력산업이 다가오는 특이점 시대(The Age of Singularity)에 있어 디지털 전환(Digital Transformation)을 통한 산업의 질적 고도화와 과학화를 위하여 전력설비 투자 및 유지보수 정책의 혁신이 필요한 시점이다. 지금까지 우리나라의 전력산업은 Time-Based Maintenance방법에 의한 투자 및 유지보수정책에 의거 전력설비 정비를 수행해 왔다. 본 연구는 빅데이터를 활용한 전력계통 고장예측 및 최적 교체주기 모형 산정에 관한 연구를 통하여 전력설비 유지보수 정책의 질적고도화 및 과학화를 목적으로 한다. 이러한 연구목적을 달성하기 위하여 본 연구에서는 첫째, 전력운영 분야에 축적되어온 고장이력 및 설치 데이터를 토대로 신뢰성 분석을 실시하고 자연환경(기상요인 등)에 노출된 설비들의 평균수명을 산출하는 한편, 고장 확률에 따른 기기별 수명을 예측하고 염진해 등급 분류 등에 따른 지역별 수명 비교분석을 통하여 설비의 적정교체 주기 산정에 따른 필요한 정보를 도출하였다. 둘째, 본 연구에서는 최근 OO지역의 기상데이터(기온, 강수, 풍속, 습도, 대기오염 등)와 배전설비의 고장데이터를 전수 조사하여 설비관련 데이터와 기상데이터를 매핑하여 어떤 기상조건이 배전설비의 고장에 영향을 미치는지를 분석하였다. 셋째, RCM (Reliability Centered Maintenance) 기반의 배전고장 예측시스템 구축을 위하여 기상요인(기온, 강우량, 풍속 등)이 배전설비 고장에 어떠한 영향을 미치는가를 집중 분석하기 위하여 데이터마이닝 기법인 의사결정수목(Decision Tree)과 로지스틱 회귀분석(Logistic Regression Analysis)을 이용하여 특정 기상 조건 발생시의 고장조건 도출과 함께 기기별 고장확률을 예측하였다. 넷째, 선택과 집중에 의한 예방정비(PM: Preventive Maintenance)가 가능토록 Decision tree분석 및 Logistic regression 분석 결과를 활용하여 고장위험 지역과 설비의 추출이 가능한 개념적 모형을 제시하였다. 다섯째, RCM을 체계적으로 수행할 수 있는 설비의 최적교체주기 산정을 통하여 최적 투자비를 산출해 나갈 수 있는 개념적 모형을 제시하는 한편, 국내 전력회사의 데이터 구축 및 운영환경을 분석하고, 실용성이 높은 빅데이터 시스템을 도입하기 위해서 선행되어야 하는 조건들을 제안하였다. 마지막으로, 국내 전력회사가 배전설비 고장 최소화 및 투자비 최적화를 위하여 2007년부터 도입하여 사용해온 Health Index를 검증하고 새로운 방식의 전력설비 상태지수(New Health Index)를 사용함으로써 어느 정도의 경제적 효과가 있는지를 제시하였다. 본 연구에서는 실제 설비운영 자료인 OOIS(OO Information System)로부터 고압 정전데이터, 저압 정전데이터 및 배전설비 설치정보 데이터를 수집하고 수집된 정보를 분석하였다. 특히, 고장데이터는 2008년 1월부터 2017년 10월까지 총 118개월에 걸쳐 전력운영 회사에서 실제 관리하고 있는 자료를 활용하였다.

보건의료 빅데이터를 이용한 대한민국에서의 치과진정법 실태조사 및 기여요인 분석

김혁 서울대학교 대학원 2021 국내박사

Introduction Dentists have used various behavioral control methods to manage people's anxiety and fear about dental treatment. Among these behavior control methods, sedation, which is a control method with drugs, is very useful, but sometimes it causes serious side effects and causes social issues. Therefore, it would be meaningful to regularly check the actual conditions of sedation in actual clinicians. In particular, the emergence of medical-related big data makes it possible to more advantageously investigate the actual condition of all data, unlike in the past. Therefore, in this study, we tried to understand the actual situation of the complaints law using big data from the Health Insurance Review and Assessment Service (HIRA), which has not yet been implemented in Korea. Methods: Eight types of representative drugs that can be used for dental sedation were presented in the Healthcare Bigdata Hub (HBH) provided by the HIRA, and from January 2007 to September 2019, dentists with a record of using this sedative drug All of the patient's health insurance claim statements were requested. Using this data, check statistics by type of sedation drug and statistics by year, region, medical institution, and patient. In addition, we try to infer the contributing factors that may affect the actual situation of this petition. Results: According to the analysis of the provided data, from January 2007 to September 2019, the number of patients who received dental sedation was 786,003, and a total of 1,649,688 cases of sedation were performed. Inhalational sedation using nitrous oxide (N2O) accounted for most of the sedatives that can be charged for medical treatment. In particular, from 2014, when insurance claims for nitrous oxide drugs became possible, it was confirmed that the number of claims under the complaints law rapidly increased. By type of sedative agent, the use of nitrous oxide alone and the mixed use of nitrous oxide and midazolam showed an increasing trend, and in the case of chloral hydrate, both single and mixed use showed a gradual decrease. It was confirmed that this trend appeared as a common pattern nationwide over time. In terms of the age of patients receiving sedation, the most common age was 0-2 in 2007, but it gradually increased over time, and in 2019, the highest number was 8-15 years old. Although the number of medical institutions implementing the sedation method is continuously increasing, it is insufficient to satisfy the increasing number of patients with the sedation method. Due to the nature of sedative drugs that are used increasingly, the duration of one sedation decreased and the number of sedations increased. Conclusion: In the case of nitrous oxide inhalation sedation, where insurance is applied and usage records are submitted to the Health Insurance Review and Assessment Service, it was possible to analyze medical information using detailed and massive data. According to the analysis, the use of nitrous oxide and midazolam, which are highly safe drugs, is gradually increasing, while the use of chloral hydrate is gradually decreasing. As the age at which the sedation method was applied gradually increased, it was confirmed that the sedation method was changing in a direction that emphasized safety. Keywords : Healthcare Bigdata, Dental Sedation, Nitrous oxide. Student Number : 2018-38498 1. 목 적 치과의사들은 치과 치료에 대한 불안과 공포를 다스리기 위해 다양한 행동조절 방법들을 이용하여 왔다. 이러한 행동조절법 중 약물에 의한 조절 방법인 진정법은 유용하나, 간혹 심각한 부작용을 초래하기도 하여 사회적 이슈를 일으키기도 한다. 그래서, 치과에서 진정법은 적절한 교육을 받은 치과의사가 진정법이 필요한 환자에게 효과적으로 시행하여야 한다. 실제 치과 진정법에 사용되는 약제의 종류와 적용된 환자의 특성에 대하여 파악하는 것은 환자의 안전과 관련하여 의미를 가진다. 최근 보건의로 빅데이터의 출현은 과거와 달리 전체 자료의 실질적 실태를 보다 유리하게 조사할 수 있게 해 주고 있다. 이에 본 연구에서 건강보험심사평가원 빅데이터를 이용하여 진정법 실태를 파악해보았다. 2. 방 법 건강보험심사평가원에서 제공하는 보건의료빅데이터개방시스템에 치과 진정법에 사용될 수 있는 대표적 약물8 종류를 제시하였고 2007년 1월부터 2019년 9월까지 이 진정 약품 사용 기록이 있는 치과 환자의 모든 건강보험 청구 명세서를 요구하였다. 이 자료를 이용하여 진정 약제 종류별 통계 및 연도별, 지역별, 의료 기관별, 환자별 통계를 확인하였다. 또한 이러한 진정법 실태에 영향을 줄 만한 기여요인을 추론하였다. 3. 결 과 제공된 자료의 분석에 의하면 2007년 1월부터 2019년 9월까지 치과 진정법을 받은 환자 수는 786,003명이었고, 이들이 받은 진정법 시행 건수는 모두 1,649,688건이었다. 약품 진료비 청구가 가능한 진정 약제 중 아산화질소(N2O)를 이용한 흡입진정의 경우가 86.81%로 대부분을 차지하였다. 특히, 아산화질소 진정법의 청구 건수는 년도에 따라 급격히 증가하는 양상을 확인할 수 있었다. 진정 약제 종류별로는 아산화질소 단독, 아산화질소와 미다졸람(Midazolam) 혼합 사용은 점점 증가하는 양상을 보였고, 클로랄하이드레이트(Chloral hydrate)의 경우는 단독사용을 비롯해 혼합 사용에서도 점차 감소세를 나타내고 있었다. 이러한 추세는 시간의 흐름에 따라 전국적으로 공통된 양상으로 나타남을 확인할 수 있었다. 진정법을 시행 받는 환자 나이에 있어서도 2007년에서 0-2세가 가장 많았으나 시간이 흐름에 따라 점점 증가해 2019년에는 8-15세가 가장 많았다. 진정법 시행 의료기관의 수는 지속적으로 증가하고 있으나 늘어나는 진정법 환자들을 충족하기에는 부족하게 나타났다. 사용이 증가하는 진정약제의 특성상 1회 진정시간은 줄어들고 진정횟수는 늘어나는 추세였다.   4. 결 론 보험이 적용되어 건강보험심사평가원에 사용기록이 제출되는 아산화질소 흡입진정의 경우, 상세하고 방대한 빅데이터를 이용하여 의료정보 분석을 할 수 있었다. 분석에 의하면 안전성이 높은 약제인 아산화질소와 미다졸람의 경우 그 사용이 점차 증가하고 있는 반면에 클로랄하이드레이트의 사용은 점차 줄어들고 있다. 진정법 적용 나이도 점점 증가해 진정법 시행에 있어서 안전성을 중요시하는 방향으로 변화하고 있음을 확인할 수 있었다. 주요어 : 보건의료빅데이터, 치과 진정법, 아산화질소 학 번 : 2018-38498

빅 데이터 기반 데이터 베이스의 취약점 항목 개발 연구

황희성 동국대학교 2015 국내석사

In this paper, the big services that leverage big data services that extract data out to take advantage of the vulnerability is limited because of the criteria that can be checked for security weaknesses of Big Data-based database does not exist, while the increase in the existing data and confidential information , systematic basis is more efficient to manage such assets was a little extra work on the database entry in the "major information and communication technology infrastructure vulnerability assessment and evaluation methods detailed guide. Future research will develop a more in-depth vulnerability entry to study the vulnerability of Big Data services.

빅데이터 시스템의 수용의도에 영향을 미치는 수용조직의 환경요인에 관한 연구

김은영 연세대학교 대학원 2013 국내석사

클라우드 PaaS 플랫폼 기반의 빅데이터 수집 서비스 브로커 아키텍쳐

김태균 성균관대학교 일반대학원 2019 국내석사

본 논문은 종래에 온프라미스 영역에서만 운영되는 빅데이터 수집 서비스를 클라우드 PaaS 상에서 구동시켜 작은 규모의 중소기업이나 스타트업에서 이용하기 힘든 빅데이터 시스템을 사용할 수 있게 방법을 제시한다. 또한, 개발요소를 Rest API 방식을 사용하여 개발자가 손쉽게 접근 할 수 있도록 구현한다. 기존과 같이 빅데이터 시스템의 수집, 저장, 가공, 분석, 시각화의 단계를 거치지 않고 각각의 모듈로 따로 구성되어 수집 기능만 사용할 수 있도록 설계 되었으며 이를 통하여 추가 개발을 최소화하여 사용자의 개발에 소요되는 비용 및 시간을 축소할 것으로 보여지고 apache License 2.0을 적용시켜 자유롭게 커스텀마이징 및 배포를 가능토록 제안하고 있다.

Big data platform-based, Anomaly detection system of DDoS Attacks

채윤주 성균관대학교 일반대학원 2017 국내석사

In this paper, the Anomaly detection System is suggested. the Anomaly detection system conducts collection, processing, analysis of network dataset. It also compares normal network dataset with DDos dataset and gets pattern. Then new network dataset is compared with this pattern and the system can detect anomalies. 본 논문에서는 실시간 대용량 고속 처리가 가능한 BigData Platform과 Machine Learning Algorithm을 사용하여, 네트워크상에서 발생하는 네트워크 데이터 셋을 수집, 처리, 분석 작업을 통해 정상적인 네트워크 Dataset과 DDoS 공격 Dataset을 비교 분석 및 패턴을 구하고, 새로 들어오는 Network Dataset을 구해진 패턴과 비교하여, 이상을 탐지하는 시스템을 제안한다.

빅데이터 로그를 이용한 실시간 예측분석시스템 설계 및 구현

이상준 高麗大學校 情報經營工學專門大學院 2016 국내석사

빅데이터는 미래 경쟁력을 좌우하는 21세기 원유로 비유되고 있으며, 기업들은 다가오는 데이터 경쟁시대를 이해하고 이에 대비해야 한다며 가트너는 기업의 생존 패러다임에 많은 변화를 요구하고 있다. 또한 통계 알고리즘 기반의 예측분석(Predictive Analytics)을 통한 비즈니스 성공 사례들이 발표되면서, 과거 데이터 분석에 따른 사후 조치에서 예측 분석에 의한 선제적 대응으로의 전환은 앞서가고 있는 기업의 필수품이 되어 가고 있다. 이러한 경향은 보안 분석 및 로그 분석 분야에도 영향을 미치고 있으며, 실제로 빅데이터화되고 있는 대용량 로그(빅데이터 로그)에 대한 분석과 지능화, 장기화되고 있는 보안 분석에 빅데이터 분석 프레임워크를 활용하는 사례들이 속속 발표되고 있다. 그러나 빅데이터 로그 분석 시스템에 요구되는 모든 기능 및 기술들을 하둡 기반의 빅데이터 플랫폼에서 수용할 수 없는 문제점들이 있어서 독자적인 플랫폼 기반의 빅데이터 로그 분석 제품들이 여전히 시장에 공급되고 있다. 본 논문에서는 이러한 독자적인 빅데이터 로그 분석 시스템을 위한 실시간 및 비실시간 예측 분석 엔진을 탑재하여 사이버 공격에 선제적으로 대응할 수 있는 프레임워크를 제안하고자 한다. 또한 제안 시스템의 활용 사례를 소개하고, 그 중에서도 프로파일링 기법에 활용하는데 있어 회귀분석이 적합함을 측정 및 분석을 통해서 제시하고자 한다.