딥러닝 기술이 가지는 보안 문제점에 대한 분석

최희식,조양현 한국융합학회 2019 한국융합학회논문지 Vol.10 No.5

본 논문에서는 딥러닝 기술이 인터넷과 연결된 다양한 비즈니스 분야에 새로운 형태의 비즈니스 업무에 활용할 수 있도록 보안에 관한 문제점을 분석하고자 한다. 우선 딥러닝이 비즈니스 영역에 보안 업무를 충분히 수행하기 위해서 는 많은 데이터를 가지고 반복적인 학습을 필요하게 된다. 본 논문에서 딥러닝이 안정적인 비즈니스 보안 업무를 완벽하 게 수행할 수 있는 학습적 능력을 얻기 위해서는 비정상 IP패킷에 대한 탐지 능력과 정상적인 소프트웨어와 악성코드를 탑재하여 감염 의도를 가지고 접근하는 공격을 탐지해낼 수 있는 인지 능력을 갖추고 있는지를 분석하였다. 이에 본 논문에서는 인공지능의 딥러닝 기술이 시스템에 접근하여 문제의 비즈니스 모델을 안정적으로 수행할 수 있게 하기 위해서는 시스템내의 비정상 데이터를 추출해 내고 시스템 데이터 침해를 구분해 낼 수 있는 수학적 역할의 문제점을 보완하기 위해 새로운 IP에 대한 세션 및 로그 분석을 수행할 수 있도록 보안 엔진이 탑재된 딥러닝 기술을 개발하여 비즈니스 모델에 적용시켜서 취약점을 제거하여 비즈니스 업무 능력을 향상시키도록 문제적 방안을 비교 분석하였다. In this paper, it will analyze security problems, so technology’s potential can apply to business security area. First, in order to deep learning do security tasks sufficiently in the business area, deep learning requires repetitive learning with large amounts of data. In this paper, to acquire learning ability to do stable business tasks, it must detect abnormal IP packets and attack such as normal software with malicious code. Therefore, this paper will analyze whether deep learning has the cognitive ability to detect various attack. In this paper, to deep learning to reach the system and reliably execute the business model which has problem, this paper will develop deep learning technology which is equipped with security engine to analyze new IP about Session and do log analysis and solve the problem of mathematical role which can extract abnormal data and distinguish infringement of system data. Then it will apply to business model to drop the vulnerability and improve the business performance.

딥러닝 관련 발명의 특허법상 보호 방안에 대한 연구

전용철(Jun, Yong-Cheul) 동아대학교 법학연구소 2020 東亞法學 Vol.- No.86

딥러닝 기술은 컴퓨터가 사물 등을 구분하기 위한 개념을 가지기 위해 ‘학습’을 수행하며, ‘학습’을 수행하기 위한 학습 모델이 가지는 구조가 깊은 것을 특징으로 한다. 딥러닝 기술은 인간이 개념을 받아들이기 위한 신경적 구조와 활동을 컴퓨터 기술에 접목한 신경망 기술을 기반으로 한다. 최근 그래픽 카드 등 하드웨어의 연산처리 능력이 높아지고 신경망 기술의 이론적 뒷받침이 이루어지면서 딥러닝 기술의 성과가 두드러지게 나타나게 되었다. 본 논문에서는 딥러닝 기술이 가지는 특성을 파악하기 위해 딥러닝 기술에 관한 변천과 주요 딥러닝 기술에 대한 내용 및 이와 관련된 특허권들의 청구범위를 살펴보았다. 또한, 본 논문에서는 딥러닝 기술이 가지는 특성을 감안하여 딥러닝 모델 구조가 변경된 경우와 기존 딥러닝 모델이 특유 목적에 맞게 접목된 경우로 구분하여 딥러닝 관련 발명의 특허 등록 가능성 확보 방안을 검토하였으며, 특허 등록 후 침해 주장 시 입증 용이성을 확보하기 위한 실무적 방안에 대해 검토하였다. 딥러닝 기술과 관련한 발명의 경우 발명의 성립성과 진보성 요건 등 특허성 요건을 판단함에 있어서 컴퓨터 관련 발명의 일종으로 취급될 수 있다. 최근 컴퓨터 관련 발명의 특허 적격성 판단과 관련하여 미국에서의 Alice 판결 등 주요 판례가 주목받고 있고 이에 따라 미국과 우리나라에서의 심사기준에도 변동이 있어 본 논문에서는 컴퓨터 관련 발명의 특허 적격성 판단에 대한 미국 판례의 변천을 살펴본 후 우리나라의 특허법 규정 및 2019년 3월 개정된 특허청의 특허․실용신안 심사기준을 검토하였다. Deep learning is a technology to perform “learning” so that computers can adopt concepts to distinguish objects and the like. Deep-learning technology is characterized in that the structures of learning models for performing “learning” are “deep”. Deep-learning technology is based on neural-network technology in which neural structures and activities that enable human beings to accommodate concepts are grafted onto the computer technology. Recently, neural network technology has been underpinned by theory owning to the increased operational processing capacity of hardware units such as graphics cards, and remarkable performance of deep-learning technology has been exhibited. In order to understand the properties of deep-learning technology, changes in deep-learning technology, major aspects of deep-learning technology, and the claims of patented inventions relating to deep-learning technology are reviewed in this paper. Also, considering the properties of deep-learning technology, cases are divided into cases where deep-learning model structures are changed and cases where conventional deep-learning models are grafted onto deep-learning technology so as to comply with specific objectives. On this basis, how to secure the patentability of deep-learning-related inventions is reviewed in this paper, and how to easily demonstrate patent infringement after the deep-learning-related inventions are patented is also reviewed in practical terms. In the case of deep-learning-related inventions, they may be handled as a kind of computer-related inventions when the patentability requirements thereof are determined in terms of whether the subject matters thereof establishes inventions and they meet inventiveness requirements, etc.. Recently, with respect to the patent eligibility determination of computer-related inventions, important precedents including the Alice Corp. judgment in the United States have drawn attention, and examination guidelines in the United States and Korea have changed accordingly. In this regard, in this paper I review changes in US precedents on patent eligibility determination of computer-related inventions, and then review the Korean Patent Act and patent and utility model examination guidelines, which were revised in March 2019 by the Korean Intellectual Property Office.

인공지능 딥러닝을 활용한 조류현상 예측기술 개발 및 활용방안

홍한움,조을생,강선아,한국진 한국환경정책평가연구원 2020 기본연구보고서 Vol.2020 No.-

Ⅰ. 연구의 배경 및 목적 1. 연구 개요 □ 연구명: 인공지능 딥러닝을 이용한 조류현상 예측기술 개발 및 활용방안 □ 연구기간: 2020.1.1~2020.12.31. 2. 연구의 필요성 및 목적 □ 조류현상의 원인 ㅇ 조류현상은 녹조현상과 적조현상을 포함 - 녹조현상: 강 및 호수에 남조류 과다 생성 - 적조현상: 바다에 갈색을 띠는 규조류 및 와편모조류 번성 □ 현행 조류경보제의 한계 ㅇ 환경부 및 국립환경과학원에서는 유해남조류 실측치 및 EFDC 모형에 기반하여 조류 경보제 시행 ㅇ 물리 모형의 한계 - 탄탄한 이론적 배경을 기반으로 하나, 모형이 요구하는 세밀한 데이터를 확보하는데 한계가 있음 - 질량보존의 법칙에 기반한 물리 모형 활용 생명활동인 조류현상 예측에 한계가 있음 ㅇ 딥러닝 예측을 대안 및 보완방안으로 고려 Ⅱ. 현행 녹조대응정책 1. 조류경보제 □ 도입 시기: 1998년 □ 법적 근거: 「물환경보전법」 제21조 □ 대상 ㅇ 상수원 및 친수활동구간 28개소 지점 ㅇ 발령권자: 국립환경과학원 □ 분석 항목 ㅇ 유해남조류세포수 실측치 ㅇ 상수원 구간 기준 - 관심: 1,000(cells/mL) 이상 - 경계: 10,000(cells/mL) 이상 - 대발생: 1,000,000(cells/mL) 이상 2. (구) 수질예보제 □ 도입 시기: 2012년 □ 법적 근거: 「물환경보전법」 제21조 □ 대상 ㅇ 4대강 16개 보 및 북한강 삼봉리 등 17개 지점 ㅇ 발령권자: 국립환경과학원 □ 분석 항목 ㅇ 수온 및 클로로필a 농도 예측치 ㅇ 현재는 조류경보제와 수질예보제를 통합 운영함에 따라 예측은 수행하지만 예보 발령은 하지 않음 □ 현재 유해남조류 예측정보 제공 ㅇ 현재 국립환경과학원에서 유해남조류 예측정보 제공 중 ㅇ 주 2회 월·목요일 조류경보제 6개 지점 대상 ㅇ 유해남조류세포수 및 수온예측 결과 발표 3. 수질측정망 현황 □ 법적 근거 ㅇ 「환경정책 기본법」 제22조 및 「물환경보전법」 제9조 □ 구성 ㅇ 수질측정망 - 대상: 하천, 호소, 농엽용수, 도시관류, 산단하천에서의 수질측정데이터 - 제공 정보: 수심, 수소이온농도, 용존산소량, BOD, COD, 부유물질, 총질소, 총인, 총유기탄소(TOC), 수온, 페놀류, 전기전도도, 총대장균군수, 용존총질소, 암모니아성 질소, 질산성 질소, 용존총인, 용존총인, 인산염인, 클로로필a, 투명도 - 주기: 월 1회, 주요지점에 대해서는 주 1회 ㅇ 총량측정망 - 대상: 수질오염총량제 대상 지역에 대해 총량 관리에 필요한 기초데이터 - 제공 정보: 수온, 수소이온농도, 전기전도도, 용존산소, BOD, COD, 부유물질, 총질소, 총인, TOC, 유량 - 주기: 월 1회 ㅇ 자동측정망 - 수동적으로 측정되는 일반측정망의 보완을 위해 운영 - 제공 정보: (공통항목) 수온, 수소이온농도, 용존산소량, 전기전도도, TOC (선택항목) 탁도, 클로로필a, TN, TP, NH3-N, NO3-N, PO4-P, VOCs(9종 10개), 페놀, 중금속, 생물감시항목 - 주기: 일 1회 ㅇ 퇴적물측정망 - 목적: 국 하천 및 호소 등 수질보전대상 공공수역에 대한 퇴적물의 이화학적 특성 조사 - 제공 정보: (공통항목) 수온, 수소이온농도, 용존산소량, 전기전도도, TOC (선택항목) 채취시간 최고수심, 표층측정수심, 표층 및 저층 수심, 수온, 용존산소량, pH, 전기전도도, 퇴적물 입도, 함수율, 완전연소가능량 비율 및 등급, COD, TOC, TN, TN등급, TP, SRP, 중금속, 보존성 원소 농도 - 주기: (하천) 상·하반기 연 2회, (호소) 연 1회 ㅇ 이 외에 방사성 측정망 및 생물측정망 추가 측정 Ⅲ. 수질 예측 모형 1. 물리모형 □ 모형 예시 ㅇ EFDC, QUAL2K, WASP 등 ㅇ 국립환경과학원에서는 EFDC 기반 모형 운용 중 □ 구성 ㅇ 수계를 소구역으로 분할한 모델 격자망 구성 및 경계조건 설정 ㅇ 격자망 안의 소구역 단위에서 수질 추정 □ 사례 ㅇ 신창민 외(2017)의 EFDC 활용 영산강 수계 예측 2. 딥러닝 모형 □ 모형 구조 ㅇ 다층 퍼셉트론(DMLP) - 신경망의 뉴런과 시냅스를 모방한 모형. 입력층, 은닉층, 출력층으로 구성. 은닉층을 여러 개 두는 다층 구조로 구성 ㅇ 순환신경망(RNN) - 다층 퍼셉트론 모형에서 전 시점 은닉 노드의 피드백을 추가 반영한 모형 - 현대에는 단순 순환신경망 모형을 기반으로 하여 장기 기억을 활용할 수 있는 GRU, LSTM 모형을 활용 □ 수질 예측 모형 적용 예시 3. 물리모형 vs 딥러닝 알고리듬 □ 물리모형 ㅇ 잘 확립된 수학/물리법칙에 기반 ㅇ 실제 관측값은 모형 평가에 활용 ㅇ 물리적 방정식을 통해 관측값보다 세밀한 해상도에서 예측수행 가능 ㅇ 단점 - 불확실한 초기/경계조건으로 인한 오차 - 이상현상을 예측하기 어려움 - 부실한 입력데이터, 모델 관계식의 불안정성, 모델링 방법 등의 문제로 작동하지 않을 수 있음 □ 딥러닝 알고리듬 ㅇ 기계학습을 통해 입력변수와 출력변수의 관계 구축 ㅇ 실제 관측값 모형 구축에 활용 ㅇ 측정값의 오차를 정량화하여 모형 안에 오류 조건 내장 ㅇ 물리 모형 대비 불확실성이 큰 단기 예측에 강점 ㅇ 단점 - 많은 데이터 요구 - 관측 해상도보다 세밀화 불가능 - 입력변수와 출력변수의 관계를 설명할 수 없기 때문에 실제 활용에 한계가 있음 Ⅳ. 딥러닝 기반 조류예측 알고리듬 개발 1. 데이터 수집 및 전처리 □ 모형 구축 대상 ㅇ 대상 지점: 한강 친수활동구간 조류 관찰지점 ㅇ 대상 변수 - 조류현상의 직접 원인인 유해남조류세포수 직접 예측 - 클로로필a 예측 등을 통해 우회적으로 녹조현상을 예측한 선행연구와 차별성이 있음 □ 모형 구축 기간 ㅇ 대상기간: 2007.4~2020.8. ㅇ 조류현상으로부터 비교적 안전한 겨울철인 12 ~ 3월의 겨울철 데이터는 관측값이 없으므로 제외 ㅇ 수집 데이터 2. 조류 데이터 특성 □ 기술통계 □ 특징 ㅇ 극단적으로 오른쪽으로 치우친 비대칭 분포 ㅇ 온도가 높은 여름철에 집중적으로 발생하여 이와 같은 극단적인 비대칭 특성이 나타남 ㅇ 극단적 비대칭 특성으로 인해 물리 모형이나 전통적인 통계 모형 등으로 유해남조류를 직접 예측하기 어려움 3. 예측 알고리듬 개발 □ RNN 모형 구축 ㅇ 로그스케일에서의 유해남조류세포수를 예측대상으로 함 ㅇ 장기기억 정보 활용을 위해 LSTM 예측 알고리듬을 구축함 ㅇ 최적화를 위한 손실함수: 최소제곱함수 최적화 알고리듬: ADAM ㅇ 학습 데이터(training data): 2007.4~2016.11. 검정 데이터(test data): 2017.4~2020.6. □ 결과 ㅇ 전 관측소에서 유해남조류의 증감 패턴을 잘 예측함. 친수활동구간은 하천 하류에 위치하여 데이터 불안정성이 커 전통적인 예측 방법으로는 예측하기 어려우나, 본 연구에서는 증감 패턴을 잘 예측함 ㅇ 가장 큰 극단값의 발생을 동 시점에서 예측함 ㅇ 예측오차 Ⅴ. 결론 및 학술적 성과 □ 학술적 성과 ㅇ 물리모형을 활용한 예측은 명확한 이론을 바탕으로 정립되어 있기 때문에 수온, 용존산소량, 총인, 총질소 등의 수질 예측에 널리 쓰임. 하지만 질량보존법칙을 기저로 하는 물리 방정식을 활용한 예측은 보존성 물질에는 잘 맞으나 살아 있는 생명체의 활동인 조류현상 예측에는 한계가 있음 ㅇ 기존 조류현상 예측 연구는 조류현상의 직접적인 원인인 유해남조류세포수(cells/mL)를 직접 예측하지 않고 클로로필a 농도(mg/m3) 예측 결과를 활용하는 것으로 대체함 ㅇ 본 연구에서는 물리 모형으로는 예측하기 힘든 유해남조류세포수 예측에 대한 대안으로 순환신경망 기반의 딥러닝 알고리듬을 활용함. 조류 증감 및 이상현상 발생을 동 시점에서 잘 예측함 □ 한계 ㅇ 입력변수로 수질, 상류 수질, 수위, 기상 정보만을 활용하였는데, 이는 물리 모형에서 이미 쓰고 있는 변수 위주임. 인구 변화와 같은 인간 사회 활동에 관한 변수를 고려하면 딥러닝 분석의 이점을 더 크게 활용할 수 있음. 위성 이미지 등의 비정형 데이터 또한 추가로 고려할 수 있음 ㅇ 데이터 수의 한계. 본 연구에서는 2007년부터 2016년까지의 총 365개 주별 데이터를 활용하여 모형을 학습하였는데, 이 데이터 수 자체가 충분하다고 할 수 없음. 새로운 데이터가 추가될 때마다 예측 모형을 업데이트하여 효율성을 높여야 함 ㅇ 딥러닝 모형의 근본적 한계. 실제 모형의 자세한 동작 과정을 명확히 알 수 없다는 블랙박스(black-box) 특성으로 인한 한계가 있음. 정책을 시행할 때는 근거가 필요한데, 딥러닝 예측 모형의 블랙박스 특성은 명확한 근거를 수립하기 어려움 □ 결론 및 제언 ㅇ 이미 구축된 모형에 대한 예측 수행은 매우 간단하므로 현재의 조류 예보에 참고 정보로 바로 활용할 수 있음 ㅇ 딥러닝 모형을 활용한 예측과 물리 모형을 활용한 예측 모두 장단점이 있으므로 두 예측 방식을 통합하는 것이 가장 바람직함. 딥러닝 모형에 기반을 두고 목적함수의 제약 조건에 물리 방정식을 포함하는 방식으로 물리 모형을 통합할 수도 있고, 물리모형 예측의 부분 모듈에 딥러닝 학습을 부분적으로 수행하는 방식으로 물리 모형을 기반으로 딥러닝 모형을 통합할 수도 있음 Ⅰ. Background and Aims of Research 1. Research outline □ Research title: Development and application of an algal bloom forecast system using artificial intelligence deep learning technology □ Research period: January 1, 2020 ~ December 31, 2020 2. Necessity and purpose of research □ Limitations of the current algal bloom warning system ㅇ The Ministry of Environment and the National Institute of Environmental Research implemented an algal bloom warning system based on the measured values of harmful blue-green algae and the EFDC model. ㅇ Limitations of physics-based models - They have a solid theoretical background but there is a difficulty in securing the detailed data required by the model. - Since algal blooms are living organisms, the law of conservation of mass does not apply to the number of harmful blue-green algae cells. Therefore, the physics-based model has limitations. - Deep learning-based forecasting can be considered as an alternative and a complementary method. Ⅱ. Current Algal Bloom Response Policy 1. Algal bloom warning system □ Year of introduction: 1998 □ Legal basis: Article 21 of the Water Environment Conservation Act □ Target ㅇ 28 branches of water supply sources and hydrophilic activities ㅇ Issuer: Basin Environmental Office and local governments □ Analysis items ㅇ Measured numbers of harmful blue-green algae cells ㅇ Based on water source section - Attention: 1,000 (cells/mL) or more - Alert: 10,000 (cells/mL) or more - Large bloom: 1,000,000 (cells/mL) or more ㅇ Based on hydrophilic activities section - Attention: 20,000 (cells/mL) or more - Alert: 100,000 (cells/mL) or more 2. (Former) Water quality forecast system □ Year of Introduction: 2012 □ Legal basis: Article 21 of the Water Environment Conservation Act □ Target ㅇ 17 branches including 16 barrages and the Bukhan River Sambong-ri of the four major rivers of South Korea ㅇ Issuer: National Institute of Environmental Research □ Analysis items ㅇ Predicted water temperature and chlorophyll-a concentration ㅇ Currently, as the algal bloom warning system and the water quality forecast system are integrated, no forecast is issued although forecasting is performed. □ Providing forecasts for harmful blue-green algae cells ㅇ Twice a week, Monday and Thursday, six branches that are targets of the algal bloom system ㅇ Issuing the predicted number of harmful blue-green algae cells and water temperature predictions 3. Status of the water quality monitoring network □ Legal basis ㅇ Article 22 of the Basic Act on Environmental Policy and Article 9 of the Water Environment Conservation Act □ Organization ㅇ Water quality monitoring network - Target: water quality measurement data in rivers, lakes, agricultural water, urban streams, and industrial rivers - Provided information: water depth, hydrogen ion concentration, dissolved oxygen content, BOD, COD, suspended matter, total nitrogen, total phosphorus, total organic carbon (TOC), water temperature, phenols, electrical conductivity, total coliform group, dissolved total nitrogen, ammonia nitrogen, nitrate nitrogen, dissolved total phosphorus, phosphate phosphorus, chlorophyll a, transparency - Cycle: once a month, once a week for major locations ㅇ Total quantity measurement network - Target: basic data for total amount management in areas subject to the total water pollution rate system - Provided information: water temperature, hydrogen ion concentration, electrical conductivity, dissolved oxygen, BOD, COD, suspended matter, total nitrogen, total phosphorus, TOC, flow rate - Cycle: once a month ㅇ Automatic measurement network - Operated to complement the hand-operated measurements of the water quality monitoring network - Provided information: (Common) water temperature, hydrogen ion concentration, dissolved oxygen content, electrical conductivity, TOC (Optional) Turbidity, chlorophyll a, TN, TP, NH₃-N, NO₃-N, PO₃-P, VOCs (nine types, ten items), phenol, heavy metals, biological monitoring items - Cycle: once a day ㅇ Sediment monitoring network - Purpose: investigation of the physicochemical properties of sediments in public waters subject to water quality conservation of South Korea - Provided information: (Common) water temperature, hydrogen ion concentration, dissolved oxygen content, electrical conductivity, TOC (Optional) maximum depth during collection, surface measurement depth, surface and bottom depth, water temperature, dissolved oxygen content, pH, electrical conductivity, sediment particle size, moisture content, ratio and grade of complete combustion potential, COD, TOC, TN, TN grade, TP, SRP, heavy metals, conservative element concentration - Cycle: (River) twice a year for the first and second halves, (Lake) once a year ㅇ In addition, there are additional measurements of radioactive monitoring networks and biometric networks. Ⅲ. Water Quality Prediction Models 1. Physics-based model □ Example ㅇ EFDC, QUAL2K, WASP, etc. ㅇ The National Institute of Environmental Research is operating an EFDC-based model. □ Organization ㅇ Construct a grid network by dividing the water system into sub-regions and set boundary conditions ㅇ Estimate the water quality in sub-area units within the grid 2. Deep learning algorithm □ Model structure ㅇ Multi-layer perceptron (MLP) - It mimics the neurons and synapses of a neural network. It consists of an input layer, a hidden layer, and an output layer. it has a multi-layered structure with more than one hidden layer. ㅇ Recurrent Neural Network (RNN) - It additionally reflects the feedback effects of previous hidden nodes. - Nowadays, GRU and LSTM models are used. These models utilize the long-term memory based on a simple recurrent neural network. 3. Physics-based model vs. Deep learning algorithm □ Physics-based model ㅇ Based on well-established mathematical/physical laws ㅇ Actual observations are used for model evaluation. ㅇ Prediction can be performed at a more detailed resolution than observed values based on physical equations. ㅇ Disadvantages - Errors due to uncertain initial/boundary conditions - Difficulty in predicting the abnormal phenomena - May not work due to problems such as poor input data, instability of model relations, modeling method, etc. □ Deep learning algorithm ㅇ Establish the relationship between input and output variables through machine learning ㅇ Actual observations are used for model construction. ㅇ Includes error conditions in the model by quantifying the error of the measurements ㅇ Advantages in short-term predictions with greater uncertainties compared to physics-based models ㅇ Disadvantages - Requires a huge amount of data - Cannot be performed at a more detailed resolution than observation resolution - Practical application is limited since the relationship between input and output variables cannot be explained. Ⅳ. Development of an Algal Bloom Forecast Algorithm Based on Deep Learning 1. Data collection and preprocessing □ Model construction target ㅇ Target point: algae observation point in the hydrophilic activity section of the Han River ㅇ Target variable - Direct prediction of the number of harmful blue-green algae cells which is the direct cause of the algal bloom - Differentiated from previous studies that indirectly predicted the algal bloom through chlorophyll a prediction □ Model construction period ㅇ Target period: April 2007 ~ August 2020 ㅇ Data in winter from December to March, which is relatively safe from algal blooms, are excluded. 2. Characteristics of algae data □ Descriptive statistics □ Characteristics ㅇ Extremely right-skewed asymmetric distribution ㅇ Extreme asymmetric distribution is exhibited since algal blooms occur intensively in summer when the temperature is high. ㅇ Because of this, it is difficult to directly predict harmful blue-green algae using physics-based models or traditional statistical models. 3. Development of a predicting algorithm □ RNN model construction ㅇ Target of prediction: the number of harmful blue-green algae cells ㅇ Constructing an LSTM prediction algorithm to utilize the long-term memory information ㅇ Loss function for optimization: least squares function Optimization algorithm: ADAM ㅇ Training data: April 2007 ~ November 2016 Test data: April 2017 ~ June 2020 □ Results ㅇ The increasing and decreasing patterns are well predicted although there is difficulty in predicting using traditional prediction methods due to high data instability, which results from the fact that the hydrophilic activity section is located downstream of the river. ㅇ Well predict the occurrence of the largest extreme value at the same time ㅇ Prediction error Ⅴ. Conclusion and Achievements □ Achievements ㅇ Since the prediction using a physical model is established based on a well-established theory, it is widely used to predict properties of water quality such as water temperature, dissolved oxygen, total phosphorus, and total nitrogen. The prediction using the physical equation based on the law of conservation of mass is well suited for conservative substance. However, there is a limitation in the prediction of algae cells since it is the activity of living organisms. ㅇ Existing algal phenomena prediction studies have not directly predicted the number of harmful blue-green algae cells, which is the direct cause of algal phenomena. It is replaced by using the results of chlorophyll a concentration prediction. ㅇ In this study, a deep learning algorithm based on recurrent neural networks was used as an alternative method to predict the number of harmful blue-green algae cells. It well predicted the increasing or decreasing patterns of algae and the occurrence of abnormal phenomena at the concurrent point. □ Limitations ㅇ Only water quality, upstream water quality, water level, and meteorological information were used as input variables. These variables are already used in the physical model. Taking into account social variables such as population change and the benefits of deep learning analytics can be leveraged to a greater extent. Unstructured information such as satellite images can be additionally considered. ㅇ There is a limitation in the amount of data. In this study, the model was studied using data from a total of 365 weekly data collections from 2007 to 2016, but this amount itself is not sufficient. Whenever new data are added, the predictive model should be updated to increase the prediction efficiency. ㅇ There is a limitation due to the black-box characteristic. The detailed operational process of the prediction model cannot be clearly observed. When implementing a policy, evidence is needed. The black-box characteristic of deep learning prediction models makes it difficult to provide clear evidence. □ Conclusions and suggestions ㅇ Because it is very simple to perform predictions with the model that has already been established, it can be directly used as reference information for current algal bloom forecasts. ㅇ Since predictions using deep learning models and physics-based models both have advantages and disadvantages, it is most desirable to integrate the two prediction methods. Based on the deep learning model, the physical model can be integrated by including the physical equation in the constraint of the objective function. Or, deep learning can be partially performed in the partial module of the physical model prediction.

신뢰성있는 딥러닝 기반 분석 모델을 참조하기 위한 딥러닝 기술 언어

문종혁 ( Jong Hyeok Mun ),김도형 ( Do Hyung Kim ),최종선 ( Jong Sun Choi ),최재영 ( Jae Young Choi ) 한국정보처리학회 2021 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.10 No.4

최근 딥러닝은 하드웨어 성능이 향상됨에 따라 자연어 처리, 영상 인식 등의 다양한 기술에 접목되어 활용되고 있다. 이러한 기술들을 활용해 지능형 교통 시스템(ITS), 스마트홈, 헬스케어 등의 산업분야에서 데이터를 분석하여 고속도로 속도위반 차량 검출, 에너지 사용량 제어, 응급상황 등과 같은 고품질의 서비스를 제공하며, 고품질의 서비스를 제공하기 위해서는 정확도가 향상된 딥러닝 모델이 적용되어야 한다. 이를 위해 서비스 환경의 데이터를 분석하기 위한 딥러닝 모델을 개발할 때, 개발자는 신뢰성이 검증된 최신의 딥러닝 모델을 적용할 수 있어야 한다. 이는 개발자가 참조하는 딥러닝 모델에 적용된 학습 데이터셋의 정확도를 측정하여 검증할 수 있다. 이러한 검증을 위해서 개발자는 학습 데이터셋, 딥러닝의 계층구조 및 개발 환경 등과 같은 내용을 포함하는 딥러닝 모델을 문서화하여 적용하기 위한 구조적인 정보가 필요하다. 본 논문에서는 신뢰성있는 딥러닝 기반 데이터 분석 모델을 참조하기 위한 딥러닝 기술 언어를 제안한다. 제안하는 기술 언어는 신뢰성 있는 딥러닝 모델을 개발하는데 필요한 학습데이터셋, 개발 환경 및 설정 등의 정보와 더불어 딥러닝 모델의 계층구조를 표현할 수 있다. 제안하는 딥러닝 기술 언어를 이용하여 개발자는 지능형 교통 시스템에서 참조하는 분석 모델의 정확도를 검증할 수 있다. 실험에서는 제안하는 언어의 유효성을 검증하기 위해, 번호판 인식 모델을 중심으로 딥러닝 기술 문서의 적용과정을 보인다. With the recent advancements of deep learning, companies such as smart home, healthcare, and intelligent transportation systems are utilizing its functionality to provide high-quality services for vehicle detection, emergency situation detection, and controlling energy consumption. To provide reliable services in such sensitive systems, deep learning models are required to have high accuracy. In order to develop a deep learning model for analyzing previously mentioned services, developers should utilize the state of the art deep learning models that have already been verified for higher accuracy. The developers can verify the accuracy of the referenced model by validating the model on the dataset. For this validation, the developer needs structural information to document and apply deep learning models, including metadata such as learning dataset, network architecture, and development environments. In this paper, we propose a description language that represents the network architecture of the deep learning model along with its metadata that are necessary to develop a deep learning model. Through the proposed description language, developers can easily verify the accuracy of the referenced deep learning model. Our experiments demonstrate the application scenario of a deep learning description document that focuses on the license plate recognition for the detection of illegally parked vehicles.

딥러닝을 활용한 해양오염 예측도구 개발 및 적용 연구 (Ⅰ)

김태윤,진대용,이어진,권경환 한국환경정책평가연구원 2020 기본연구보고서 Vol.2020 No.-

Ⅰ. 연구의 배경 및 목적 ㅇ 해양에서 다양한 개발사업이 이루어지고 있으며 개발로 인한 환경적 영향을 예측·평가하여 저감방안을 마련하고 있음 ㅇ 복잡한 해양환경적 특성으로 인해 개발사업이 해양환경에 미치는 영향을 파악하는 데는 한계가 있음 ㅇ 해양환경 정보화플랫폼의 자료, 위성자료, 기존의 수치모형에서 계산된 방대한 물리적 자료를 딥러닝 기술에 적용하여 해양오염 예측 도구를 개발하고자 함 Ⅱ. 국내외 현황 및 사례 분석 ㅇ 해양 분야에서 딥러닝을 활용한 연구를 예측(결측치 보정 포함) 및 분류 연구로 구분하여 정리함 ㅇ 해양 분야가 아닌 타 분야에서 딥러닝을 활용한 연구도 정리함 Ⅲ. 연구 방법론 1. 해양환경자료 ㅇ 해양환경, 해양생태, 해양보호구역, 해양환경정보지도, 폐기물해양배출, 해양쓰레기, 해역이용영향평가 등과 관련된 다양한 자료를 제공하는 해양환경정보포털(MEIS)의 자료를 검토함 ㅇ 2010년부터 천리안 위성(COMS: Communication, Ocean and Meteorological Satellite)을 통하여 해양관측을 수행하고 있으며, 위성으로부터 제공되는 자료를 조사함 2. 수치모형 ㅇ 해양의 유동, 지형, 파랑, 수질까지 다양한 영역의 해양환경 변화를 파악할 수 있는 수치모형 중에 연안역에서 널리 사용되는 Delft3D를 소개함 3. 딥러닝 모델 ㅇ 딥러닝 알고리즘은 입력 데이터의 형태에 따라 활용할 수 있는 모형이 다르기 때문에 주요 모형에 대해서만 설명함 ㅇ 딥러닝 모형이 사용된 연구 사례를 소개함 Ⅳ. 적용 및 검증 1. 파랑 예측 ㅇ 딥러닝의 적용 사례연구로서 외해에서 장기간 관측된 파랑 및 기상자료와 딥러닝 기법을 활용하여 해안역 인근의 일 년간의 파랑을 예측함 ㅇ 60km 이상 이격된 해역의 기상정보와 파랑정보를 활용하여 해안가 인접지역의 파랑 자료를 간접적으로 추정할 수 있음 2. 농도 확산 ㅇ 파랑 예측 사례는 단일지점의 자료를 이용하여 추정값을 산출하였다면 금번 사례연구는 공간적 자료를 활용하여 딥러닝 기법의 효율성을 검증함 3. 실해역 적용 ㅇ 연구해역에서 시공간적인 물리 인자를 생성하기 위하여 수치모형을 구동하고 위성관측자료를 활용하여 용존 유기물질, 클로로필-a, 총부유물질, 수중 가시거리에 대한 공간 자료를 생성함 ㅇ CNN 모형을 활용하여 딥러닝 모형을 구축하고 클로로필-a를 추정함 Ⅴ. 결론 및 제언 ㅇ 다양한 분야에 적용되고 있는 딥러닝 기술을 활용하여 연안역에서 플랑크톤 시·공간적 변화를 예측하는 도구를 개발함 ㅇ 개발된 예측모형에 대한 정확도 및 신뢰성을 높이기 위하여 추가적인 연구 및 분석이 필요함 ㅇ 딥러닝 예측 기술의 추가적인 개발은 기존 기술과 함께 시너지 효과를 발생시켜 환경정책계획 수립에 기여할 수 있음 Ⅰ. Aims and Purposes of the Research ㅇ Various development projects in the coastal areas have been carried out, and mitigation methods to reduce their impact on the environment have been under development based on the prediction and evaluation. ㅇ There are many limitations in understanding the impacts of development projects on the marine environment. ㅇ We intend to develop a marine pollution prediction tool by applying data from the Marine Environment Information System (MEIS), satellite data, and physical data calculated from the numerical model to deep learning technology. Ⅱ. Domestic and Foreign Status and Case Analysis ㅇ Deep learning studies applied in the marine field were classified and organized into prediction (including missing value correction) and classification studies. ㅇ Deep learning research conducted in fields other than the marine field is also briefly summarized. Ⅲ. Methods 1. Marine environment data ㅇ Data from the MEIS which provides various data related to the marine environment, marine ecology, marine protected areas, marine environment information map, and marine waste discharge were investigated. ㅇ Satellite data produced through the Communication, Ocean and Meteorological Satellite (COMS) operated since 2010 were reviewed. 2. Numerical model ㅇ Delft3D, widely used in coastal areas, is described as a numerical model that simulates changes in the marine environment such as hydrodynamics, sediment transport, waves, and water quality. 3. Deep learning model ㅇ In regard to deep learning models, only the main models are explained because the models that can be used are different depending on the type of input data. ㅇ We introduced research cases to which deep learning models are applied. Ⅳ. Application and Verification 1. Wave prediction ㅇ As a case study of the application of the deep learning model, the waves for a year near the coastal area were predicted using the deep learning model. ㅇ It is possible to indirectly estimate the wave data adjacent to the coast using the meteorological and wave information from the open sea 60 km away. 2. Diffusion experiment ㅇ In the case of wave prediction, the model predicted waves using data from a single point, but this case study showed that the deep learning model is also effective for spatial data prediction. 3. Application to actual sea areas ㅇ Using a numerical model for the study area, spatial and temporal physical data were generated. In addition, data on dissolved organic matter, chlorophyll-a, total suspended sediment, and visibility were generated from satellite ocean color observations. ㅇ A deep learning model was constructed using the CNN technique and chlorophyll-a was estimated. Ⅴ. Conclusion and Suggestion ㅇ A tool for predicting plankton changes in coastal areas was developed using deep learning technology ㅇ Further research and analysis are required to increase the accuracy and reliability of the developed prediction tool in this study ㅇ Additional development of deep learning prediction tool can contribute to establishing effective environmental policy plans by generating synergies with existing tools

데이터 분석적 사고력 향상을 위한 딥러닝 기반 학습 시스템 개발 연구

이영호,구덕회 한국정보교육학회 2017 정보교육학회논문지 Vol.21 No.4

본 연구의 목적은 학습자의 데이터 분석적 사고력 향상을 위한 딥러닝 기반 학습 시스템 개발 연구이다. 연구의 내용은 다음과 같다. 첫째, 데이터 분석적 사고력 향상을 위해 발견학습 모형에 딥러닝 기법을 적용하였다. 이는 데이터의 관계를 나타내주는 모델을 딥러닝 기법을 사용하여 생성하고, 새로운 데이터를 이 모델에 적용하여 데이터를 분석하는 과정을 경험할 수 있는 학습 방법이다. 둘째, 이 학습 방법에 따른 수업을 위한 딥러닝 기반 학습 시스템을 개발하였다. 학습자가 입력한 데이터를 딥러닝 기법을 사용하여 데이터의 모형을 생성하고, 이 모델을 적용할 수 있는 시스템을 개발하였다. 딥러닝을 적용한 발견학습 및 시스템 설계 연구는 데이터의 중요성이 더욱 커지는 미래 사회에서 학습자의 데이터 분석적 사고력을 향상시킬 수 있는 새로운 접근이 될 것으로 기대한다. The purpose of this study is to develop a deep learning based learning system for improving learner's data analytical thinking ability. The contents of the study are as follows. First, deep learning was applied to the discovery learning model to improve data analytical thinking ability. This is a learning method that can generate a model showing the relationship of given data by using the deep learning method, then apply the model to new data to obtain the result. Second, we developed a deep learning based system for DBD learning model. Specifically, we developed a system to generate a model of data using the deep learning method and to apply this model. The research of deep learning based learning system will be a new approach to improve learner's data analytical thinking ability in future society where data becomes more important.

SystemC 기반 스토리지와 버퍼 및 딥러닝 가속기 시뮬레이터 시스템 구현

이재빈,김건명,김진영,임승호 한국차세대컴퓨팅학회 2021 한국차세대컴퓨팅학회 논문지 Vol.17 No.6

최근 IoT 시스템에서 엣지 디바이스를 이용한 데이터 저장 및 분산 처리 연산을 수행하기 위해서 다양한 연구가 진 행되고 있다. 인공지능 추론 연산도 그중 하나로써 임베디드 장치에서 인공지능 연산을 수행하기 위해서 소프트웨어 또는 하드웨어 레벨에서 많은 연구가 진행 중이다. 특히, 하드웨어 레벨에서 임베디드 프로세서나 임베디드 GPU를 이용한 연산 처리는 한계가 있어서 독립적인 하드웨어 딥러닝 가속기를 추가하는 추세이다. 이러한 딥러닝 가속기는 복잡한 신경망 연산을 하드웨어에서 독립적으로 수행하기 위해서 많은 데이터 저장 및 이동이 필요하며, 내부적으로 는 반복 병렬 연산을 수행하기 때문에 내부 저장 시스템 및 버퍼 구조와 데이터 이동 경로에 대한 분석과 최적화가 필요하다. 딥러닝 가속기의 데이터 사용성에 대한 분석을 통하여 딥러닝 가속기의 최적화 설계를 돕기 위해서, 본 논문에서는 RISC-V 기반 가상 플랫폼에서 SystemC 기반으로 ESL 수준에서 딥러닝 가속기와 낸드 플래시 메모 리 시스템으로 구성된 가상 엣지 디바이스 플랫폼을 제공하고, RISC-V 기반 가상 플랫폼에서 딥러닝 가속기를 이 용한 응용 프로그램을 실행하고 분석하는 환경을 제공하였다. 구현한 딥러닝 가속기 시뮬레이터를 이용해서 딥러닝 가속기의 저장장치 및 내부 버퍼의 사용성과 딥러닝 연산에 따른 데이터 이동량 및 버퍼링 효과를 분석할 수 있는 기반을 마련하였다. Recently many researches are being conducted to perform data distributed processing with embedded edge devices in IoT systems, and artificial intelligence inference is one of them. Many studies are underway at the software or hardware level to perform artificial intelligence operations in embedded systems. In particular, the hardware-supported deep learning operations, such as GPU, in embedded system are limited, so a hardware deep learning accelerator is considered to be added in the architecture. Since such a deep learning accelerator performs a lot of data storage and movement and iterative parallel operation internally to perform complex neural network computation, it is required to analyze and optimize a precise internal buffer and data movement path management for efficient design of deep learning accelerator. In this paper, to model and analyze a deep learning accelerator in a virtual platform based on RISC-V, a deep learning accelerator is designed and implemented at the ESL level based on SystemC as well as main memory and NAND flash controller, then the data movement with storage and buffering effect were analyzed and examined on the developed deep learning accelerator. Using the implemented deep learning accelerator simulator, the usability of the internal buffer of the deep learning accelerator and the data movement amount and buffering effect according to the deep learning operation can be analyzed.

딥러닝 모델 설계를 위한 모델 패턴 추출 및 시각화

박기선(Ki Sun Park),황경순(Kyoung Soon Hwang),이건명(Keon Myung Lee) 한국지능시스템학회 2019 한국지능시스템학회논문지 Vol.29 No.1

최근 공개되고 있는 딥러닝 모델의 계층구조는 복잡한 형태를 갖는 경향을 보인다. 이러한 딥러닝 모델의 계층구조는 한눈에 파악하기 힘들고 재사용하기 힘들다는 어려움이 있다. 따라서 이 논문에서는 딥러닝 모델의 재사용과 가시화를 위해 복잡한 구조의 딥러닝 모델로부터 반복되는 계층을 추출하고, 모듈화하는 방법을 제안한다. 제안한 방법은 딥러닝 모델을 그래프 구조로 표현하고, 패턴 추출 과정에서 부분 그래프 마이닝 기법과 부분 패턴 마이닝 기을 단계적으로 거쳐 반복되는 패턴을 추출한다. 추가적으로, GUI 기반 에디터를 구현하여 복잡한 딥러닝 모델의 구조를 추상화함으로써 모델의 계층구조를 단순하게 표현할 수 있을 뿐만 아니라 기존 딥러닝 모듈의 효율적인 재사용이 가능하도록 지원한다. Recent deep learning models tend to have a complex architecture. But it is hard for developers to grasp such hierarchical structure of the deep learning models and it is also difficult to reuse existing deep learning models. To solve these problems, we propose a method of extracting and modularizing repeated layers from a deep learning model for model reuse and visualization. Each repeating pattern is extracted by subgraph mining and frequent pattern mining. We also propose the GUI based editor which not only displays more simplified structure by abstract of original structure but also provides deep learning model reuse.

회귀분석과 딥러닝의 예측 정확성에 대한 비교 그리고 딥러닝 모델 최적화를 위한 기법들의 중요성에 대한 실증적 분석

조민호(Min-Ho Cho) 한국전자통신학회 2023 한국전자통신학회 논문지 Vol.18 No.2

인공지능 기법 중에서 딥러닝은 많은 곳에서 사용되어 효과가 입증된 모델이다. 하지만, 딥러닝 모델이 모든 곳에서 효과적으로 사용되는 것은 아니다. 이번 논문에서는 회귀분석과 딥러닝 모델의 비교를 통하여 딥러닝 모델이 가지는 한계점을 보여주고, 딥러닝 모델의 효과적인 사용을 위한 가이드를 제시하고자 한다. 추가로 딥러닝 모델의 최적화를 위해 사용되는 다양한 기법 중, 많이 사용되는 데이터 정규화와 데이터 셔플링 기법을 실제 데이터를 기반으로 비교 평가하여 딥러닝 모델의 정확성과 가치를 높이기 위한 기준을 제시하고자 한다. Among artificial intelligence techniques, deep learning is a model that has been used in many places and has proven its effectiveness. However, deep learning models are not used effectively in everywhere. In this paper, we will show the limitations of deep learning models through comparison of regression analysis and deep learning models, and present a guide for effective use of deep learning models. In addition, among various techniques used for optimization of deep learning models, data normalization and data shuffling techniques, which are widely used, are compared and evaluated based on actual data to provide guidelines for increasing the accuracy and value of deep learning models.

확장형 소스코드 템플릿을 활용한 딥러닝 실습

이승호 한국정보통신학회 2023 한국정보통신학회논문지 Vol.27 No.11

딥러닝(deep learning)은 머신러닝(machine learning)의 하위 카테고리로 인공신경망 방법론 중 하나이다. 새로운 데이터의 생성과 컴퓨터의 고속처리 능력 향상으로 딥러닝 기술은 더욱 주목받게 되었고 특히 비정형 데이터 처리 및 분석에 뛰어난 능력을 보여왔다. 다양한 영역에서 데이터 분석에 대한 수요가 증가하면서 딥러닝 교육에 대한 요구가 높아지고 있다. 그럼에도 불구하고 딥러닝 기술은 기법이 다양하며 프로그래밍 언어로 구현된 특성상 딥러닝 교육이 단기간에 체계적으로 이뤄지기 어려운 실정이다. 본 논문에서는 소스코드 템플릿을 사용하여 딥러닝 모델의 가장 밑바탕이 되는 완전계층(fully connected layers)으로 구성된 신경망에서 시작하여 가장 널리 사용되고 있는 딥러닝 기법 중 하나인 컨볼루션 신경망까지 확장성 있게 다루는 딥러닝 실습 교육 방법을 제안하고자 한다. 실제 강의운영 사례를 바탕으로 차시별 교육 내용 및 소스코드 템플릿을 본 논문에서 제공한다. As a subcategory of machine learning, deep learning is one of the artificial neural network methods. Thanks togeneration of new kinds of data and significant improvement in the data processing speed, deep learning technologieshave attracted considerable attention. Because data in various domains need to be processed and analyzed, the need fordeep learning education targeting is also increasing. However, it is difficult to provide them with systematic deeplearning education in a short period of time because there have been many algorithms and they are implemented in aprogramming language. This paper suggests an extendable pratice method which makes use of core sourse codetemplates that cover from simple neural network (NN) consisting of fully connected layers to convolutional neuralnetwork (CNN). Based on real cases of class operation, the lecture content per class session and the source codetemplates are provided in this paper.