Big Data Smoothing and Outlier Removal for Patent Big Data Analysis

JunHyeog Choi(최준혁),Sunghae Jun(전성해) 한국컴퓨터정보학회 2016 韓國컴퓨터情報學會論文誌 Vol.21 No.8

In general statistical analysis, we need to make a normal assumption. If this assumption is not satisfied, we cannot expect a good result of statistical data analysis. Most of statistical methods processing the outlier and noise also need to the assumption. But the assumption is not satisfied in big data because of its large volume and heterogeneity. So we propose a methodology based on box-plot and data smoothing for controling outlier and noise in big data analysis. The proposed methodology is not dependent upon the normal assumption. In addition, we select patent documents as target domain of big data because patent big data analysis is a important issue in management of technology. We analyze patent documents using big data learning methods for technology analysis. The collected patent data from patent databases on the world are preprocessed and analyzed by text mining and statistics. But the most researches about patent big data analysis did not consider the outlier and noise problem. This problem decreases the accuracy of prediction and increases the variance of parameter estimation. In this paper, we check the existence of the outlier and noise in patent big data. To know whether the outlier is or not in the patent big data, we use box-plot and smoothing visualization. We use the patent documents related to three dimensional printing technology to illustrate how the proposed methodology can be used for finding the existence of noise in the searched patent big data.

베이지안 텍스트 마이닝과 시각화를 이용한 특허 빅데이터 분석

전성해(Sunghae Jun) 한국지능시스템학회 2020 한국지능시스템학회논문지 Vol.30 No.2

데이터의 크기와 다양화는 빅데이터의 대표적인 특성이다. 관계형 데이터베이스에 저장된 대용량 데이터에 비하여 빅데이터는 문자, 숫자, 그림 등 다양한 데이터 원천이 비정형 형태로 저장되어 있다. 특허문서도 매우 방대한 크기를 가지며 하나의 특허문서는 발명자의 이름, 출원 날짜, 발명의 명칭, 기술 요약, 청구항, 도면 등 다양한 형태의 데이터로 이루어진다. 발명자에게 일정기간 동안 등록된 특허기술에 대한 배타적인 권리를 인정하는 특허제도의 특성으로 인하여 개발된 기술에 대한 많은 정보는 특허문서에 포함되어 있다. 따라서 특허 빅데이터 분석은 기술을 이해하기 위하여 반드시 필요한 과정이다. 본 연구에서는 특허 빅데이터의 분석을 위한 통합적 분석 방법을 제안한다. 제안 방법은 텍스트 마이닝과 베이지안 추론을 결합하여 특허 빅데이터의 전처리 과정부터 분석 및 활용까지의 전 과정에 대한 방법을 연구한다. 베이지안 시각화 및 베이지안 회귀분석을 결합하여 새로운 특허 빅데이터를 분석한다. 제안 방법의 성능평가를 위하여 본 연구에서는 인공지능 기술 관련 특허문서를 수집하고 분석에 이용한다. The volume and variety are typical characteristics of big data. Compared to the large amount of data stored in relational databases, big data is stored by various data types such as texts, numbers, and pictures with unstructured data form. Patent document data also has a very large size and a patent document consists of various types of data such as the inventor"s name, application date, name of the invention, technical summary, claims, and drawings. Due to the nature of the patent system which grants the inventors exclusive rights to patent technology registered for a certain period of time, much information about the developed technology is contained in the patent document. Therefore, patent big data analysis is an essential process for understanding technology. This study proposes an integrated analysis method for analyzing patent big data. The proposed method combines text mining and Bayesian inference to study the whole process from preprocessing to analysis and utilization of patent big data. We analyze the patent big data by newly combining Bayesian visualization and Bayesian regression. To show the performance evaluation of the proposed method, we collects patent documents related to artificial intelligence technology and uses them for analysis.

빅데이터 기반의 특허 분석 시스템의 설계 및 구현

신정훈 한국정보과학회 2017 데이타베이스 연구 Vol.33 No.1

Today, the interest in intellectual property rights is growing, and the importance of patents, which is one of the intellectual property rights, is emphasized. In the case of a patent, it contains a lot of technical information like a paper, and it is possible to obtain useful information such as prior research and technology trends through patent analysis. However, patents have a large amount of data and it is difficult to collect patent data for the entire world that is continuously generated. In addition, there is a problem that patent data is difficult to process and analyze because the format of patent data provided for each country is different, and semi-structured and unstructured data are included. Therefore, in this paper, a big data-based patent analysis system is proposed to analyze patent data efficiently. The proposed system makes different formats of patent data into a common format by utilizing a big data technology and provides an environment to easily analyze the patent data. 오늘날 지식재산권에 대한 관심이 증가하고 있으며, 특히 대표적인 지식재산권 중 하나인 특허에 대한 중요성이 강조되고 있다. 특허의 경우 논문과 같이 전문적인 정보를 많이 포함하고 있어 특허 분석을 통해 선행 연구와 기술 동향과 같은 유용한 정보를 얻을 수 있다. 하지만 특허는 데이터양도 많고 지속해서 생성되는 전 세계 특허 데이터에 대한 수집이 어렵다. 또한, 국가별로 제공하는 특허 데이터의 형식이 다르고 반정형(Semi-Structured)이나 비정형(Unstructured)의 데이터를 포함하고 있어 특허 데이터 처리 및 분석이 어렵다는 문제점이 있다. 이와 같은 문제점을 해결하기 위하여, 본 논문에서는 빅데이터 기술을 활용하여 특허 데이터를 수집하고 각기 다른 형식의 특허 데이터를 공통된 형식으로 변환함으로써 특허 데이터 분석을 효율적으로 할 수 있는 빅데이터 기반의 특허 분석 시스템을 제안한다.

키워드 네트워크 분석을 이용한 빅데이터 특허 분석

최주철 한국융합학회 2018 한국융합학회논문지 Vol.9 No.2

빅데이터의 활용은 비즈니스 가치를 높이는데 필수요소가 됨에 따라 빅데이터 시장의 규모가 점점 더 커지고 있다. 이에 따라 빅데이터 시장을 선점하기 위해서는 경쟁력 있는 특허를 선점하는 것이 중요하다. 본 연구에서는 빅데이터 특허의 동향을 분석하기 위하여 영문 키워드 네트워크 기반 특허분석을 수행하였다. 분석 절차는 빅데이터 수집 및 전처리, 네트워크 구성, 네트워크 분석으로 구성되어 있다. 연구 결과는 다음과 같다. 빅데이터 특허 대다수는 예측 등을 위한 데이터 처리를 위한 특허이며, analysis, process, information, data, prediction, server, service, construction 키워드가 연결정도 중심성 및 매개 중심성이 높았다. 본 연구의 분석결과는 향후 빅데이터 특허 출원 시 참고할 수 있는 유용한 정보로 활용될 수 있다. As the use of big data is necessary for increasing business value, the size of the big data market is getting bigger. Accordingly, it is important to apply competitive patents in order to gain the big data market. In this study, we conducted the patent analysis based keyword network to analyze the trend of big data patents. The analysis procedure consists of big data collection and preprocessing, network construction, and network analysis. The results of the study are as follows. Most of big data patents are related to data processing and analysis, and the keywords with high degree centrality and between centrality are “analysis”, “process”, “information”, “data”, “prediction”, “server”, “service”, and “construction”. we expect that the results of this study will offer useful information in applying big data patent.

특허분석을 위한 빅 데이터학습

전성해(Sunghae Jun) 한국지능시스템학회 2013 한국지능시스템학회논문지 Vol.23 No.5

빅 데이터는 여러 분야에서 다양한 개념으로 사용된다. 예를 들어, 컴퓨터학과 사회학에서 빅 데이터에 대한 접근방법에 차이가 있지만, 데이터분석 관점에서는 공통적인 부분을 갖는다. 즉, 공학이든 사회과학이든 빅 데이터에 대한 분석은 반드시 필요하다. 통계학과 기계학습은 빅 데이터의 분석을 위한 대표적인 분석도구이다. 본 논문에서는 빅 데이터분석을 위한 학습도구에 대하여 알아보고 검색된 빅 데이터 원천에서부터 분석을 거쳐 최종적으로 분석결과를 사용하는 전체과정에 대하여 효율적인 빅 데이터학습 절차에 대하여 제안한다. 특히, 대표적인 빅 데이터 구조를 갖고 있는 특허문서에 대하여 빅 데이터학습을 적용하여 특허분석을 수행하고 이 결과를 기술예측에 적용하는 방법에 대하여 연구한다. 제안방법에 대한 실제적용을 위하여 전 세계 특허청으로부터 빅 데이터 관련 특허문서를 검색하여 텍스트 마이닝의 전처리와 통계학의 다중선형회귀분석을 이용한 구체적인 빅 데이터학습에 대한 사례연구를 수행하였다. Big data issue has been considered in diverse fields. Also, big data learning has been required in all areas such as engineering and social science. Statistics and machine learning algorithms are representative tools for big data learning. In this paper, we study learning tools for big data and propose an efficient methodology for big data learning via legacy data to practical application. We apply our big data learning to patent analysis, because patent is one of big data. Also, we use patent analysis result for technology forecasting. To illustrate how the proposed methodology could be applied in real domain, we will retrieve patents related to big data from patent databases in the world. Using searched patent data, we perform a case study by text mining preprocessing and multiple linear regression of statistics.

특허분석을 통한 빅 데이터의 시각화 기술 분석

노승민(Seungmin Rho),최용수(YongSoo Choi) 대한전자공학회 2014 전자공학회논문지 Vol.51 No.7

현대 데이터 컴퓨팅의 발전은 그래픽 기능의 향상을 이끌고 데이터 디스플레이를 위한 많은 가능성을 가지고 있다. 시각화는 방대한 양의 데이터에서 중요한 정보를 나타내줄 뿐만 아니라 복잡한 분석 방식에 효율적임이 증명되었다. 빅 데이터 분석과 발견은 컴퓨터 그래픽과 시각화 커뮤니티에서 새로운 연구 기회로 제시되고 있다. 본 논문에서는 주요 시장 국의 특허 분석을 통해 빅 데이터의 시각화 기술 개발 동향을 살펴보고자 한다. 특히, 2012년 11월을 기준으로 4개국에 출원 및 등록되어 있는 160건을 대상으로 분석을 진행하였다. 분석결과에 따르면 텍스트 클러스터링, 2D 시각화 분야의 기술개발이 중요하며 이에 대한 시급한 개발을 지향할 필요가 있다. 특히, 국내에서 다양한 스마트 디바이스의 증가와 소셜 네트워크 사용 증대로 인해 빅 데이터 입체 시각화 기술 개발이 매우 시급함을 알 수 있다. Modern data computing developments have led to big improvements in graphic capabilities and there are many new possibilities for data displays. The visualization has proven effective for not only presenting essential information in vast amounts of data but also driving complex analyses. Big-data analytics and discovery present new research opportunities to the computer graphics and visualization community. In this paper, we discuss the patent analysis of big data visualization technology development in major countries. Especially, we analyzed 160 patent applications and registered patents in four countries on November 2012. According to the result of analysis provided by this paper, the text clustering analysis and 2D visualization are important and urgent development is needed to be oriented. In particular, due to the increase of use of smart devices and social networks in domestic, the development of three-dimensional visualization for Big Data can be seen very urgent.

AI - 지적재산권의 관점에서

우라옥(Raok Woo) 서울대학교 법학평론 편집위원회 2021 법학평론 Vol.11 No.-

자동화된 알고리즘에 의하여 타인의 권리나 의무에 영향을 미치는 컴퓨터 기술을 포함한 AI는 여러 분야에 영향을 미치지만, 특히 지적재산권법 영역에서 여러 쟁점을 안겨주고 있다. 빅 데이터의 출현은 개인정보의 침해라는 우려와 위험을 야기하였으며, 자동검색엔진기술은 타인의 상표를 검색어로 사용하는 경쟁업자의 의도와 겹쳐, 키워드 검색광고로 인한 법률적 문제를 발생시키고 있다. 그리고 기술적 보호조치에 의한 저작권자의 보호는 한편으로는 인터넷 사용자나 고객들의 공정이용에 대한 제한으로 다가온다. 나아가 AI에 의하여 생성된 저작물, 발명 등이 누구에게 귀속된다고 볼 것인지, 애초에 창작물·발명의 개념 속에 포함된다고 볼 것인지에 대한 문제도 제기된다. 먼저, 빅 데이터의 경우는 빅 데이터의 형태에 따라 기존의 법적 보호의 틀에서 영업비밀, 데이터베이스 또는 부정경쟁방지법상 ‘성과 등’으로 보호하는 것이 타당하다. 다만, 더 중요한 것은 빅 데이터의 홍수 속에 침해당하는 개인정보에 대한 보호방안을 마련하는 것이라고 할 것이다. GDPR(유럽연합일반개인정보보호규정)의 개인정보 삭제청구권, 프로파일링을 비롯한 자동의사결정의 대상이 되지 않을 권리나 개정 개인정보 보호법상 동일, 유사한 규정의 적극적인 활용이 필요하다. 그리고 키워드 검색광고의 경우, 경쟁업자의 사용이 상표권 침해 또는 부정경쟁행위에 해당하는지에 대해서는 대법원 판례가 나왔으나, 검색엔진 업체의 사용의 경우에는 아직 대법원 판결이 없다. 또한 저작권법상 AI생성저작물의 저작권 이 누구에게 귀속될 것인지, 특허법상 AI생성발명의 발명성이 인정될 것인지 여부에 관하여는 아직 명확한 법적 판단은 없는 상태이나, 인간의 기여 부분을 중시하는 방향으로 나아가는 것이 타당하다고 본다. 나아가, 인터넷 플랫폼의 자동알고리즘 적용에 따른 공정사용이 침해당하는 부분에 있어서는 자동소프트웨어의 알고리즘에 대한 규제 또는 절차적 보완이 필요하다. 마지막으로, 암호는 모든 인터넷거래의 기본이 되는 수학이며 기술이라 할 수 있는데, 주로 특허에 의해 보호되고 있다. 비록 암호에 관하여는 참고문헌의 부족으로 본고에서 자세히 기술하지 못하였으나, 다음 기회에 보다 심도 있게 다루어 해킹사고 등 개인정보침해가 발생할 때 참고할 만한 자료를 제공하여 학계에 미력하게나마 기여할 수 있었으면 한다. AI, including computer technology that affects the rights or obligations of others by automated algorithms, influences several fields, but it also raises several issues, especially in the field of intellectual property law. The emergence of big data has raised concerns and risks of infringement to personal information. The automatic search engine technology has also created legal problems due to keyword search advertisements overlapping with the intentions of competitors who use trademarks of others as search words. The protection of copyright holders by technical protection measures, on the one hand, comes to limit the fair use of the Internet users and customers. Furthermore, the question of who will have ownership of works and inventions created by AI and whether they will be considered to be included in the concept of creative works and inventions are also raised. First, in the case of big data, it is reasonable to protect it within the existing legal protection framework as trade secrets, databases, or “the outcomes, etc.” under the Unfair Competition Prevention Act, depending on the category of big data. However, more importantly, it will be required to prepare measures to protect personal information that is infringed in the flood of big data. It is necessary to implement the same and similar provisions as right of erasure of personal data and right not to be subject to an automated decision-making, including profiling under the GDPR(General Data Protection Regulation) or the revised Personal Information Protection Act. For keyword search ads, a Supreme Court precedent came up as to whether the competitors’ use constitutes trademark infringement or unfair competition, but there is no Supreme Court decision or precedent in the case of using search engine companies. In addition, there is no clear legal judgment as to whom the copyright of AI-generated works belongs under the Copyright Act or whether or not the patentability of AI-generated inventions is recognized under the Patent Act, but it seems reasonable to move toward putting emphasis on human contribution. Furthermore, where “fair use” is violated by the employment of the automatic algorithm of the Internet platform, regulation or procedural supplementation of the algorithm of the automatic software is required. Lastly, concerning cryptography, it is the mathematics and technology that are the basis of every Internet transactions. It is mainly protected by patents, but it is regrettable that this paper fails to discuss in detail due to the lack of references. I hope to conduct further studies in more detail and provide materials that can be referenced when personal information infringement such as a hacking accident occurs.

토픽 모형과 ChatGPT를 활용한 스마트팩토리 연관 특허 빅데이터 분석에 관한 연구

김상국,윤민영,권태훈,임정선 한국산업경영시스템학회 2023 한국산업경영시스템학회지 Vol.46 No.4

In this study, we propose a novel approach to analyze big data related to patents in the field of smart factories, utilizing the Latent Dirichlet Allocation (LDA) topic modeling method and the generative artificial intelligence technology, ChatGPT. Our method includes extracting valuable insights from a large data-set of associated patents using LDA to identify latent topics and their corresponding patent documents. Additionally, we validate the suitability of the topics generated using generative AI technology and review the results with domain experts. We also employ the powerful big data analysis tool, KNIME, to preprocess and visualize the patent data, facilitating a better understanding of the global patent landscape and enabling a comparative analysis with the domestic patent environment. In order to explore quantitative and qualitative comparative advantages at this juncture, we have selected six indicators for conducting a quantitative analysis. Consequently, our approach allows us to explore the distinctive characteristics and investment directions of individual countries in the context of research and development and commercialization, based on a global-scale patent analysis in the field of smart factories. We anticipate that our findings, based on the analysis of global patent data in the field of smart factories, will serve as vital guidance for determining individual countries' directions in research and development investment. Furthermore, we propose anovel utilization of GhatGPT as a tool for validating the suitability of selected topics for policy makers who must choose topics across various scientific and technological domains.

Text mining geo-visualization of patent documents on geo-spatial big-data industry

Wonwook Choi,Jongwook Ahn,Dong Bin Shin 대한공간정보학회 2019 Spatial Information Research Vol.27 No.1

This study attempts to establish prototypeleveled patent fusion data based on collecting structured and unstructured geo-spatial big data (GSBD) patent information, to distinguish GSBD technical ecosystems into their spatial and non-spatial aspects, and to propose a method to analyze visualizations in a multi-dimensional way. Spatially, we visualize the patent citation data among applicants for a patent at local and national levels, and implement a visualization analysis of the competitive relations for the locational traits of applicants for patent and technology innovation by comparing technology dependence and technology impacts in GSBD technology. Non-spatially, we analyzed the trend of time series of GSBD technology innovation activities based on Industry Classification and technology keywords. We establish the related networks among industry classification, IPC patent classification and technology keywords and implement a visualization analysis of convergence structure in element technologies through graph network analysis and Venn diagram analysis. We extracted issues related with the establishment of patent fusion data and interpretation of visualization analysis through the examination of research methodology and analysis results and discussed future research tasks to solve these problems.

지도학습 기반의 차원축소 모델을 이용한 특허 빅데이터 예측에 관한 연구

이주현,이준석,강지호,박상성,장동식,홍성욱,김선영 (사)디지털산업정보학회 2019 디지털산업정보학회논문지 Vol.15 No.4

Patents are system to promote the development of industry by disclosing technology. The importance of recent patent is being emphasized. For this reason, companies apply for many patents. And they analyze the patent. Patent analysis helps to protect and foster their technology. Previously this method has been carried out by experts. Expert-based patent analysis, however, has the disadvantage of being time-consuming and expensive. Consequently, we try to solve this problems by developing prediction model. Therefore, this paper proposes a data-based patent analysis method using quantitative indicator and textual information. We confirmed the practical applicability of the proposed method through 1,831 autonomous vehicle patents. As a result, it was possible to confirmed that safety and lane detection related technologies are important.