빅데이터 기반 해운ㆍ물류 정보시스템 개선방안 : 비정형화 데이터의 도입을 중심으로

박영현,정준식 한국해양비즈니스학회 2021 해양비즈니스 Vol.- No.50

The data opportunities of big data service finance are summarized into three main categories. The anomaly forecast scenario, the future scenario, and the current forecast scenario have reached that point, this scenario has not been successful, has not been completed, has reached this point. The higher management has it, and there is a possibility of success in systems thinking, marketing strategies, etc. Next, future scenarios will be able to cope when they are no longer able to cope. So far, more stages have been reached and even more levels have been reached. Domestic shipping companies have been implementing automation, remote control, real-time cargo management, and ship location tracking while maintaining the existing IT business system. Data sharing and accessibility are still poor, and there is a shortage of related experts. Although the domestic shipping industry is building an ICT system, it is maintaining the system of the past ERP level, which does not reflect current technological trends. In the shipping sector, the application of technology is delayed compared to onshore manufacturing facilities, and there is still a perception that the benefits or added value of the introduction of ICT technology in shipping are not of much help to the factors of increase in volume and shippers. The use of big data can be utilized as a decision-making and solution tool for users based on prediction and analysis of various scenarios. It is believed to enable the transformation of Accordingly, it will be possible to utilize big data in more diverse forms in the shipping and logistics field, and it is believed that unstructured data will play a major role in interpreting and explaining existing structured data.

빅데이터 활용한 시계열 데이터 텍스트 마이닝 및 시각화

남수태,신성윤,진찬용 한국정보통신학회 2023 한국정보통신학회논문지 Vol.27 No.8

Newly, big data utilization has been widely interested in a wide variety of industrial fields. Big data is the art of extracting value from volume sets of structured and unstructured data, beyond the capabilities of traditional database management tools, and analyzing the results. Big data is often characterized by the (3V) volume, velocity, and variety. Using the R language, a big data analysis tool, you can express various analysis results through various visualization functions using pre-processed unstructured data. The data used in this research was a comparative analysis of 104 papers from January to May 2021 and 108 papers from September 2022 to January 2023 among the papers published in the Korea Institute of Information and Communication Engineering. The analysis showed that the highest frequency was Data (2,038). Therefore, we discuss the limitations and practical implications of the study based on the analysis results. 최근 빅데이터 활용은 매우 다양한 산업 분야에서 광범위하게 관심을 가지고 있다. 빅데이터는 기존 데이터베이스 관리 도구의 능력을 넘어서 대량의 정형, 비정형 데이터 집합으로부터 가치를 추출하고 결과를 분석하는 기술이다. 빅데이터는 보통 양과 속도 그리고 종류의 첫 글자를 따서 3V로 그 특징을 정의하기도 한다. 빅데이터 분석 도구인 R 언어를 이용하여 전-처리된 비정형 데이터를 이용하여 각종 시각화 함수를 통해 분석결과를 다양하게 표현할 수 있다. 본 연구에서 사용된 데이터는 한국정보통신학회 학회지 논문 중에서 2021년 01월호-05월호 논문 104편과 2022년 09월호-2023년 1월호 논문 108편을 대상으로 비교 분석하였다. 분석결과 가장 높은 빈도수 1위는 데이터(2,038)가 위치하였다. 따라서 분석결과를 기반하여 연구의 한계점 및 실무적 시사점을 논의하였다.

빅데이터 분석기법을 활용한 숙박업체 운영 개선 방안에 대한 연구

윤선희 국제문화기술진흥원 2021 The Journal of the Convergence on Culture Technolo Vol.7 No.4

빅데이터의 장점은 인터넷상의 대량의 데이터를 수집하여 가치 있는 데이터를 정제하여 사용하는 것이다. 즉, 비정형 데이터를 사용자가 필요한 관점에서 분석하여 활용할 수 있도록 가공하는 것이다. 본 논문은 실생활에 밀접하 게 적용되어 마케팅에 활용할 수 있는 비정형 데이터를 기반으로 하며 실험 대상은 서울에서 한 시간 거리의 수도권 에 있는 숙박업체를 모델로 하여 빅데이터를 사용자가 필요한 관점에서 분석하여 매출 증대, 비용 감소 및 수익률 증 가 등의 효과를 나타낸 실험으로 소셜네트워크 등의 빅데이터를 분석하는 과정에서 입력되는 데이터가 숙박 정보로 써 활용할 수 있는 데이터인지를 판별하여 필터링하는 시스템을 제안하여 숙박률의 향상 및 공실률을 감소시킬 수 있는 마케팅 전략을 구축하고자 한다. The advantage of big data is to collect a large amount of data on the Internet and refine and use valuable data. That is, the unstructured data is processed so that the user can analyze and utilize it from a necessary point of view. This paper is a relatively small project and is based on unstructured data that can be closely applied to real life and used for marketing. The subjects of the experiment were modeled on lodging companies in the Seoul metropolitan area an hour away from Seoul, and analyzed for the increase in lodging rates before and after marketing using big data. As an experiment that shows the effects of increasing sales, reducing costs, and increasing returns by users, we propose a system to determine and filter whether data input in the process of analyzing big data such as social networks can be used as accommodation-related information.

트위터 빅데이터 분석을 통한 창의적 교육의 성과요인 분석

주길홍 한국창의정보문화학회 2019 창의정보문화연구 Vol.5 No.3

The wave of the information age gradually accelerates, and fusion analysis solutions that can utilize these knowledge data according to accumulation of various forms of big data such as large capacity texts, sounds, movies and the like are increasing, Reduction in the cost of storing data accordingly, development of social network service (SNS), etc. resulted in quantitative qualitative expansion of data. Such a situation makes possible utilization of data which was not trying to be existing, and the potential value and influence of the data are increasing. Research is being actively made to present future-oriented education systems by applying these fusion analysis systems to the improvement of the educational system. In this research, we conducted a big data analysis on Twitter, analyzed the natural language of the data and frequency analysis of the word, quantitative measure of how domestic windows education problems and outcomes were done in it as a solution. 정보화 시대의 물결이 점진적으로 가속화를 이루며 대용량 텍스트 및 음성, 동영상 등 다양한 형태의 빅데이터가 축적됨에 따라 이러한 지식데이터를 활용할 수 있는 융합 분석 솔루션이 증가하고 있으며, 이에 따라 데이터 저장 비용의 감소, 소셜 네트워크 서비스(SNS)의 발달 등은 데이터의 양적․질적 팽창을 가져왔다. 이러한 상황은 기존에 시도하지 못했던 데이터의 활용을 가능하게 만들고, 데이터의 잠재적 가치와 영향력이 높아지고 있다. 이러한 융합 분석 체계를 교육제도 개선에 응용하여 미래지향적 교육 시스템을 제시하는 연구들이 활발히 진행되고 있다. 본 연구는 트위터를 대상으로 빅데이터 분석을 수행하여 데이터에 대한 자연어 처리 및 단어의 빈도수 분석을 통한 국내의 창의교육에 대한 이슈와 성과에 대한 정량적인 척도를 솔루션으로 제시하였다.

빅데이터의 이용활성화를 위한 저작권법적 고찰 - 데이터 마이닝 등을 중심으로 -

최종모 ( Choi Jongmo ) 중앙대학교 문화미디어엔터테인먼트법연구소 2018 문화.미디어.엔터테인먼트 법 Vol.12 No.2

제4차 산업혁명은 빅데이터 및 인공지능 등을 원동력으로 삼아 발전되며, 인공지능은 빅데이터와 데이터 마이닝을 통하여 발전된다. 데이터는 정형데이터와 비정형데이터로 나눌 수 있으며, 특히 비정형데이터의 경우 저작권법적 쟁점이 발생한다. 데이터 마이닝시 일시적 복제 등이 발생한다. 또한 데이터 마이닝이 현행저작권법 저작재산군재한사유로서 별도의 규정으로 규정되어 있지 않다. 그러나 데이터 마이닝이 비영리를 목적으로 하는 경우에는 저작권법 제35조의3에 따른 공정이용에 해당될 여지가 높다고 판단되고, 영리목적인 경우 그러하지 않다. 이러한 쟁점에 대한 해결방안으로서 영리목적을 포함한 데이터 마이닝을 저작재산권제한사유로 신설하는 것을 제시한다. 비영리목적인 데이터 마이닝만을 저작재산권제한사유로 신설하는 경우 데이터 마이닝 관련 산업을 육성 및 촉진하는데 장애요인이 될 것으로 판단된다. 다만 저작재산권제한사유로서 데이터 마이닝에 대한 규정의 신설로 인하여 발생하는 저작재산권자의 재산권의 침해는 ‘정보 분석(데이터 마이닝)의 목적을 위한 보상금’제도를 신설함으로써 보호되어야 한다. 이러한 데이터 마이닝이 저작재산권제한사유로서 신설되면, 일시적 복재의 경우 합법적인 저작물을 이용한 경우에는 저작권침해에 해당되지 않는다. 수집데이터로서 인공지능 작성물을 활용한 경우 현행 저작권법상 인공지능 작성물을 저작권법상 저작물에 해당되지는 않으나, 인공지능 작성물에 대한 저작권법상 보호에 대한 논의가 제기될 것으로 판단된다. 또한 인공지능 작성물을 보호하는 경우 인간의 창작물과 구별될 필요가 있다. The Fourth Industrial Revolution will be developed with Big data and Artificial Intelligence as the driving force. Artificial Intelligence also is developed through big data and data mining. The Data can be divided into structured data and unstructured data. The unstructured data has copyright legal issues. Moreover a temporary reproduction at data mining on unstructured data occurs. In addition, data mining falls not currently the limitation to protection of economic rights. However, if data mining is for non-profit purposes, it consider highly as applicable to fair use pursuant to Article 35-3 of the Copyright Act, but it is not for profit-making purposes. As a solution to these issues, the data mining including for-profit purposes is proposed as the limitation to protection of economic rights. If data mining, which is a nonprofit purpose, falls only under the limitation to protection of economic rights, it will be a Hurdle to fostering and promoting the industry related to data mining. However, it arise infringement on the property right of the author rights holder, if data mining, which is a profit purpose, falls under the limitation to protection of economic rights. According, the of the property right in the author rights holder should be protected by adopting of the “compensation for the purpose of information analysis (data mining)”system. In addition, in the case of a temporary reproduction, it does not constitute a copyright infringement if a legitimate work is used. If it is used a work written by Artificial Intelligence as a basic data, it is need to discuss that the work written by Artificial Intelligence should be protected by Copyright Law. although it is not currently under Copyright Law. The work written by Artificial Intelligence should be also protected different from a work written by Human.

Extracting the Sentiment Score of Customer Review from Unstructured Big Data Using Map Reduce Algorithm

Syed Imtiyaz Hassan 보안공학연구지원센터 2016 International Journal of Database Theory and Appli Vol.9 No.12

Big Data is a term used to identify the datasets that due to their large size, is very difficult to manage with traditional techniques. This data may be in the order of magnitude of petabytes. It can be found easily on web, especially on social media in the form of customer blogs, reviews and comments. Generally it is unstructured data or semi-structured data. One can use this big data to generate values by calculating sentiment score. Map Reduce is one of the most popular algorithm in Hadoop environment to perform such task. The objective of present research is to automate the process of extracting sentiments expressed about specific features of a product. For this purpose three datasets generated by Amazon for different types of electronics product reviews has been used. The data sets used consists of reviews of the products Nikon Coolpix 4300 Camera, Nokia 6601 mobile and the Canon G3camera. Map Reduce algorithm on Hadoop environment that is considered faster, reliable and fault-tolerant for processing big amounts of data in-parallel on large clusters, has been used to extract sentiment score.

공간정보 빅 데이터의 지도화와 공간적 분포 특성에 관한 연구 - 서울시 지역의 트윗 데이터를 사례로 -

구자용 국토지리학회 2015 국토지리학회지 Vol.49 No.3

Many people utilize social network services with the increased use of smart phone recently, which can result in producing the various types of spatial big data. In addition, it has been possible to obtain useful information associated with personal favors and interests through the analysis of the data, particular in terms of geographic space. This research aims at investigating the spatial distribution and localized characteristics of data that has been generated by Twitter users in Seoul. To do so, it applied the techniques of data mining and spatial analysis to twitted big data. The study discovered that the spatial frequency of twitted data is proportional to the size of floating population and the degree of adjacency to roads. It also found that Twitter users tend to publish the information of environment and place around their location, which is anticipated to have possible relation between the location and information of twitted data. This research could confirm the potential of identifying spatial distribution of characteristics and phenomenon inherent to geographic location through the analysis of spatial big data. 스마트폰이 대중화되고 소셜 네트워크가 활성화되면서 다양한 종류의 공간정보 빅 데이터가 형성되고 있으며, 이러한 공간정보 빅 데이터의 분석을 통하여 각 지역의 사람들이 가지고 있는 취향이나 관심 분야 등을 파악할 수 있게 되었다. 본 연구에서는 대표적인 공간정보 빅 데이터인 트윗 데이터를 GIS 데이터로 마이닝하고, 공간 분석 기법을 이용하여 트윗 데이터의 공간적 분포 특성과 내용의 지역적 특성을 파악하였다. 서울시 지역의 트윗 데이터를 이용하여 그 분포 특성을 파악하고, 지역별로 트윗 데이터 내용의 분포를 분석하였다. 트윗 데이터를 지도화하고 공간 분포를 파악한 결과, 트윗 데이터의 분포는 유동 인구가 많은 지역과 비례하며, 도로와 인접한 지역에서 주로 발생하였다. 또한 트윗 데이터의 내용을 분석한 결과, 트위터 사용자는 자신의 위치 주변의 환경이나 장소에 대한 언급을 많이 게시하고 있어, 트윗 데이터의 위치와 그 내용 간에는 어느 정도 관련이 있는 것으로 예측된다. 이와 같이 공간정보 빅 데이터의 분석을 통하여 그 지역에서 나타나는 현상이나 특성을 파악할 수 있다는 점을 확인하였다.

빅데이터 기반의 창의교육 성과요인에 따른 아젠다 예측 분석

서지훈,주길홍 한국창의정보문화학회 2018 창의정보문화연구 Vol.4 No.2

In this research, in order to derive a future-oriented educational policy agenda based on the result of the Korean-style window education policy steadily progressing within this research, we will use opinion policy mining analysis by using big data on educational policy accumulated so far went. Collect unstructured data related to window education in analytical methods, extract high-level education policy keywords based on related analysis, and forward the future window education development and outcome factors forward through extracted keywords and presented a methodology for improving the precision of opinion beforehand using opinion mining analysis methods in the field of future education. We expect that the results of this research will be one measure necessary for establishing reference points on educational policies in the middle and long-term domestic and overseas. 본 연구는 그 동안 꾸준히 진행되어온 한국형 창의교육 정책의 성과에 따른 미래지향적 교육정책 아젠다 도출을 위해 그동안 축적해온 교육정책 관련 빅데이터를 활용하여 오피니언마이닝 분석을 수행하였다. 분석방법으로 창의교육에 관련된 비정형 데이터를 수집하고 연관분석 기반의 상위 교육정책 키워드를 추출하였으며, 추출된 키워드를 통하여 앞으로 미래 창의교육의 발전과 성과요인에 높은 비중을 차지할 수 있는 교육 아젠다를 도출하였으며, 향후 교육 분야에서의 오피니언마이닝 분석 활용 기법과 감성사전의 정확도를 높이기 위한 방법론을 제시하였다. 본 연구 성과는 중·장기적 국내외 교육정책에 관한 기준점을 마련하는데 필요한 하나의 척도가 되리라 예상한다.

비정형 빅데이터 분석을 위한 프레임워크 개발

김재인(Jaein Kim),김낙우(Nakwoo Kim),유홍연(Hongyeon Yu),윤심권(Simkwun Yun),이병탁(Byoungtak Lee) ICT플랫폼학회 2013 ICT플랫폼학회 하계학술발표대회논문집 Vol.1 No.1

As diversification of ICT platforms and development of new ICT services and technologies, we are greeting a big data environment. It is important to analyze the big data involving various information of real world phenomenon. Especially, an analysis of unstructured big data such as images, movies and texts is very important work. In this paper, we have proposed a novel framework for a real time analysis about unstructured big data. The proposed framework consists of pre-processor module for unstructured data, CEP engine and management processor, in addition it provides interfaces to manage real time analysis. We have implemented a demonstration system and applied proposed framework. Through the demonstration, we have confirmed the effectiveness of the proposed framework.

Irregular Bigdata Analysis and Considerations for Civil Complaint Based on Design Thinking

Tae-Hyung Kim,Byung-Jae Park,Eung-Kyo Suh 한국유통과학회 2018 The Journal of Industrial Distribution & Business( Vol.9 No.8

Purpose - Civil affairs are increasing in various forms, but civil servants who are able to handle them want to reduce the complaints and provide keywords that will help in the future due to their lack of time. While various ideas are presented and implemented as policies in solving civil affairs, there are many cases that are not policies that people can sympathize with. Therefore, it is necessary to analyze the complaints accurately and to present correct solutions to the analyzed civil complaint data. Research design, data, and methodology - We analyzed the complaints data for the last three years and found out how to solve the problems of Yongin City and alleviate the burdens of civil servants. To do this, the Hadoop platform and Design Thinking process were reviewed, and proposed a new process to fuse it. The big data analysis stage focuses on civil complaints - Civil data extraction - Civil data analysis - Categorization of the year by keywords analyzing them and the needs of citizens were identified. In the forecast analysis for deriving insights, - The case of innovation case study - Idea derivation - Idea evaluation - Prototyping - Case analysis stage used. Results - Through this, a creative idea of providing free transportation cards to solve the major issues of construction, apartment, installation, and vehicle problems was discovered. There is a specific problem of how to provide these services to certain areas, but there is a pressing need for a policy that can contribute as much as it can to the citizens who are suffering from various problems at this moment. Conclusions - In the past, there were many cases in which free traffic cards were issued mainly to the elderly or disabled. In other countries, foreign residents of other area visit the areas for accommodation, and may give out free transportation cards as well. In this case, the local government will be able to set up a framework to present with a win-win scenario in various ways. It is necessary to reorganize the process in future studies so that the actual solution will be adopted, reduce civil complaints, help establish policies in the future, and be applied in other cities as well.