빅데이터시대의 데이터사이언스와 미디어

온병원 한국언론학회 2015 한국언론학회 학술대회 발표논문집 Vol.2015 No.05

Link Structure based Community Detection 알고리즘의 제안과 소셜 네트워크 분석 및 비주얼라이제이션을 위한 사례 연구

온병원(Byung-Won On),이인규(Ingyu Lee),이만재(Manjai Lee) 한국HCI학회 2012 한국HCI학회 학술대회 Vol.2012 No.1

커뮤니티 스트럭처는 소셜 네트워크를 이해하는 주요한 특성 가운데 하나이다. 커뮤니티 디텍션에 대한 최근 연구에 따르면 실제 소셜 네트워크에서 중첩된 커뮤니티들을 쉽게 발견할 수 있으며 특정 노드들은 하나 이상의 커뮤니티에 속한다. 기존의 방법론들이 중첩된 커뮤니티들을 효과적으로 찾지 못하는 동안 우리는 이 논문에서 링크 클러스터링 알고리즘을 이용한 새로운 커뮤니티 디텍션 알고리즘을 제안한다. 그리고 우리의 방법론을 소셜 네트워크에 적용함으로써 발견된 커뮤니티 스트럭처를 기반으로 하여 주어진 네트워크에 대한 분석 및 비주얼라이제이션을 시도한다. 이러한 사례 연구는 우리의 제안 방안이 우수함을 간접적으로 증명한다. Community structure is one of main characteristics in order to understand social networks. Recent studies on the community detection problem have shown the existence of overlapped communities around real social networks in which some nodes belong to multiple communities. While existing methods seldom find such overlapped communities, in this paper, we propose a novel community detection approach based on the link clustering algorithm. Furthermore, by applying our proposal to a real social network, we study the principles of the given social network by means of community structures found.

국내 휴대폰의 진화패턴 규명을 위한 텍스트 마이닝 방안 제안 및 사례 연구

온병원(Byung-Won On) 한국컴퓨터정보학회 2015 韓國컴퓨터情報學會論文誌 Vol.20 No.2

생물의 진화패턴과 원리는 지난 200년간 학문적인 영역에서 활발히 연구되어 왔으며 생명의 진화에 대한 체계적인 이론, 개념 및 방법론이 제시되었다. 그리고 진화경제학, 진화심리학, 진화언어학 등 다양한 분야에 적용되어 큰 연구 성과를 거두고 있다. 이와 더불어 진화생물학 논리를 인간이 만든 제품에 적용하려는 시도도 병행되어 왔다. 기존 연구들이 생물진화 논리를 인공물에 그대로 적용하거나 해당 분야 전문가의 직관에 근거하여 진화 모형을 구축하는 것이어서 진화 모형에 대한 일반화를 시키기에는 한계를 가진다. 또한 생물과 달리 인공물은 인간 의지의 상상력이 반영되기 때문에 생물진화 이론을 곧바로 적용할 수 없다고 알려져 왔다. 따라서 본 논문에서는 특정인의 주관에 벗어나 일반 대중들의 생각을 엿보고 이를 바탕으로 진화 모형을 구축하는 것을 목표로 한다. 이를 위해, 인공물을 계통적으로 분류할 수 있는 체계적인 틀을 제시하는 텍스트 마이닝 방안과 그 결과물을 효과적으로 보여줄 수 있는 시각화 방안을 차례로 제안한다. 특히, 제안방안을 바탕으로 최근 혁신의 아이콘으로 떠오르고 있는 휴대폰과 스마트폰에 대한 사례 연구를 집중적으로 수행한다. 지난 10년간 국내에서 출시된 휴대폰과 스마트폰에 대한 리뷰 포스트들을 수집하고 분석하여, 진화패턴을 발견하고 요약해서 보여주며 그 결과에 대해서 자세히 토의한다. 더욱이 이러한 작업은 소수의 전문가들이 방대한 문헌과 자료를 조사 정리하여, 오랜 시간에 걸쳐 진화계통도를 그리게 되는 매우 지난한 작업이다. 하지만 본 논문에서 제안한 방안은 반자동(semi-automatic) 마이닝 알고리즘으로 인간의 노력을 최소화할 수 있어 그 효용 가치가 높다. 이러한 연구를 통해 인간의 창의력과 상상력이 구현되는 방식을 이해하고 휴대폰의 미래 모습을 전망하는데 있어 유관기업들에게 큰 도움을 줄 것이다. Systematic theory, concepts, and methodology for the biological evolution have been developed while patterns and principles of the evolution have been actively studied in the past 200 years. Furthermore, they are applied to various fields such as evolutionary economics, evolutionary psychology, evolutionary linguistics, making significant progress in research. In addition, existing studies have applied main biological evolutionary models to artifacts although such methods do not fit to them. These models are also limited to generalize evolutionary patterns of artifacts because they are designed in terms of a subjective point of view of experts who know well about the artifacts. Unlike biological organisms, because artifacts are likely to reflect the imagination of the human will, it is known that the theory of biological evolution cannot be directly applied to artifacts. In this paper, beyond the individual’s subjective, the aim of our research is to present evolutionary patterns of a given artifact based on peeping the idea of the public. For this, we propose a text mining approach that presents a systematic framework that can find out the evolutionary patterns of a given artifact and then visualize effectively. In particular, based on our proposal, we focus mainly on a case study of mobile phone that has emerged as an icon of innovation in recent years. We collect and analyze review posts on mobile phone available in the domestic market over the past decade, and discuss the detailed results about evolutionary patterns of the mobile phone. Moreover, this kind of task is a tedious work over a long period of time because a small number of experts carry out an extensive literature survey and summarize a huge number of materials to finally draw a diagram of evolutionary patterns of the mobile phone. However, in this work, to minimize the human efforts, we present a semi-automatic mining algorithm, and through this research we can understand how human creativity and imagination are implemented. In addition, it is a big help to predict the future trend of mobile phone in business and industries.

Mining User Behaviors in Social Networks and Its Applications

Byung-Won On(온병원) 한국지능정보시스템학회 2013 한국지능정보시스템학회 학술대회논문집 Vol.2013 No.11

어휘 관계 및 문맥 정보 기반의 도메인 감성사전 자동 구축 방안 연구

박상민,온병원 한국정보과학회 2020 정보과학회논문지 Vol.47 No.10

A sentiment lexicon is a set of sentiment words, each of which has its sentiment polarity, and is used as a basic method for sentiment analysis. However, the meaning of some words can be different or even the original meaning can disappear across domains. As such, many sentiment words are likely to depend on a specific domain. For example, the verb phrase “slept well” usually has a negative meaning, while it has a positive meaning in movie domains. Thus, given a particular domain such as hotel, the sentiment lexicon should be constructed so that many of the domain-dependent words reflect the meaning of the domain. Using the domain-dependent sentiment lexicon will render more accurate results than using existing sentiment lexicons that do not consider domain-dependent words in the sentiment analysis. To build the domain-dependent sentiment lexicons, various studies have been presented, but there are many limitations including the human intervention and the use of local information rather than contextual information. In this paper, we propose a novel method of automatically constructing a domain-dependent sentiment lexicon based on the global and contextual information and an existing sentiment lexicon (i.e., KNU sentiment lexicon, Glove vector, Conjunction relation). 감성사전은 감성 어휘들에 대한 집합으로 각 어휘들에 대한 감성의 극성이 부여되어 있으며, 감성 분석(Sentiment Analysis)을 위한 기초 자료로 활용된다. 하지만 이와 같은 감성 어휘들은 특정 도메인에 따라 극성이 역전되거나 유실될 수도 있으며 의존적인 감성 어휘가 존재할 수 있다. 예를 들면, 일반적으로 ‘잘 잤다’라는 단어는 긍정의 극성을 보이지만, 영화 도메인에서는 그 의미가 부정으로 쓰인다. 그렇기 때문에 감성사전은 분석하고자 하는 도메인의 특징이 반영되어 있어야 하며 도메인에 따라 알맞은 감성사전이 구축되고 활용되어야 한다. 이와 같은 문제를 해결하기 위해 현재 도메인 감성사전을 자동으로 구축하는 다양한 연구들이 나왔지만, 인간의 개입, 문맥적 요소 미고려, 지역적인 정보 반영 등이라는 문제점을 지니고 있다. 본 연구에서는 이와 같은 문제를 해결하기 위해 한국어 범용 감성사전인 ‘KNU 한국어 감성사전’과 글로브 벡터 그리고 접속사 관계를 활용하여, 특정 도메인의 전역적인 감성 정보와 문맥적 특징을 충분히 반영한 도메인 감성사전 구축 방안을 제안한다.

복분자 재배 환경에서 수확물 운반 도우미 로봇을 위한 YOLOv5와 LiDAR 활용 자율주행 시스템

김기오,온병원,이석훈,이연식,정현준,정동원 한국정보기술학회 2023 한국정보기술학회논문지 Vol.21 No.12

The continuous decrease in the number of farming households and the aging population have a significant impact on agricultural productivity. In response to these challenges, the need for the development of agricultural robots is being emphasized. Considering the unique environmental conditions of rubus coreanus farming, such as steep hills and narrow paths, the development of specialized agricultural robots is required. Therefore, this paper proposes an autonomous driving system optimized for the rubus coreanus farming environment, utilizing LiDAR sensors and real-time object detection technology based on YOLOv5. The proposed system allows the robot to be moved to its destination through user key inputs, effectively maintaining a safe distance from predetermined obstacles along the path. The experimental results showed an average error of about 0.038 meters in the distance maintenance test and an average error of about 5.7252% in the location accuracy test. These results demonstrate smooth autonomous driving in narrow paths, similar to those found in rubus coreanus farming.

최신 웹 크롤링 알고리즘 분석 및 선제적인 크롤링 기법 제안

나철원,온병원 한국인터넷정보학회 2019 인터넷정보학회논문지 Vol.20 No.3

Today, with the spread of smartphones and the development of social networking services, structured and unstructured big data have stored exponentially. If we analyze them well, we will get useful information to be able to predict data for the future. Large amounts of data need to be collected first in order to analyze big data. The web is repository where these data are most stored. However, because the data size is large, there are also many data that have information that is not needed as much as there are data that have useful information. This has made it important to collect data efficiently, where data with unnecessary information is filtered and only collected data with useful information. Web crawlers cannot download all pages due to some constraints such as network bandwidth, operational time, and data storage. This is why we should avoid visiting many pages that are not relevant to what we want and download only important pages as soon as possible. This paper seeks to help resolve the above issues. First, We introduce basic web-crawling algorithms. For each algorithm, the time-complexity and pros and cons are described, and compared and analyzed. Next, we introduce the state-of-the-art web crawling algorithms that have improved the shortcomings of the basic web crawling algorithms. In addition, recent research trends show that the web crawling algorithms with special purposes such as collecting sentiment words are actively studied. We will one of the introduce Sentiment-aware web crawling techniques that is a proactive web crawling technique as a study of web crawling algorithms with special purpose. The result showed that the larger the data are, the higher the performance is and the more space is saved. 오늘날 스마트폰의 보급과 SNS의 발달로 정형/비정형 빅데이터는 기하급수적으로 증가하였다. 이러한 빅데이터를 잘 분석한다면 미래 예측도 가능할 만큼 훌륭한 정보를 얻을 수 있다. 빅데이터를 분석하기 위해서는 먼저 대용량의 데이터 수집이 필요하다. 이러한 데이터가 가장 많이 저장되어 있는 곳은 바로 웹 페이지다. 하지만 데이터의 양이 방대하기 때문에 유용한 정보를 가진 데이터가 많은 만큼 필요하지 않은 정보를 가진 데이터도 많이 존재한다. 그렇기 때문에 필요하지 않은 정보를 가진 데이터는 거르고 유용한 정보를 가진 데이터만을 수집하는 효율적인 데이터 수집의 중요성이 대두되었다. 웹 크롤러는 네트워크 대역폭, 시간적인 문제, 하드웨어적인 저장소 등의 제약으로 인해 모든 페이지를 다운로드 할 수 없다. 그렇기 때문에 원하는 내용과 관련 없는 많은 페이지들의 방문은 피하며 가능한 빠른 시간 내에 중요한 페이지만을 다운로드해야한다. 이 논문은 위와 같은 이슈의 해결을 돕고자한다. 먼저 기본적인 웹 크롤링 알고리즘들을 소개한다. 각 알고리즘마다 시간복잡도와 장단점을 설명하며 비교 및 분석한다. 다음으로 기본적인 웹 크롤링 알고리즘의 단점을 개선한 최신 웹 크롤링 알고리즘들을 소개한다. 더불어 최근 연구 흐름을 보면 감성어휘 수집과 같은 특수한 목적을 가진 웹 크롤링 알고리즘의 대한 연구가 활발히 이루어지고 있다. 특수 목적을 가진 웹 크롤링 알고리즘에 대한 연구로써 선제적인 웹 크롤링 기법으로 감성 반응 웹 크롤링(Sentiment-aware Web Crawling) 기법을 소개한다. 실험결과 데이터의 크기가 커질수록 기존방안보다 높은 성능을 보였고 데이터베이스의 저장 공간도 절약되었다.

Bi-LSTM 기반 감성분석을 위한 대용량 학습데이터 자동 생성 방안

최민성,온병원 한국정보과학회 2019 정보과학회논문지 Vol.46 No.8

Sentiment analysis using deep learning requires a large-scale train set labeled sentiment. However, direct labeling of sentiment by humans is time and cost-constrained, and it is not easy to collect the required data for sentiment analysis from many data. In the present work, to solve the existing problems, the existing sentiment lexicon was used to assign sentiment score, and when there was sentiment transformation element, the sentiment score was reset through dependency parsing and morphological analysis for automatic generation of large-scale train set labeled with the sentiment. The Top-k data with high sentiment score was extracted. Sentiment transformation elements include sentiment reversal, sentiment activation, and sentiment deactivation. Our experimental results reveal the generation of a large-scale train set in a shorter time than manual labeling and improvement in the performance of deep learning with an increase in the amount of train set. The accuracy of the model using only sentiment lexicon was 80.17% and the accuracy of the proposed model, which includes natural language processing technology was 89.17%. Overall, a 9% improvement was observed. 딥러닝을 이용한 감성분석에서는 감성이 레이블 된 많은 양의 학습데이터가 필요하다. 그러나 사람이 직접 감성을 레이블 하는 것은 시간과 비용에 제약이 있고 많은 데이터에서 감성분석에 적합한 충분한 양의 데이터를 수집하는 것은 쉽지 않다. 본 논문에서는 이러한 문제점을 해결하기 위해 기존의 감성사전을 활용하여 감성점수를 매긴 후 감성 변환 요소가 존재하면 의존 구문 분석 및 형태소 분석을 수행해 감성점수를 재설정하여 감성이 레이블 된 대용량 학습데이터를 자동 생성하는 방안을 제안한다. 감성변환 요소로는 감성 반전, 감성 활성화, 감성 비활성화가 있으며 감성점수가 높은 Top-k의 데이터를 추출하였다. 실험 결과 수작업에 비해 짧은 시간에 대용량의 학습데이터를 생성하였으며 학습데이터의 양이 증가함에 따라 딥러닝의 성능이 향상됨을 확인하였다. 그리고 감성사전만을 사용한 모델의 정확도는 80.17%, 자연어처리 기술을 추가한 제안 모델의 정확도는 89.17%로 9%의 정확도 향상을 보였다.

빅 데이터 접근방식의 공공 데이터 비주얼라이제이션 사례

이만재,온병원 한국통신학회 2012 정보와 통신 Vol.29 No.11

대부분의 빅 데이터 분석 결과는 문장으로 다듬어진 보고서로 결과를 제시하기보다는 비주얼라이제이션으로 결과를 보이고 보는 사람이 갖고 있는 배경지식과 통찰력에 따라 의미 있는 내용을 도출할 수 있도록 한다. 본 고에서는 공공 데이터와 비주얼라이제이션의 중요성을 알리기 위한 국회의원 투표 성향 분석 프로젝트를 소개한다. 우리나라 국민이라면 누구나 관심을 가질만한 국회의원의 성향을 파악하는 것을 세부 목표로 하고 18대 국회의원의 본 회의 회의록으로부터 투표 데이터를 수집하여 유사한 투표성향을 가진 국회의원을 가깝게 배치하여 누구나 쉽게 의원간의 유사성을 알 수 있도록 하였다. 데이터 수집부터 분석모델 개발과 웹 페이지를 만들기까지의 프로젝트 진행과정에서 모델의 수정이 필요했으며 왜 그러한 선택을 했는지를 설명한다.

계층적인 잠재 표현 기반의 사이버 범죄 신조어 자동 탐지 프레임워크

김용연,온병원 한국정보과학회 2023 정보과학회논문지 Vol.50 No.12

Cybercriminals constantly produce and use slang by adding criminal meanings to existing words or replacing them with similar words for communication. Continuous monitoring and manual work are required to respond to this, and a large amount of labeled training data is required when using deep learning. However, the ability to collect a large amount of training data is limited because direct labeling by a person requires a lot of time and money and proceeds secretly due to the nature of cybercrime. Thus, we develop a framework based on an autoencoder and propose a method to effectively detect contextual cybercrime slang and neologisms through hierarchical latent vector similarity comparisons to address these limitations. Experiments using a cybercrime post dataset showed that the framework had an accuracy of up to 99.1% at a similarity threshold of 0.5.