CNN-LSTM 조합모델을 이용한 영화리뷰 감성분석

박호연,김경재 한국지능정보시스템학회 2019 지능정보연구 Vol.25 No.4

Rapid growth of internet technology and social media is progressing. Data mining technology has evolved to enable unstructured document representations in a variety of applications. Sentiment analysis is an important technology that can distinguish poor or high-quality content through text data of products, and it has proliferated during text mining. Sentiment analysis mainly analyzes people's opinions in text data by assigning predefined data categories as positive and negative. This has been studied in various directions in terms of accuracy from simple rule-based to dictionary-based approaches using predefined labels. In fact, sentiment analysis is one of the most active researches in natural language processing and is widely studied in text mining. When real online reviews aren't available for others, it's not only easy to openly collect information, but it also affects your business. In marketing, real-world information from customers is gathered on websites, not surveys. Depending on whether the website's posts are positive or negative, the customer response is reflected in the sales and tries to identify the information. However, many reviews on a website are not always good, and difficult to identify. The earlier studies in this research area used the reviews data of the Amazon.com shopping mal, but the research data used in the recent studies uses the data for stock market trends, blogs, news articles, weather forecasts, IMDB, and facebook etc. However, the lack of accuracy is recognized because sentiment calculations are changed according to the subject, paragraph, sentiment lexicon direction, and sentence strength. This study aims to classify the polarity analysis of sentiment analysis into positive and negative categories and increase the prediction accuracy of the polarity analysis using the pretrained IMDB review data set. First, the text classification algorithm related to sentiment analysis adopts the popular machine learning algorithms such as NB (naive bayes), SVM (support vector machines), XGboost, RF (random forests), and Gradient Boost as comparative models. Second, deep learning has demonstrated discriminative features that can extract complex features of data. Representative algorithms are CNN (convolution neural networks), RNN (recurrent neural networks), LSTM (long-short term memory). CNN can be used similarly to BoW when processing a sentence in vector format, but does not consider sequential data attributes. RNN can handle well in order because it takes into account the time information of the data, but there is a long-term dependency on memory. To solve the problem of long-term dependence, LSTM is used. For the comparison, CNN and LSTM were chosen as simple deep learning models. In addition to classical machine learning algorithms, CNN, LSTM, and the integrated models were analyzed. Although there are many parameters for the algorithms, we examined the relationship between numerical value and precision to find the optimal combination. And, we tried to figure out how the models work well for sentiment analysis and how these models work. This study proposes integrated CNN and LSTM algorithms to extract the positive and negative features of text analysis. The reasons for mixing these two algorithms are as follows. CNN can extract features for the classification automatically by applying convolution layer and massively parallel processing. LSTM is not capable of highly parallel processing. Like faucets, the LSTM has input, output, and forget gates that can be moved and controlled at a desired time. These gates have the advantage of placing memory blocks on hidden nodes. The memory block of the LSTM may not store all the data, but it can solve the CNN's long-term dependency problem. Furthermore, when LSTM is used in CNN's pooling layer, it has an end-to-end structure, so that spatial and temporal features can be designed simultaneously. In combination with CNN-LSTM, 90.33% accuracy was measured. Thi... 인터넷 기술과 소셜 미디어의 빠른 성장으로 인하여, 구조화되지 않은 문서 표현도 다양한 응용 프로그램에사용할 수 있게 마이닝 기술이 발전되었다. 그 중 감성분석은 제품이나 서비스에 내재된 사용자의 감성을 탐지할 수 있는 분석방법이기 때문에 지난 몇 년 동안 많은 관심을 받아왔다. 감성분석에서는 주로 텍스트 데이터를이용하여 사람들의 감성을 사전 정의된 긍정 및 부정의 범주를 할당하여 분석하며, 이때 사전 정의된 레이블을이용하기 때문에 다양한 방향으로 연구가 진행되고 있다. 초기의 감성분석 연구에서는 쇼핑몰 상품의 리뷰 중심으로 진행되었지만, 최근에는 블로그, 뉴스기사, 날씨 예보, 영화 리뷰, SNS, 주식시장의 동향 등 다양한 분야에 적용되고 있다. 많은 선행연구들이 진행되어 왔으나 대부분 전통적인 단일 기계학습기법에 의존한 감성분류를 시도하였기에 분류 정확도 면에서 한계점이 있었다. 본 연구에서는 전통적인 기계학습기법 대신 대용량 데이터의 처리에 우수한 성능을 보이는 딥러닝 기법과 딥러닝 중 CNN과 LSTM의 조합모델을 이용하여 감성분석의 분류 정확도를 개선하고자 한다. 본 연구에서는 대표적인 영화 리뷰 데이터셋인 IMDB의 리뷰 데이터 셋을이용하여, 감성분석의 극성분석을 긍정 및 부정으로 범주를 분류하고, 딥러닝과 제안하는 조합모델을 활용하여극성분석의 예측 정확도를 개선하는 것을 목적으로 한다. 이 과정에서 여러 매개 변수가 존재하기 때문에 그수치와 정밀도의 관계에 대해 고찰하여 최적의 조합을 찾아 정확도 등 감성분석의 성능 개선을 시도한다. 연구결과, 딥러닝 기반의 분류 모형이 좋은 분류성과를 보였으며, 특히 본 연구에서 제안하는 CNN-LSTM 조합모델의 성과가 가장 우수한 것으로 나타났다.

훈련데이터의 속성 재배열 방법에 따른 CNN 기반의 IDS 성능 비교

박휘랑(Hweerang Park),조영호(Youngho Cho) 한국산학기술학회 2023 한국산학기술학회논문지 Vol.24 No.3

CNN(Convolutional Neural Networks)은 이미지의 특징을 추출하는 방법을 사용하여 이미지 분류에 좋은 성능을 보이는 딥러닝 모델이다. CNN은 사이버보안 분야의 IDS(Intrusion Detection System) 연구에서도 활발히 활용되고 있다. CNN 기반의 IDS(CNN IDS) 구축을 위해서는 문자열로 구성된 IDS 데이터를 이미지 형태로 변환하는 전처리 과정을 거쳐야 한다. 기존의 CNN IDS 연구들을 살펴보면 훈련데이터의 속성(Feature) 순서의 변경 없이 그대로 배치하여 훈련하는 방식만을 사용했으나, 다른 CNN 연구들을 살펴보면 전처리 과정에서 다양한 속성 재배열 방법을 사용하고 있다. 따라서, 본 연구에서는 CNN에서 활용되고 있는 다양한 속성 재배열 방법들을 CNN IDS의 훈련데이터에 적용하여 CNN IDS의 성능 변화에 대한 연구를 수행하였다. 실험결과, NSL-KDD 데이터세트에 랭크넷(Ranknet) 속성 재배열 방법을 적용했을 때 CNN IDS의 정확도가 기본 속성 배열 방식에 비해 최대 3.7%P의 성능이 향상됨을 확인하였고 이를 통해서 기본 배치 방식은 정확성 측면에서 최적이 아님을 확인하였다. CNN (Convolutional Neural Networks) is a deep learning model that performs well in image classification using a method of extracting features of images. CNN is used widely in IDS (Intrusion Detection System) research. The IDS dataset composed of strings must be converted into images in the preprocessing process to construct a CNN-based IDS (CNN IDS). According to the survey, existing CNN IDS studies do not change the order of the features of the training data, while in other CNN research fields, various feature rearrangement methods are used in the preprocessing process. Therefore, this study compared a CNN-IDS by applying multiple feature rearrangement methods to the training data of CNN IDS. According to the experimental results, when the RankNet feature rearrangement method is applied to the NSL-KDD dataset, the accuracy of CNN IDS was improved by up to 3.7%P compared to the basic feature arrange method. Therefore, the basic arrangement method in CNN IDS is not the best choice in terms of classification accuracy.

관절질환 관리를 위한 Mask R-CNN을 이용한 모션 모니터링

박성수,백지원,조선문,정경용 한국융합학회 2019 한국융합학회논문지 Vol.10 No.3

In modern society, lifestyle and individuality are important, and personalized lifestyle and patterns are emerging. The number of people with articulation diseases is increasing due to wrong living habits. In addition, as the number of households increases, there is a case where emergency care is not received at the appropriate time. We need information that can be managed by ourselves through accurate analysis according to the individual's condition for health and disease management, and care appropriate to the emergency situation. It is effectively used for classification and prediction of data using CNN in deep learning. CNN differs in accuracy and processing time according to the data features. Therefore, it is necessary to improve processing speed and accuracy for real-time healthcare. In this paper, we propose motion monitoring using Mask R-CNN for articulation disease management. The proposed method uses Mask R-CNN which is superior in accuracy and processing time than CNN. After the user's motion is learned in the neural network, if the user's motion is different from the learned data, the control method can be fed back to the user, the emergency situation can be informed to the guardian, and appropriate methods can be taken according to the situation. 현대사회는 생활과 개성이 중요시 되면서 개인화된 생활습관 및 패턴이 생기고 있으며, 잘못된 생활습관으로 인해 관절질환자가 증가하고 있다. 또한 1인 가구가 점점 증가하면서 응급상황이 발생할 경우 알맞은 시간에 응급처치를 받지 못하는 경우가 생긴다. 건강과 질병관리에 필요한 개인의 상태에 따른 정확한 분석을 통해 스스로 관리할 수 있는 정보와 응급상황에 맞는 케어가 필요하다. 딥러닝 중에서 CNN은 데이터의 분류 및 예측에 효율적으로 사용된다. CNN은 데이터 특징에 따라 정확도 및 처리 속도에 차이를 보인다. 따라서 실시간 헬스케어를 위해 처리속도 향상과 정확도 개선이 필요하다. 본 논문에서는 관절질환 관리를 위한 Mask R-CNN을 이용한 모션 모니터링을 제안한다. 제안하는 방법은 Mask R-CNN을 이용하여 CNN의 정확도와 처리 속도를 개선하는 방법이다. 사용자의 모션을 신경망에 학습시킨 후 사용자의 모션이 학습된 데이터와 차이가 있을 경우 사용자에게 관리법을 피드백 해주고 보호자에게 응급상황을 알릴 수 있으며 상황에 맞는 적절한 조치를 취할 수 있다.

인공 신경망 가속기 온칩 메모리 크기에 따른 주메모리 접근 횟수 추정에 대한 연구

조석재(Seok-Jae Cho),박성경(Sungkyung Park),박성정(Chester Sungchung Park) 한국전기전자학회 2021 전기전자학회논문지 Vol.25 No.1

이미지 인식 및 패턴 감지를 위해 널리 사용되는 알고리즘 중 하나는 convolution neural network(CNN)이다. CNN에서 대부분의 연산량을 차지하는 convolution 연산을 효율적으로 처리하기 위해 외부 하드웨어 가속기를 사용하여 CNN 어플리케이션의 성능을 향상 시킬 수 있다. 이러한 하드웨어 가속기를 사용함에 있어서 CNN은 막대한 연산량을 처리하기 위해 오프칩 DRAM에서 가속기 내부의 메모리로 데이터를 갖고 와야 한다. 즉 오프칩 DRAM과 가속기 내부의 온칩 메모리 혹은 글로벌 버퍼 사이의 데이터 통신이 CNN 어플리케이션의 성능에 큰 영향을 끼친다. 본 논문에서는 CNN 가속기 내의 온칩 메모리 혹은 글로벌 버퍼의 크기에 따른 주메모리 혹은 DRAM으로의 접근 횟수를 추산할 수 있는 시뮬레이터를 개발하였다. CNN 아키텍처 중 하나인 AlexNet에서, CNN 가속기 내부의 글로벌 버퍼의 크기를 증가시키면서 시뮬레이션 했을 때, 글로벌 버퍼 크기가 100kB 이상인 경우가 100kB 미만인 경우보다 가속기 내부와 오프칩 DRAM 간의 접근 횟수가 0.8배 낮은 것을 확인 했다. One widely used algorithm for image recognition and pattern detection is the convolution neural network (CNN). To efficiently handle convolution operations, which account for the majority of computations in the CNN, we use hardware accelerators to improve the performance of CNN applications. In using these hardware accelerators, the CNN fetches data from the off-chip DRAM, as the massive computational volume of data makes it difficult to derive performance improvements only from memory inside the hardware accelerator. In other words, data communication between off-chip DRAM and memory inside the accelerator has a significant impact on the performance of CNN applications. In this paper, a simulator for the CNN is developed to analyze the main memory or DRAM access with respect to the size of the on-chip memory or global buffer inside the CNN accelerator. For AlexNet, one of the CNN architectures, when simulated with increasing the size of the global buffer, we found that the global buffer of size larger than 100kB has 0.8x as low a DRAM access count as the global buffer of size smaller than 100kB.

재구성 가능한 모듈 기반 CNN 가속기 구현

이호민,전성호,옥승호 한국정보기술학회 2022 한국정보기술학회논문지 Vol.20 No.4

본 논문에서는 CNN(Convolutional Neural Network)을 구성하는 주요 연산 모듈을 모듈 제어 명령어를 통해 구동함으로써 네트워크를 구현할 수 있는 CNN 가속기를 제안한다. 모듈 기반 CNN 가속기는 합성곱(Convolution), 풀링(Pooling) 등 CNN의 주요 연산 모듈로 구성되어 있으며, 프로세서에서 모듈 제어 명령어를 통해 네트워크 구성에 필요한 연산 모듈을 선택 및 내부 파라미터를 설정 할 수 있다. 본 논문에서 제안하는 모듈 기반 CNN 가속기를 사용하여 Xilinx SoC형 FPGA에 ResNet-18을 구현하였으며 CNN 프레임워크 모델인 PyTorch와 C 기반 검증 모델을 사용하여 출력 결과를 비교 검증하였다. 실험결과, CNN 가속기의 추론 결과는 92.87%의 정확도를 보였다. In this paper, we propose a CNN(convolution neural network) accelerator that can implement a network by driving main computation modules constituting the CNN through module control commands. The module-based CNN accelerator consists of CNN's main computation modules such as convolution and pooling, and the processor can select the computation module required for network configuration and set internal parameters through module control commands. In this paper, ResNet-18 was implemented on a Xilinx SoC-type FPGA using the proposed module-based CNN accelerator, and the output results were compared and verified using PyTorch, a CNN framework model, and a C-based verification model. As a result of the experiment, the inference result of the CNN accelerator showed an accuracy of 92.87%.

얼굴 감정인식을 위한 양자화된 경량 합성곱 신경망 구조 연구

김재명(Jaemyung Kim),강진구(Jin-Ku Kang),김용우(Yongwoo Kim) 대한전자공학회 2020 전자공학회논문지 Vol.57 No.12

최근 컴퓨터 비전 분야에서 우수한 성능을 보이는 CNN을 이용한 얼굴 감정인식 연구가 수행되고 있다. 높은 분류 정확도를 얻기 위해서는 많은 수의 파라미터와 높은 연산 복잡도를 가지는 CNN 구조가 필요하다. 하지만, 이와 같은 CNN 모델은 하드웨어 자원 사용량이 제한되어 있는 환경에서는 적합하지 않다. 따라서 본 논문에서는 제한된 환경 하에서의 최적화된 구현을 위해 적은 수의 파라미터와 낮은 연산 복잡도를 지닌 경량화된 CNN 구조를 설계하였고 정확도를 유지하면서도 파라미터 수 및 연산 복잡도를 낮출 수 있는 양자화 기법을 제안하였다. 또한 높은 분류 정확도를 위해 다양한 영상처리 알고리즘을 이용한 데이터 증강기법을 제안하였다. 제안한 부동소수점으로 훈련된 CNN모델(FP32)에 FERPlus 데이터 세트를 적용하여 성능을 평가한 결과, 파라미터 수는 약 1.98M개, FLOPs는 31MFLOPs, 정확도는 86.87%의 결과를 보였으며 기존의 경량화 모델과 비교하였을 때 가장 높은 정확도를 달성하였다. 또한, 제안한 양자화 기법을 적용하여 8-bit모델(INT8)에서 파라미터 수는 약 495K개, 4-bit모델(INT4)에서 파라미터 수는 약 247.5K개로 제안한 두 양자화된 CNN 모델(INT8, INT4)은 제안한 FP32 CNN모델 대비 1/4, 1/8만큼 적은 파라미터 수를 지니면서도 정확도 하락은 0.54% 이하인 것을 확인하였다. Recently, a study on facial emotion recognition using CNN, which has an excellent performance in the field of computer vision, is being conducted. To obtain high classification accuracy, a CNN structure with a large number of parameters and high computational complexity is required. However, such a CNN model is not suitable in an environment where the use of hardware resources is limited. In this paper, we designed a lightweight CNN structure with a small number of parameters and low computational complexity for an optimized implementation under a limited environment and proposed a quantization technique that can reduce the parameter size and computational complexity while maintaining accuracy. Also, for high classification accuracy, a data augmentation technique using various image processing algorithms was proposed. As a result of evaluating the performance by applying the FERPlus dataset to the proposed floating-point trained CNN model(FP32), the number of parameters was about 1.98M, FLOPs were about 31MFLOPs, and accuracy was about 86.87%. The highest accuracy was achieved compared to other lightweight models. In addition, two quantized CNN models(INT8, INT4) proposed by applying the proposed quantization technique as the number of parameters in the 8-bit model(INT8) are about 495K and the number of parameters in the 4-bit model(INT4) is about 247.5K. Compared to the proposed FP32 CNN model, it was confirmed that the number of parameters was as small as 1/4 and 1/8, but the accuracy drop was less than 0.54%.

표면근전도 신호를 활용한 한국 숫자지화 인식에서 CNN 학습의 일관성에 관한 연구

박종준,권춘기,Park, Jong-Jun,Kwon, Chun-Ki 한국산학기술학회 2018 한국산학기술학회논문지 Vol.19 No.10

합성곱 신경망 (Convolutional Neural Network, CNN)은 컴퓨터 비전 분야에서 활발히 적용되어 왔으며, 이미지 분류, 문서 분류, 지문 인식 등에서 탁월한 인식 능력을 보여 왔음을 여러 연구를 통해서 검증되었다. 본 연구는 시계열의 표면근전도 신호를 입력데이터로 취하는 숫자지화 인식 응용에 이미지 분류에서 탁월한 인식 성능을 보이는 합성곱 신경망을 적용한 것으로, 반복적인 한국 숫자지화 인식 수행에서도 일관된 학습을 수행하는지를 검증하는 연구로, 문헌에서 보기 힘든 연구이다. 이를 검증하기 위해, 한국 숫자지화 영(0)부터 다섯(5)까지의 여섯 숫자지화를 시연하도록 훈련한 실험 대상 1인의 아래팔 근육으로부터 획득한 숫자별 60개씩 총 360개의 표면근전도 신호를 획득하였으며, 그 중에서 252개의 표면근전도 신호를 입력데이터, 108개의 표면근전도 신호는 테스트데이터로 CNN 인식에 활용하였다. CNN 인식을 위해 필요한 학습단계는 100 학습단계, CNN 인식의 반복 수행 횟수는 10회로 설정하였으며, 반복 수행마다 테스트데이터를 활용하여 인식률을 계산하였다. 본 연구에서 실험한 결과에서 보듯이, 반복 인식마다 CNN의 학습은 일관되었으며, 99.1% 이상 (60 숫자지화 중 하나의 숫자지화 인식에 오류발생)의 높은 인식률을 보였다. 따라서, CNN 기법은 시계열의 표면근전도 신호를 입력데이터로 하는 숫자지화 인식 분야에서도 전역 솔루션과 함께 우수한 인식 능력을 제공하는 기법 중에 하나이다. Convolutional Neural Network (CNN) has been actively employed in the application of computer vision, and has been proved to have its superior performance in image classification, document classification, and finger print recognition. This work focuses on an application of CNN, having outstanding performance in image classification, to recognition of korean finger number using time series sEMG signals as input and validates CNN's capability in providing its consistent learning in repeated application for recognition of sEMG based Korean finger numbers, which has been rarely a topic in previous studies. To this end, 252 sEMG signals as input data and 108 sEMG signals as test data out of 360 sEMG signals (60 signals each number) acquired from a forearm muscle of the subject who is trained to consistently perform six Korean finger number gestures from zero(0) to five(5) were used for CNN based finger number recognition. CNN was set to have 100 learning iterations for each application of finger number recognition, and to have 10 repetitive applications of finger number recognition for the consistency of CNN's learning. Recognition rate at each repetition was calculated from test data. As can be seen from the results in this work, CNN shows consistent learning at each repetitive application of finger number recognition and outstanding recognition rates of more than 99.1% (missed one case out of 60 cases). Thus, CNN is one of powerful techniques for finger number recognition based on time-series sEMG signals to provide not only global solution but also excellent recognition rates.

Sentienl-1 SAR 영상을 활용한 유류 분포특성과 CNN 구조에 따른 유류오염 탐지모델 성능 평가

박소연 ( Soyeon Park ),안명환 ( Myoung-hwan Ahn ),이성뢰 ( Chenglei Li ),김준우 ( Junwoo Kim ),전현균 ( Hyungyun Jeon ),김덕진 ( Duk-jin Kim ) 대한원격탐사학회 2021 大韓遠隔探査學會誌 Vol.37 No.5

SAR 이미지의 통계적 특징을 이용하여 유류오염영역을 특정하는 방법은 분류규칙이 복잡하고 이상값에 의한 영향을 많이 받는다는 한계가 있어, 최근 인공신경망을 기반으로 유류오염영역을 특정하는 연구가 활발히 이루어지고 있다. 하지만, 다양한 유류오염 사례에 대해 모델의 탐지 성능 및 특성을 평가한 연구는 부족하였다. 따라서, 본 연구에서는 기본적인 구조의 CNN인 Simple CNN과 픽셀 단위의 영상 분할이 가능한 U-net을 이용하여, CNN의 구조와, 유류오염의 분포특성에 따른 모델의 탐지성능차이가 존재하는지 분석하였다. 연구결과, 축소경로만 존재하는Simple CNN과 축소경로와 확장경로가 모두 존재하는U-net의 F1 score는 86.24%와 91.44%로 나타나, 두 모델 모두 비교적 높은 탐지 정확도를 보여주었지만, U-net의 탐지성능이 더 높은 것으로 나타났다. 또한 다양한 유류오염 사례에 따른 모델의 성능 비교를 위해, 유류오염의 공간적 분포특성(유류오염 주변의 육지의 분포)과 선명도(유출된 기름과 해수의 경계면이 뚜렷한 정도)를 기준으로, 유류오염 발생 사례를 4가지 유형으로 구분하여 탐지 정확도를 평가하였다. Simple CNN은 각각의 유형에 대해 F1 score가 85.71%, 87.43%, 86.50%, 85.86% 로 유형별 최대 편차가 1.71%인 것으로 나타났으며, U-net은 동일한 지표에 대해 89.77%, 92.27%, 92.59%, 92.66%의 F1 score를 보여 최대 편차가 2.90% 로 두 CNN모델 모두 유류오염 분포 특성에 따른 수치상 탐지성능의 차이는 크지 않은 것으로 나타났다. 하지만 모든 유류오염 유형에서 Simple CNN은 오염영역을 과대탐지 하는 경향을, U-net은 과소탐지 하는 경향을 보여, 모델의 구조와 유류오염의 유형에 따라 서로 다른 탐지 특성을 가진다는 것을 확인하였고, 이러한 특성은 유류오염과 해수의 경계면이 뚜렷하지 않은 경우 더 두드러지게 나타났다. Detecting oil spill area using statistical characteristics of SAR images has limitations in that classification algorithm is complicated and is greatly affected by outliers. To overcome these limitations, studies using neural networks to classify oil spills are recently investigated. However, the studies to evaluate whether the performance of model shows a consistent detection performance for various oil spill cases were insufficient. Therefore, in this study, two CNNs (Convolutional Neural Networks) with basic structures (Simple CNN and U-net) were used to discover whether there is a difference in detection performance according to the structure of CNN and distribution characteristics of oil spill. As a result, through the method proposed in this study, the Simple CNN with contracting path only detected oil spill with an F1 score of 86.24% and U-net, which has both contracting and expansive path showed an F1 score of 91.44%. Both models successfully detected oil spills, but detection performance of the U-net was higher than Simple CNN. Additionally, in order to compare the accuracy of models according to various oil spill cases, the cases were classified into four different categories according to the spatial distribution characteristics of the oil spill (presence of land near the oil spill area) and the clarity of border between oil and seawater. The Simple CNN had F1 score values of 85.71%, 87.43%, 86.50%, and 85.86% for each category, showing the maximum difference of 1.71%. In the case of U-net, the values for each category were 89.77%, 92.27%, 92.59%, and 92.66%, with the maximum difference of 2.90%. Such results indicate that neither model showed significant differences in detection performance by the characteristics of oil spill distribution. However, the difference in detection tendency was caused by the difference in the model structure and the oil spill distribution characteristics. In all four oil spill categories, the Simple CNN showed a tendency to overestimate the oil spill area and the U-net showed a tendency to underestimate it. These tendencies were emphasized when the border between oil and seawater was unclear.

클릭률 예측 성능 향상을 위한 다중 배열 CNN 모형 설계

김태석(Tae-Suk Kim) 한국콘텐츠학회 2020 한국콘텐츠학회논문지 Vol.20 No.3

클릭률(CTR) 예측은 사용자가 주어진 항목을 클릭할 확률을 추정하는 것으로 온라인 광고 수익 극대화를 위한 전략 결정에 중요한 역할을 한다. 최근 CTR 예측을 위해 CNN을 활용하는 시도가 이루어지고 있다. CTR 데이터는 특징 정보가 연관성 측면에서 의미 있는 순서를 갖지 않기 때문에, 임의의 순서로 배열될 수 있다. 하지만 CNN은 필터 사이즈에 의해 제한된 로컬 정보만을 학습하기 때문에 데이터 배열이 성능에 큰 영향을 줄 수 있다. 이 논문에서는 CNN이 수집할 수 있는 모든 로컬 특징 정보를 추출할 수 있는 데이터 배열 집합을 생성하고 생성된 배열들에 대하여 개별 CNN 모듈들이 특징들을 학습할 수 있는 다중 배열 CNN 모델을 제안한다. 대규모 데이터 세트에 대한 실험 결과에 따르면 제안된 모델은 기존 CNN 대비 AUC의 RI에서 22.6% 상승 효과를, 제안된 배열 생성 방법은 임의 생성 방법보다 3.87% 성능 향상을 달성하였다. Click-through rate (CTR) prediction is an estimate of the probability that a user will click on a given item and plays an important role in determining strategies for maximizing online ad revenue. Recently, research has been performed to utilize CNN for CTR prediction. Since the CTR data does not have a meaningful order in terms of correlation, the CTR data may be arranged in any order. However, because CNN only learns local information limited by filter size, data arrays can have a significant impact on performance. In this paper, we propose a multi-array CNN model that generates a data array set that can extract all local feature information that CNN can collect, and learns features through individual CNN modules. Experimental results for large data sets show that the proposed model achieves a 22.6% synergy with RI in AUC compared to the existing CNN, and the proposed array generation method achieves 3.87% performance improvement over the random generation method.

RGB-csb를 활용한 제한된 CNN에서의 정확도 분석 및 비교

공준배(Jun-Bea Kong),장민석(Min-Seok Jang),남광우(Kwang-Woo Nam),이연식(Yon-Sik Lee) 한국전자통신학회 2020 한국전자통신학회 논문지 Vol.15 No.1

본 논문은 대부분의 변형된 CNN(: Convolution Neural Networks)에서 사용하지 않는 첫 번째 컨볼루션 층(convolution layer)을 사용해 정확도 향상을 노리는 방법을 소개한다. GoogLeNet, DenseNet과 같은 CNN에서 첫 번째 컨볼루션 층에서는 기존방식(3x3 컨볼루션연산 및 배규정규화, 활성화함수)만을 사용하는데 이 부분을 RGB-csb(: RGB channel separation block)로 대체한다. 이를 통해 RGB값을 특징 맵에 적용시켜 정확성을 향상시킬 수 있는 선행연구 결과에 추가적으로, 기존 CNN과 제한된 영상 개수를 사용하여 정확도를 비교한다. 본 논문에서 제안한 방법은 영상의 개수가 적을수록 학습 정확도 편차가 커 불안정하지만 기존 CNN에 비해 정확도가 평균적으로 높음을 알 수 있다. 영상의 개수가 적을수록 평균적으로 약 2.3% 높은 정확도를 보였으나 정확도 편차는 5% 정도로 크게 나타났다. 반대로 영상의 개수가 많아질수록 기존 CNN과의 평균 정확도의 차이는 약 1%로 줄어들고, 각 학습 결과의 정확도 편차 또한 줄어든다. This paper introduces a method for improving accuracy using the first convolution layer, which is not used in most modified CNN(: Convolution Neural Networks). In CNN, such as GoogLeNet and DenseNet, the first convolution layer uses only the traditional methods(3x3 convolutional computation, batch normalization, and activation functions), replacing this with RGB-csb. In addition to the results of preceding studies that can improve accuracy by applying RGB values to feature maps, the accuracy is compared with existing CNN using a limited number of images. The method proposed in this paper shows that the smaller the number of images, the greater the learning accuracy deviation, the more unstable, but the higher the accuracy on average compared to the existing CNN. As the number of images increases, the difference in accuracy between the existing CNN and the proposed method decreases, and the proposed method does not seem to have a significant effect.