샴 네트워크 기반 객체 추적을 위한 표적 이미지 교환 모델

박성준,김규민,황승준,백중환 한국정보통신학회 2021 한국정보통신학회논문지 Vol.25 No.3

In this paper, we propose a target image exchange model to improve performance of the object tracking algorithm based on a Siamese network. The object tracking algorithm based on the Siamese network tracks the object by finding the most similar part in the search image using only the target image specified in the first frame of the sequence. Since only the object of the first frame and the search image compare similarity, if tracking fails once, errors accumulate and drift in a part other than the tracked object occurs. Therefore, by designing a CNN(Convolutional Neural Network) based model, we check whether the tracking is progressing well, and the target image exchange timing is defined by using the score output from the Siamese network-based object tracking algorithm. The proposed model is evaluated the performance using the VOT-2018 dataset, and finally achieved an accuracy of 0.611 and a robustness of 22.816. 본 논문에서는 샴 네트워크 기반의 객체 추적 알고리즘의 성능 향상을 위한 표적 이미지 교환 모델을 제안한다. 샴 네트워크 기반의 객체 추적 알고리즘은 시퀀스의 첫 프레임에서 지정된 표적 이미지만을 사용하여 탐색 이미지 내에서 가장 유사한 부분을 찾아 객체를 추적한다. 첫 프레임의 객체와 유사도를 비교하기 때문에 추적에 한 번 실패하게 되면 오류가 축적되어 추적 객체가 아닌 부분에서 표류하게 되는 현상이 발생한다. 따라서 CNN(Convolutional Neural Network)기반의 모델을 설계하여 추적이 잘 진행되고 있는지 확인하고 샴 네트워크 기반의 객체 추적 알고리즘에서 출력되는 점수를 이용하여 표적 이미지 교환 시기를 정의하였다. 제안 모델은 VOT-2018 데이터 셋을 이용하여 성능을 평가하였고 최종적으로 정확도 0.611 견고도 22.816을 달성하였다.

Few-Shot Learning을 사용한 호스트 기반 침입 탐지 모델

박대경 ( Park Daekyeong ),신동일 ( Shin Dongil ),신동규 ( Shin Dongkyoo ),김상수 ( Kim Sangsoo ) 한국정보처리학회 2021 정보처리학회 논문지 Vol.10 No.7

As the current cyber attacks become more intelligent, the existing Intrusion Detection System is difficult for detecting intelligent attacks that deviate from the existing stored patterns. In an attempt to solve this, a model of a deep learning-based intrusion detection system that analyzes the pattern of intelligent attacks through data learning has emerged. Intrusion detection systems are divided into host-based and network-based depending on the installation location. Unlike network-based intrusion detection systems, host-based intrusion detection systems have the disadvantage of having to observe the inside and outside of the system as a whole. However, it has the advantage of being able to detect intrusions that cannot be detected by a network-based intrusion detection system. Therefore, in this study, we conducted a study on a host-based intrusion detection system. In order to evaluate and improve the performance of the host-based intrusion detection system model, we used the host-based Leipzig Intrusion Detection-Data Set (LID-DS) published in 2018. In the performance evaluation of the model using that data set, in order to confirm the similarity of each data and reconstructed to identify whether it is normal data or abnormal data, 1D vector data is converted to 3D image data. Also, the deep learning model has the drawback of having to re-learn every time a new cyber attack method is seen. In other words, it is not efficient because it takes a long time to learn a large amount of data. To solve this problem, this paper proposes the Siamese Convolutional Neural Network (Siamese-CNN) to use the Few-Shot Learning method that shows excellent performance by learning the little amount of data. Siamese-CNN determines whether the attacks are of the same type by the similarity score of each sample of cyber attacks converted into images. The accuracy was calculated using Few-Shot Learning technique, and the performance of Vanilla Convolutional Neural Network (Vanilla-CNN) and Siamese-CNN was compared to confirm the performance of Siamese-CNN. As a result of measuring Accuracy, Precision, Recall and F1-Score index, it was confirmed that the recall of the Siamese-CNN model proposed in this study was increased by about 6% from the Vanilla-CNN model.

Siamese 네트워크의 템플릿 업데이트를 통한 적외선 영상 표적 추적 기법 연구

김태윤(Tae Yoon Kim),이인호(In Ho Lee),박찬국(Chan Gook Park) 한국항공우주학회 2024 한국항공우주학회 학술발표회 논문집 Vol.2024 No.11

Self-Attention을 활용한 Siamese CNN-Bidirectional LSTM 기반 문장 유사도 예측

김민태,오영택,김우주 한국정보과학회 2019 정보과학회논문지 Vol.46 No.3

A deep learning model for semantic similarity between sentences was presented. In general, most of the models for measuring similarity word use level or morpheme level embedding. However, the attempt to apply either word use or morpheme level embedding results in higher complexity of the model due to the large size of the dictionary. To solve this problem, a Siamese CNN-Bidirectional LSTM model that utilizes phonemes instead of words or morphemes and combines long short term memory (LSTM) with 1D convolution neural networks with various window lengths that bind phonemes is proposed. For evaluation, we compared our model with Manhattan LSTM (MaLSTM) which shows good performance in measuring similarity between similar questions in the Naver Q&A dataset (similar to Kaggle Quora Question Pair). 본 논문에서는 입력된 두 문장의 유사도를 측정하는 딥러닝 모델을 제안한다. 기존의 문장의유사도 측정 모델에는 단어 혹은 형태소 단위로 문장을 분해하여 임베딩 하는 방식을 활용한다. 하지만 이는 사전의 크기를 증가시켜 모델의 복잡도를 높이는 문제점이 있다. 본 논문에서는 문장을 음소 단위로 분해하여 모델 복잡도를 줄이고 해당 음소를 묶어주는 다양한 필터 사이즈의 1D Convolution Neural Network와 Long Short Term Memory(LSTM)을 결합한 Siamese CNN-Bidirectional LSTM 모델을 제안한다. 본 모델을 평가하기 위해 네이버 지식인 데이터를 활용하여 기존의 문서 유사 측정에서 좋은 성능을 보이는 모델 Manhattan LSTM(MaLSTM)과 비교하였다.

생성 기반 질의응답 채팅 시스템 구현을 위한 지식 임베딩 방법

김시형,이현구,김학수 한국정보과학회 2018 정보과학회논문지 Vol.45 No.2

A chat system is a computer program that understands user's miscellaneous utterances and generates appropriate responses. Sometimes a chat system needs to answer users’ simple information-seeking questions. However, previous generative chat systems do not consider how to embed knowledge entities (i.e., subjects and objects in triple knowledge), essential elements for question-answering. The previous chat models have a disadvantage that they generate same responses although knowledge entities in users’ utterances are changed. To alleviate this problem, we propose a knowledge entity embedding method for improving question-answering accuracies of a generative chat system. The proposed method uses a Siamese recurrent neural network for embedding knowledge entities and their synonyms. For experiments, we implemented a sequence-to-sequence model in which subjects and predicates are encoded and objects are decoded. The proposed embedding method showed 12.48% higher accuracies than the conventional embedding method based on a convolutional neural network. 채팅 시스템은 사람의 말을 기계가 이해하고 적절한 응답을 하는 시스템이다. 채팅 시스템은사용자의 간단한 정보 검색 질문에 대답해야 하는 경우가 있다. 그러나 기존의 생성 채팅 시스템들은 질의응답에 필요한 정보인 지식 개체(트리플 형태 지식에서의 주어와 목적어)의 임베딩을 고려하지 않아 발화에 나타나는 지식 개체가 다르더라도 같은 형태의 답변이 생성되었다. 본 논문에서는 생성 기반 채팅시스템의 질의응답 정확도를 향상시키기 위한 지식 임베딩 방법을 제안한다. 개체와 유의어의 지식 임베딩을 위해 샴 순환 신경망을 사용하며 이를 이용해 주어와 술어를 인코딩 하고 목적어를 디코딩하는 sequence-to-sequence 모델의 성능을 향상 시켰다. 자체 구축한 채팅데이터를 통한 실험에서 제안된 임베딩 방법은 종래의 합성곱 신경망을 통한 임베딩 방법 보다 12.48% 높은 정확도를 보였다.

영역 유사도와 상호 보완 학습을 활용한 객체 추적 알고리즘

임수창,김종찬 한국전자통신학회 2025 한국전자통신학회 논문지 Vol.20 No.01

본 논문은 객체 추적의 정확성과 강건성을 개선하기 위해 영역 유사도와 상호 보완 학습을 결합한 알고리즘을 제안한다. 샴 네트워크 구조와 Region Proposal Network을 결합하여 객체의 위치와 크기를 정밀히 예측한다. 제안된 알고리즘은 템플릿과 검색 이미지 간의 상관 맵을 생성해 객체의 전역적 위치 정보를 추출하고, 이를 세부적 특징 정보와 융합해 신뢰도 높은 추적 결과를 도출하였다. OTB 데이터셋에서 Success Plot 67.3%, Precision Plot 87.6%를 기록하며, 복잡한 환경에서도 안정적인 추적 성능을 보여주었다. 본 연구는 상호 보완 학습을 활용해 다양한 환경 변화에서도 높은 신뢰성과 정밀도를 제공하는 객체 추적 방식을 제시하였다. This paper proposes an algorithm that integrates region similarity and complementary learning to enhance the accuracy and robustness of object tracking. The proposed algorithm generates a correlation map between the template and the search image to extract global positional information of the target object and fuses this with detailed feature information, resulting in highly reliable tracking outcomes. Experimental results on the OTB dataset demonstrate the algorithm's performance, achieving a Success plot of 67.3% and a Precision plot of 87.6%, thereby showcasing robust tracking capabilities even under complex conditions. This study presents an advanced object tracking framework that leverages complementary learning to deliver high reliability and precision across diverse environmental changes.

딥러닝 유사도 기반 현품 영상과 도면 영상의 1:1 매칭 방법

한기태 한국컴퓨터정보학회 2022 한국컴퓨터정보학회논문지 Vol.27 No.12

This paper presents a method for 1:1 verification by comparing the similarity between the given real product image and the drawing image. The proposed method combines two existing CNN-based deep learning models to construct a Siamese Network. After extracting the feature vector of the image through the FC (Fully Connected) Layer of each network and comparing the similarity, if the real product image and the drawing image (front view, left and right side view, top view, etc) are the same product, the similarity is set to 1 for learning and, if it is a different product, the similarity is set to 0. The test (inference) model is a deep learning model that queries the real product image and the drawing image in pairs to determine whether the pair is the same product or not. In the proposed model, through a comparison of the similarity between the real product image and the drawing image, if the similarity is greater than or equal to a threshold value (Threshold: 0.5), it is determined that the product is the same, and if it is less than or equal to, it is determined that the product is a different product. The proposed model showed an accuracy of about 71.8% for a query to a product (positive: positive) with the same drawing as the real product, and an accuracy of about 83.1% for a query to a different product (positive: negative). In the future, we plan to conduct a study to improve the matching accuracy between the real product image and the drawing image by combining the parameter optimization study with the proposed model and adding processes such as data purification. 본 논문은 주어진 현품 영상과 도면 영상의 유사도를 비교하여 1:1 검증을 위한 방법을 제시한 것으로, CNN(Convolutional Neural Network) 기반의 딥러닝 모델을 두 개로 결합하여 Siamese Net을 구성하고현품 영상과 도면 영상(정면도, 좌우 측면도, 평면도 등)을 같은 제품이면 1로 다른 제품이면 0으로학습하며, 추론은 현품 영상과 도면 영상을 쌍으로 질의하여 해당 쌍이 같은 제품인지 아닌지를 판별하는 딥러닝 모델을 제안한다. 현품 영상과 도면 영상과의 유사도가 문턱 값(Threshold: 0.5) 이상이면동일한 제품이고, 문턱 값 미만이면 다른 제품이라고 판별한다. 본 연구에서는 질의 쌍으로 동일제품의현품 영상과 도면 영상이 주어졌을 때(긍정 : 긍정) “동일제품”으로 판별할 정확도는 약 71.8%로 나타났고, 질의 쌍으로 다른 현품 영상과 도면 영상이 주어졌을 때(긍정: 부정) “다른제품”으로 판별할 정확도는 약 83..1%를 나타내었다. 향후 제안한 모델에 파라미터 최적화 연구를 접목하고 데이터 정제 등의과정을 추가하여 현품 영상과 도면 영상의 매칭 정확도를 높이는 연구를 진행할 예정이다.

거리영상 기반 보행환경의 정성적 평가 예측을 위한 딥러닝 모델 개발

김지연,강영옥 대한공간정보학회 2022 대한공간정보학회지 Vol.30 No.2

The visual appearance of a city is an important factor in shaping perception of the neighborhood. With the recent development of the computer vision, research has attempted to analyze perceptions of urban built environments such as 'beauty', 'lively', 'safety', and 'walking‘. Using the training set that represent perception of street view images, previous studies have developed models that predict the score of the image on a particular emotion. Typically, they have proposed models based on Siamese network and a loss function that learns the rank that returns the rank of each image on a particular emotion. However, if the characteristics of the built environment are not distinctive, there is a limit to increasing the accuracy of the model. Therefore, we propose a model that learns both regional features on images by dividing each image into patches and global features. To evaluate the effectiveness of our model, we collected Kakao streetview images of Jeonju, implemented the model to predict the walkability score using the pairwise comparison data and measured accuracy. Our model records the highest accuracy compared to the existing studies. Our model is considered to effectively learn the characteristics of streetview images regardless of the size of the city. 도시의 시각적 형상은 근린에 대한 사람들의 인식을 형성하는 중요한 요소이다. 최근 컴퓨터 비전 분야의 발전과 거리영상 플랫폼의 활성화로 ‘아름다움’, ‘활기참’, ‘안전성’, ‘보행성’등과 같은 도시 건조환경에 대한 사람들의 인식을 분석하려는 연구가 시도되고 있다. 선행연구들은 거리영상에 대한 사람들의 정성적 평가를 데이터셋으로 활용하여 거리영상에 대한 감성 점수를 예측하는 모델을 개발하고 있다. 대표적으로 샴네트워크(Siamese network)와 랭킹함수(ranking function)를 학습하는 손실함수(loss function)로 구성되고 특정 감성에 대한 각 이미지의 순위를 실수로 반환하는 모델을 제안하고 있다. 그러나 도시의 건조환경의 특성이 두드러지지 않는 경우 모델의 정확도를 높이는 것은 한계가 있다. 따라서 본 연구에서는 이미지의 전역적 특징과 이미지를 패치로 나눈 지역적 특징도 함께 학습하는 모델을 제안했다. 모델의 유용성을 평가하기 위해 전주시의 카카오 거리영상을 수집하고, 사람들의 보행환경에 대한 쌍별비교(pairwise comparison) 결과를 학습데이터로 하여 보행환경(walkability)점수를 예측하는 모델을 구현하고, 정확도를 측정했다. 제안된 모델은 기존 연구와 비교하였을 때 가장 높은 정확도를 나타냈다. 본 연구의 방법은 건조환경에 대한 사람들의 인식을 학습할 때 도시의 규모와 관련 없이 효과적으로 거리영상의 특징을 학습할 수 있는 모델로 사료된다.

거리영상과 딥러닝을 활용한 가로수준의 범죄불안감 측정 및 시각화

김소망,최재연,강영옥 한국지도학회 2024 한국지도학회지 Vol.24 No.1

Residents’ perception of the urban built environment is an important factor in urban studies, urban planning, and urban design. Perceived fear of crime is a psychological measure of fear about the likelihood of a crime occurring in a particular place and for a particular crime, which is a subjective assessment by the individual. Fear of Crime is increasing faster than the actual crime rate, so identifying areas where people feel fear of crime is an effective and important process for crime prevention. However, previous studies have been limited by relying on surveys or fieldwork with a small number of people and a limited scope. The purpose of this study is to measure and visualize the fear of crime felt by citizens using street view images and deep learning technology, and the study area is Yeongdeungpo-gu, Seoul. In order to measure fear of crime using street view images, it is necessary to measure people’s fear of crime on street images and build a model to predict the evaluation score using a deep learning model. For this study, we collected street view images using Kakao Map API. Using 20,886 street view images from the collected images, we built a training data set of 171,942 images that ask users to respond to which street they feel relatively unsafe. After training the Global-Patch-RSS-CNN model with the constructed pairwise comparison data set, the trained model was applied to the entire study area to derive and visualize the prediction score of fear of crime. This study is significant in that it presents the first case of measuring urban fear of crime using street view images and deep learning technology, and it can contribute to effective urban planning and crime prevention strategies by analyzing the environmental characteristics of areas with high fear of crime.

Siamese 네트워크 기반 SAR 표적영상 간 유사도 분석

박지훈 한국군사과학기술학회 2022 한국군사과학기술학회지 Vol.25 No.5

Different from the field of electro-optical(EO) image analysis, there has been less interest in similarity metrics between synthetic aperture radar(SAR) target images. A reliable and objective similarity analysis for SAR target images is expected to enable the verification of the SAR measurement process or provide the guidelines of target CAD modeling that can be used for simulating realistic SAR target images. For this purpose, this paper presents a similarity analysis method based on the siamese network that quantifies the subjective assessment through the distance learning of similar and dissimilar SAR target image pairs. The proposed method is applied to MSTAR SAR target images of slightly different depression angles and the resultant metrics are compared and analyzed with qualitative evaluation. Since the image similarity is somewhat related to recognition performance, the capacity of the proposed method for target recognition is further checked experimentally with the confusion matrix.