멀티모달 다중 카메라의 영상 보정방법

임수창,김도연,Lim, Su-Chang,Kim, Do-Yeon 한국정보통신학회 2015 한국정보통신학회논문지 Vol.19 No.9

멀티모달 다중 카메라 시스템은 동일 기종이 아닌 적외선 열화상 카메라와 광학 카메라를 이용하여 구성한 스테레오 형태의 시스템이다. 본 논문에서는 열화상 카메라와 광학카메라에서 동시에 인식이 가능한 전용 타겟을 제작하여 스테레오 보정을 진행하였다. 일반적인 스테레오 교정에서는 두 카메라 사이의 내부 파라미터와 외부 파라미터를 이용하여 교정을 진행 하지만, 본 연구에서는 각각의 영상에서 코너점을 검출하고, 검출된 코너점의 좌표를 이용하여 두 영상 사이의 픽셀 오차율, 영상의 회전정도 및 영상의 크기 차이를 구한다. 이를 이용하여 기하학적 변환중 하나인 어파인 변환을 이용하여 보정을 진행 하였으며, 최종적으로 보정된 영상에 매핑되는 영역을 재구성하여 최종 결과 영상을 구했다. Multimodal dual camera system has a stereo-like configuration equipped with an infrared thermal and optical camera. This paper presents stereo calibration methods on multimodal dual camera system using a target board that can be recognized by both thermal and optical camera. While a typical stereo calibration method usually performed with extracted intrinsic and extrinsic camera parameter, consecutive image processing steps were applied in this paper as follows. Firstly, the corner points were detected from the two images, and then the pixel error rate, the size difference, the rotation degree between the two images were calculated by using the pixel coordinates of detected corner points. Secondly, calibration was performed with the calculated values via affine transform. Lastly, result image was reconstructed with mapping regions on calibrated image.

지역적 가중치 파라미터 제거를 적용한 CNN 모델 압축

임수창,김도연,Lim, Su-chang,Kim, Do-yeon 한국정보통신학회 2018 한국정보통신학회논문지 Vol.22 No.9

CNN은 객체의 특징을 추출하는 과정에서 많은 계산량과 메모리를 요구하고 있다. 또한 사용자에 의해 네트워크가 고정되어 학습되기 때문에 학습 도중에 네트워크의 형태를 수정할 수 없다는 것과 컴퓨팅 자원이 부족한 모바일 디바이스에서 사용하기 어렵다는 단점이 있다. 이러한 문제점들을 해결하기 위해, 우리는 사전 학습된 가중치 파일에 가지치기 방법을 적용하여 연산량과 메모리 요구량을 줄이고자 한다. 이 방법은 3단계로 이루어져 있다. 먼저, 기존에 학습된 네트워크 파일의 모든 가중치를 각 계층 별로 불러온다. 두 번째로, 각 계층의 가중치에 절댓값을 취한 후 평균을 구한다. 평균을 임계값으로 설정한 뒤, 임계 값 이하 가중치를 제거한다. 마지막으로 가지치기 방법을 적용한 네트워크 파일을 재학습한다. 우리는 LeNet-5와 AlexNet을 대상으로 실험을 하였으며, LeNet-5에서 31x, AlexNet에서 12x의 압축률을 달성 하였다 CNN requires a large amount of computation and memory in the process of extracting the feature of the object. Also, It is trained from the network that the user has configured, and because the structure of the network is fixed, it can not be modified during training and it is also difficult to use it in a mobile device with low computing power. To solve these problems, we apply a pruning method to the pre-trained weight file to reduce computation and memory requirements. This method consists of three steps. First, all the weights of the pre-trained network file are retrieved for each layer. Second, take an absolute value for the weight of each layer and obtain the average. After setting the average to a threshold, remove the weight below the threshold. Finally, the network file applied the pruning method is re-trained. We experimented with LeNet-5 and AlexNet, achieved 31x on LeNet-5 and 12x on AlexNet.

CNN과 학습 가능한 상관필터를 결합한 객체 추적 알고리즘

임수창,김종찬 한국멀티미디어학회 2023 멀티미디어학회논문지 Vol.26 No.1

Object tracking is considered a challenging problem due to various environmental changes contained in the video sequence. Object tracking is the use of information given in the first frame to estimate the area and trajectory of a target object in a video sequence. In this paper, we propose an algorithm for object tracking using multi-scale feature maps of Resnet-50 and correlation filters. To accommodate changes in object scale, we create an appearance model using different sized feature maps extracted from each block in the network. In order to maintain the robustness of the appearance model, it is adaptively updated according to the peak value of the response map when occlusion occurs due to obstacles. Experiments result using the OTB2015 dataset showed that the proposed algorithm achieved competitive results on several image attribution such as low resolution, scale variation, occlusion and out of view.

지역 중첩 신뢰도가 적용된 샴 네트워크 기반 객체 추적 알고리즘

임수창,김종찬 한국전자통신학회 2023 한국전자통신학회 논문지 Vol.18 No.6

Object tracking is used to track a goal in a video sequence by using coordinate information provided as annotation in the first frame of the video. In this paper, we propose a tracking algorithm that combines deep features and region inference modules to improve object tracking accuracy. In order to obtain sufficient object information, a convolution neural network was designed with a Siamese network structure. For object region inference, the region proposal network and overlapping confidence module were applied and used for tracking. The performance of the proposed tracking algorithm was evaluated using the Object Tracking Benchmark dataset, and it achieved 69.1% in the Success index and 89.3% in the Precision Metrics.

Siamese Network의 특징맵을 이용한 객체 추적 알고리즘

임수창,박성욱,김종찬,류창수,Lim, Su-Chang,Park, Sung-Wook,Kim, Jong-Chan,Ryu, Chang-Su 한국멀티미디어학회 2021 멀티미디어학회논문지 Vol.24 No.6

In computer vision, visual tracking method addresses the problem of localizing an specific object in video sequence according to the bounding box. In this paper, we propose a tracking method by introducing the feature correlation comparison into the siamese network to increase its matching identification. We propose a way to compute location of object to improve matching performance by a correlation operation, which locates parts for solving the searching problem. The higher layer in the network can extract a lot of object information. The lower layer has many location information. To reduce error rate of the object center point, we built a siamese network that extracts the distribution and location information of target objects. As a result of the experiment, the average center error rate was less than 25%.

배경 모델 학습을 통한 객체 분할/검출 및 파티클 필터를 이용한 분할된 객체의 움직임 추적 방법

임수창,김도연,Lim, Su-chang,Kim, Do-yeon 한국정보통신학회 2016 한국정보통신학회논문지 Vol.20 No.8

실시간영상에서 객체의 분할 및 추적은 침입자 감시와 로봇의 물체 추적, 증강현실의 객체 추적등 다양한 분야에서 사용되고 있다. 본 논문에서는 초기 입력 영상의 일부를 학습하여 배경모델로 제작한 후, 배경제거 방법을 이용하여 움직이는 객체의 분할을 통해 객체를 검출하였다. 검출된 객체의 영역을 기반으로 HSV 색상히스토그램과 파티클 필터를 이용하여 객체의 움직임을 추적하는 방법을 제안한다. 제안한 분할 방법은 평균 배경모델을 이용한 방법보다 주변환경 변화의 영향을 적게 받으며, 움직이는 객체의 검출 성능이 더욱 우수하였다. 또한 단일 객체 및 다수의 객체가 존재하는 환경에서 추적 객체가 유사한 색상 객체와 겹치는 경우, 추적 객체의 영역 절반 이상이 가려지는 경우에도 지속적으로 추적하는 결과를 얻을 수 있었다. 2개의 비디오 영상을 사용한 실험결과는 평균 중첩율 85.9%, 추적률 96.3%의 성능을 보여준다. In real time video sequence, object segmentation and tracking method are actively applied in various application tasks, such as surveillance system, mobile robots, augmented reality. This paper propose a robust object tracking method. The background models are constructed by learning the initial part of each video sequences. After that, the moving objects are detected via object segmentation by using background subtraction method. The region of detected objects are continuously tracked by using the HSV color histogram with particle filter. The proposed segmentation method is superior to average background model in term of moving object detection. In addition, the proposed tracking method provide a continuous tracking result even in the case that multiple objects are existed with similar color, and severe occlusion are occurred with multiple objects. The experiment results provided with 85.9 % of average object overlapping rate and 96.3% of average object tracking rate using two video sequences.

원전 적용을 위한 네트워크 기반 취약점 스캐너의 비교 분석

임수창,김도연,Lim, Su-chang,Kim, Do-yeon 한국정보통신학회 2018 한국정보통신학회논문지 Vol.22 No.10

원자력 발전소는 주요 국가에서 관리하는 핵심 시설로 보호되고 있으며, 원자력 발전소의 설비들에 일반적인 IT 기술을 적용하여 기존에 설치된 아날로그 방식의 운용자원을 제외한 나머지 자산에 대해 디지털화된 자원을 활용하는 비중이 높아지고 있다. 네트워크를 사용하여 원전의 IT자산을 제어하는 것은 상당한 이점을 제공할 수 있지만 기존 IT자원이 지닌 잠정적인 보안 취약점(Vulnerability)으로 인해 원자력 시설 전반을 위협하는 중대한 사이버 보안 침해사고를 야기할 수 있다. 이에 본 논문에서는 원전 사이버 보안 취약점 규제 요건과 기존 취약점 스캐너의 특징 및 이들이 지닌 요건들을 분석하였고, 상용 및 무료 취약점 스캐너를 조사 하였다. 제안된 적용 방안을 바탕으로 취약점 스캐너를 원전에 적용할 시 원전의 네트워크 보안 취약점 점검 효율성을 향상시킬 수 있을 것으로 판단된다. Nuclear power plants(NPPs) are protected as core facilities managed by major countries. Applying general IT technology to facilities of NPPs, the proportion of utilizing the digitized resources for the rest of the assets except for the existing installed analog type operating resources is increasing. Using the network to control the IT assets of NPPs can provide significant benefits, but the potential vulnerability of existing IT resources can lead to significant cyber security breaches that threaten the entire NPPs. In this paper, we analyze the nuclear cyber security vulnerability regulatory requirements, characteristics of existing vulnerability scanners and their requirements and investigate commercial and free vulnerability scanners. Based on the proposed application method, we can improve the efficiency of checking the network security vulnerability of NPPs when applying vulnerability scanner to NPPs.

객체 추적을 위한 보틀넥 기반 Siam-CNN 알고리즘

임수창(Su-Chang Lim),김종찬(Jong-Chan Kim) 한국멀티미디어학회 2022 멀티미디어학회논문지 Vol.25 No.1

컨볼루션 신경망의 특징맵을 사용한 객체 추적

임수창(Suchang Lim),김도연(Do Yeon Kim) 한국멀티미디어학회 2017 멀티미디어학회논문지 Vol.20 No.2

FFT 적용을 통한 Convolution 연산속도 향상에 관한 연구

임수창(Su-Chang Lim),김종찬(Jong-Chan Kim) 한국멀티미디어학회 2021 멀티미디어학회논문지 Vol.24 No.11