http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
군용 도메인 영상에 대한 서버와 온-보드 간의 객체 검출 성능 분석
허두환(Du-Hwan Hur),박대현(Dae-Hyeon Park),김덕웅(Inha University),백재용(Jae-Yong Baek),박준형(Jun-Hyeong Bak),배승환(Seung-Hwan Bae) 한국컴퓨터정보학회 2024 韓國컴퓨터情報學會論文誌 Vol.29 No.8
본 논문에서는 제한된 자원을 가진 보드에서 딥러닝 기반 검출기 구축에 대한 실현 가능성에 대해 논의한다. 많은 연구에서 고성능 GPU 환경에서 검출기를 평가하지만, 제한된 연산 자원을 가진 보드에서의 평가는 여전히 미비하다. 따라서 본 연구에서는 검출기를 파싱하고 최적화하는 것으로 보드에 딥러닝 기반 검출기를 구현하고 구축한다. 제한된 자원에서의 딥러닝 기반 검출기의 성능을 확인하기 위해, 여러 검출기를 다양한 하드웨어 자원에서 모니터링하고, COCO 검출 데이터 셋에서 On-Board에서의 검출 모델과 On-GPU의 검출 모델을 mAP, 전력 소모량, 실행 속도(FPS) 관점으로 비교 및 분석한다. 그리고 군사 분야에 검출기를 적용한 효과를 고려하기 위해 항공 전투 시나리오를 고려할 수 있는 열화상 이미지로 구성된 자체 데이터 셋에서 검출기를 평가한다. 결과적으로 우리는 본 연구를 통해 On-Board에서 모델을 실행하는 딥러닝 기반 검출기의 강점을 조사하고, 전장 상황에서 딥러닝 기반 검출기가 기여할 수 있음을 보인다. In this paper, we propose a discussion that the feasibility of deploying a deep learning-based detector on the resource-limited board. Although many studies evaluate the detector on machines with high-performed GPUs, evaluation on the board with limited computation resources is still insufficient. Therefore, in this work, we implement the deep-learning detectors and deploy them on the compact board by parsing and optimizing a detector. To figure out the performance of deep learning based detectors on limited resources, we monitor the performance of several detectors with different H/W resource. On COCO detection datasets, we compare and analyze the evaluation results of detection model in On-Board and the detection model in On-GPU in terms of several metrics with mAP, power consumption, and execution speed (FPS). To demonstrate the effect of applying our detector for the military area, we evaluate them on our dataset consisting of thermal images considering the flight battle scenarios. As a results, we investigate the strength of deep learning-based on-board detector, and show that deep learning-based vision models can contribute in the flight battle scenarios.
박훈범(Hun-Beom Bak),배승환(Seung-Hwan Bae) 한국컴퓨터정보학회 2023 韓國컴퓨터情報學會論文誌 Vol.28 No.4
본 논문에서는 이종 모델의 특징맵 간 상관관계인 외부적 상관관계와 동종 모델 내부 특징맵 간 상관관계인 내부적 상관관계를 활용하여 교사 모델로부터 학생 모델로 지식을 전이하는 Internal/External Knowledge Distillation (IEKD)를 제안한다. 두 상관관계를 모두 활용하기 위하여 특징맵을 시퀀스 형태로 변환하고, 트랜스포머를 통해 내부적/외부적 상관관계를 고려하여 지식 증류에 적합한 새로운 특징맵을 추출한다. 추출된 특징맵을 증류함으로써 내부적 상관관계와 외부적 상관관계를 함께 학습할 수 있다. 또한 추출된 특징맵을 활용하여 feature matching을 수행함으로써 학생 모델의 정확도 향상을 도모한다. 제안한 지식 증류 방법의 효과를 증명하기 위해, CIFAR-100 데이터 셋에서 “ResNet-32×4/VGG-8” 교사/학생 모델 조합으로 최신 지식 증류 방법보다 향상된 76.23% Top-1 이미지 분류 정확도를 달성하였다. In this paper, we propose an Internal/External Knowledge Distillation (IEKD), which utilizes both external correlations between feature maps of heterogeneous models and internal correlations between feature maps of the same model for transferring knowledge from a teacher model to a student model. To achieve this, we transform feature maps into a sequence format and extract new feature maps suitable for knowledge distillation by considering internal and external correlations through a transformer. We can learn both internal and external correlations by distilling the extracted feature maps and improve the accuracy of the student model by utilizing the extracted feature maps with feature matching. To demonstrate the effectiveness of our proposed knowledge distillation method, we achieved 76.23% Top-1 image classification accuracy on the CIFAR-100 dataset with the “ResNet-32×4/VGG-8” teacher and student combination and outperformed the state-of-the-art KD methods.
Seong-Ho Lee(이성호),Seung-Hwan Bae(배승환) 한국컴퓨터정보학회 2020 韓國컴퓨터情報學會論文誌 Vol.25 No.2
본 연구는 온라인 다중 객체 추적 환경에서 모든 객체의 상태(예. 위치 및 크기) 및 identifications (IDs)를 추적하는 문제를 다룬다. 프레임들 간 검출 결과들을 연관하여 객체들의 궤도를 점진적으로 완성하는 tracking-by-detection 접근법을 기반으로 온라인 다중 객체 추적 문제를 해결하고자 한다. 정확한 온라인 연관을 수행하기 위해 이산 푸리에 변환과 부분 최소 제곱법(partial least square, PLS) 분석을 기반으로 하는 새로운 온라인 외형 학습 방법을 제안한다. 즉, 먼저 주파수 도메인에서 추적에 용이한 객체 특징량을 추출하기 위해 추적 객체에 대한 이미지를 푸리에 이미지로 변환한다. 나아가 객체간의 주파수 특징을 보다 잘 구별할 수 있도록 PLS기반 부분 공간을 학습한다. 제안된 외형 학습을 최신 신뢰도 기반 연관 기법과 결합하였고, 다중 객체 추적평가 분야에서 국제적으로 공인된 MOT 벤치마크 챌린지 데이터 셋에서 최신 다중 객체 추적 알고리즘과 비교평가를 수행하였다. In this study, we solve an online multi-object problem which finds object states (i.e. locations and sizes) while conserving their identifications in online-provided images and detections. We handle this problem based on a tracking-by-detection approach by linking (or associating) detections between frames. For more accurate online association, we propose novel online appearance learning with discrete fourier transform and partial least square analysis (PLS). We first transform each object image into a Fourier image in order to extract meaningful features on a frequency domain. We then learn PLS subspaces which can discriminate frequency features of different objects. In addition, we incorporate the proposed appearance learning into the recent confidence-based association method, and extensively compare our methods with the state-of-the-art methods on MOT benchmark challenge datasets.
생성 모델을 이용한 데이터 프리 양자화를 위한 Bit-width Aware Generator와 채널 어텐션 기반 중간 레이어 지식 증류
백재용(Jae-Yong Baek),허두환(Du-Hwan Hur),김덕웅(Deok-Woong Kim),유용상(Yong-Sang Yoo),신혁진(Hyuk-Jin Shin),박대현(Dae-Hyeon Park),배승환(Seung-Hwan Bae) 한국컴퓨터정보학회 2024 韓國컴퓨터情報學會論文誌 Vol.29 No.7
본 논문에서는 생성 모델을 이용한 데이터 프리 양자화에서 발생할 수 있는 지식 격차를 줄이기 위하여 BAG (Bit-width Aware Generator)와 채널 어텐션 기반 중간 레이어 지식 증류를 제안한다. 생성 모델을 이용한 데이터 프리 양자화의 생성자는 오직 원본 네트워크의 피드백에만 의존하여 학습하기 때문에, 양자화된 네트워크의 낮은 bit-width로 인한 감소된 수용 능력 차이를 학습에 반영하지 못한다. 제안한 BAG는 양자화된 네트워크와 동일한 bit-width로 양자화하여, 양자화된 네트워크에 맞는 합성 이미지를 생성하여 이러한 문제를 완화한다. 또한, 양자화된 네트워크와 원본 모델 간의 지식 격차를 줄이는 것 역시 양자화에서 매우 중요한 문제이다. 이를 완화하기 위해 제안한 채널 어텐션 기반 중간 레이어 지식 증류는 학생 모델이 교사 모델로부터 어떤 채널에 더 집중해서 학습해야 하는지를 가르친다. 제안한 기법의 효율성을 보이기 위해, CIFAR-100에서 학습한 원본 네트워크를 가중치와 활성값을 각각 3-bit로 양자화하여 학습을 수행하였다. 그 결과 56.14%의 Top-1 Accuracy를 달성하였으며, 베이스라인 모델인 AdaDFQ 대비 3.4% 정확도를 향상했다. In this paper, we propose the BAG (Bit-width Aware Generator) and the Intermediate Layer Knowledge Distillation using Channel-wise Attention to reduce the knowledge gap between a quantized network, a full-precision network, and a generator in GDFQ (Generative Data-Free Quantization). Since the generator in GDFQ is only trained by the feedback from the full-precision network, the gap resulting in decreased capability due to low bit-width of the quantized network has no effect on training the generator. To alleviate this problem, BAG is quantized with same bit-width of the quantized network, and it can generate synthetic images, which are effectively used for training the quantized network. Typically, the knowledge gap between the quantized network and the full-precision network is also important. To resolve this, we compute channel-wise attention of outputs of convolutional layers, and minimize the loss function as the distance of them. As the result, the quantized network can learn which channels to focus on more from mimicking the full-precision network. To prove the efficiency of proposed methods, we quantize the network trained on CIFAR-100 with 3 bit-width weights and activations, and train it and the generator with our method. As the result, we achieve 56.14% Top-1 Accuracy and increase 3.4% higher accuracy compared to our baseline AdaDFQ.