엣지컴퓨팅 기반 객체검출 및 팬-틸트-줌 (PTZ) 제어를 활용한 다중객체 순차추적 방법

전광명,김경봉,안형준,류인철,최우열 한국차세대컴퓨팅학회 2020 한국차세대컴퓨팅학회 논문지 Vol.16 No.5

In this paper, a method for sequential tracking of multi-object using edge computing-based object detection and Pan-Tilt-Zoom (PTZ) control is proposed. The proposed method performs PTZ control in two procedures, which are patrol stage and sequential tracking stage. In the patrol stage, the proposed method firstly moves the camera’s angle of view to the reference point then follows the predefined moving procedure for sequential patrol. During the patrol, object detection and identifier assignment are conducted on inputted video frames to recognize incident of the predefined abnormal situations. In case the abnormal situation is on going, the proposed method switches the mode into sequential tracking stage, and by the predefined rules and current situations, assigns the tracking priorities. Followed by the priority, the proposed method conducts PTZ controls in sequential order to capture each objects related to the incident. After all the sequential tracking is over, the proposed method returns back to the angle of view at which the initial abnormal situation was recognized, and then repeats the sequential tracking if the abnormal situation still exists, and returns to the patrol stage otherwise. In order to evaluate the performance of the proposed method, an experiment was designed according to the scenario of immediately recognizing traffic accidents in the school zone. As a result of the experiment, the proposed method proved its effectiveness by showing an F1 score of 0.95 for discriminating abnormal situations with showing a processing speed of 24 frames per seconds. 본 논문에서는 엣지컴퓨팅 기반 객체검출 및 Pan-Tilt-Zoom (PTZ) 제어를 활용한 다중객체의 순차추적 방법을 제안한다. 제안하는 방법은 순찰단계와 순차추적단계로 나누어 PTZ 제어를 수행한다. 먼저 순찰 단계에서 카메라의 화각을 기준점으로 이동시킨 후 사전 정의된 이동 패턴에 따라 순찰 기동을 반복 수행한다. 순찰 기동 중 입력되는 모든 영상 프레임에서 사전 정의된 이상상황의 발생여부를 확인하기 위하여 객체검출 및 식별자 부여를 수행한다. 이상상황이 발생중이라고 판단되면 제안하는 방법은 순차추적단계로 진입하여 사전에 정의된 규칙과 현재 상황이 반영된 객체별 우선 추적 순위를 설정한다. 이 순위에 따라 제안하는 방법은 각 객체를 집중 촬영하기 위한 PTZ 제어를 순차적으로 수행한다. 순차추적이 모두 끝나면 제안하는 방법은 이상상황을 처음 인지한 화각으로 돌아간 뒤 여전히 이상상황이 존재한다면 순차추적을 반복하고, 그렇지 않다면 순찰단계로 돌아오게 된다. 제안하는 방법의 성능을 평가하기 위해 스쿨존에서의 돌발상황을 즉시 인지하는 시나리오에 맞춰 실험을 설계하였다. 실험결과, 제안하는 방법은 0.951의 F1 Score로 이상상황을 판별하면서 24 frame per seconds의 처리 속도를 보이며 그 유효성을 입증하였다.

Multi-band Approach to Deep Learning-Based Artificial Stereo Extension

전광명,박수연,천찬준,박남인,김홍국 한국전자통신연구원 2017 ETRI Journal Vol.39 No.3

In this paper, an artificial stereo extension method that creates stereophonic sound from a mono sound source is proposed. The proposed method first trains deep neural networks (DNNs) that model the nonlinear relationship between the dominant and residual signals of the stereo channel. In the training stage, the band-wise log spectral magnitude and unwrapped phase of both the dominant and residual signals are utilized to model the nonlinearities of each sub-band through deep architecture. From that point, stereo extension is conducted by estimating the residual signal that corresponds to the input mono channel signal with the trained DNN model in a sub-band domain. The performance of the proposed method was evaluated using a log spectral distortion (LSD) measure and multiple stimuli with a hidden reference and anchor (MUSHRA) test. The results showed that the proposed method provided a lower LSD and higher MUSHRA score than conventional methods that use hidden Markov models and DNN with full-band processing.

TV 시청환경에서 실내잡음에 의한 스트레스 평가 및 음향 데이터베이스

전광명,유승우,김홍국 사단법인 인문사회과학기술융합학회 2015 예술인문사회융합멀티미디어논문지 Vol.5 No.3

In this paper, we propose a stress assessment method of indoor noise in a TV-watching environment, which is based on a subjective listening test using TV contents and indoor noises. To this end, mental and hearing health assessments are first conducted on participants to evaluate whether they are suitable for performing the listening test. Next, the participants who are eligible to the test are requested to give a subjective stress score for each indoor noise that is played while watching TV contents. In this case, each noise is manipulated according to its type and loudness. Simultaneously, a database (DB) of the TV contents and the indoor noises for stress assessment is collected by binaural recording though a dummy head located on a televiewer’s position in a real-life TV watching environment. In order to demonstrate the usefulness of the proposed stress assessment method, we constructed a sound DB that was composed of 10 hours of five different TV audio contents and 2 hours of 28 different types of indoor noise. After that, we performed MMPI2-RF based mental health assessments, pure-tone audiometry, and a listening test based stress assessment for 10 participants, which resulted in the statistics of stress score for 2 hours. 본 논문에서는 TV 시청 환경에서의 실내잡음에 의한 스트레스 평가방법을 제안한다. 제안된 스트레스 평가방법은 TV 콘텐츠 및 실내잡음에 대한 청취평가를 기반으로 한다. 우선, 평가 참여자에 대한 심리검사 및 청력검사를 통해 청취평가에 대한 적합 여부를 파악한다. 이렇게 청취평가 적합 집단에 속하게 된 평가 참여자들은 TV 콘텐츠 시청 중 임의로 발생하는 실내잡음에 대해 주관적인 스트레스 지수를 기입하게 한다. 이때 사용하는 TV 콘텐츠 및 실내잡음 데이터베이스 구축을 위해 실제의 TV 시청 환경에서 TV 시청자 위치에 배치된 dummy head를 통해 binaural recording을 진행한다. 제안된 스트레스 평가방법의 타당성을 검증하기 위해, 우선 총 10시간 분량의 5가지 TV 콘텐츠 및 총 2시간 분량의 28가지 실내잡음으로 구성된 음향 데이터베이스를 구축하였다. 그리고 나서, 10명의 평가 참여자에 대해 Minnesota multiphasic personality inventory 2 - restructured form (MMPI2-RF) 기반 심리검사, 순음청력검사, 그리고 청취평가 기반 스트레스 평가를 진행하였으며, 이로부터 2시간 분량의 스트레스 지수 통계를 얻을 수 있었다.

영상기반 축산동물 관리를 위한 회전형 동물검출 신경망 연구

전광명,안형준,주소현,류인철,권솔빈,정진우,이용기 한국통신학회 2023 韓國通信學會論文誌 Vol.48 No.10

This paper introduces a rotated animal detection neural network for livestock management utilizing image analysis. The neural network estimates the width, length, and rotation direction of the animal's torso to accurately define the detection area of each individual livestock animal in the image. Unlike the existing method that expresses the detection area as a rectangle, our approach minimizes the surrounding area except for the animal's body, regardless of its direction in the image. This makes it applicable in livestock management environments with densely packed animals. We prepared 26,208 images of pig farms from 7 farms and 1 virtual farm to verify our proposed method. We trained our proposed method and the existing rectangular output format using this data and evaluated both using 1,333 unseen/untrained images. Our proposed method showed an mAP50 value of 0.9534, outperforming 9.04% better than the conventional method. Additionally, we confirmed that the proposed neural network has a low computational load of 13.0 GFLOPS and can be implemented at a processing rate of 29.87 FPS on an embedded device with a Maxwell GPU with 128 cores. Therefore, our proposed neural network can be effectively employed in an edge computing paradigm, even at livestock sites without internet access.

가축 전염병 예측을 위한 지능형 센서 네트워크

전 광명,박 도진,임 채준 조선대학교 IT연구소 2021 정보기술융합공학논문지 Vol.11 No.2

가축 질병은 농가의 비용 증가로 인한 소득 감소의 중대한 요인 중 하나이며, 특히 가축 전염병은 확산방지를 위하여 광범위한 살처분이 이루어지기에 그 피해가 더 심각하다. 전염병의 발생 원인으로는 축사 방역 시설이 열악하고 농가와 축산관련자의 방역 의식이 낮거나 농장 및 방역 현장에서 비용과 인력, 방역 의식 문제로 법을 지키지 않는 경우등을 원인으로 꼽을 수 있다. 가축 전염병의 사전 통제를 위해 본 논문에서는 가축 전염병 예측을 위한 지능형 센서 네트워크를 제안한다. 제안된 방법은 가축 농장 내에는 카메라와 환경 센서를 통해 입력받은 값을 인공지능 모델로 판단하여 관련 정보 및 도출된 정보를 컬럼 지향 데이터베이스에 저장하고 관리한다. 구체적으로 가축 전염병 발생과 높은상관성을 지니는 농장 간 차량 이동, 농장 소독, 급이 패턴, 동물 활동성, 그리고 야생동물 출몰의 5가지 관리 요소를실시간으로 모니터링하고 정보를 취합하기 위한 멀티모달 사물지능 센서간 네트워크를 구성한다. 제안된 방법의 실효성을 검증하기 위해서, 전라남도 소재 800두 규모의 모돈 번식 농장에 제안방법의 테스트베드를 구축하고 6개월간 운영하며 관리 요소별 측정 및 분석 데이터를 수집하였다. 테스트베드 운영결과, 가축 전염병 발생 예측확률이 운영 전28.33%에서 6.67% 수준으로 낮아진 것을 확인할 수 있었으며, 이는 가축 전염병 예방을 위한 주요 방역 지침들이 정량적으로 평가되고 관리될 수 있음을 보였다. Livestock disease is one of the major factors in the decrease in income due to the increase in the cost of farm households. In particular, livestock infectious diseases are more serious because of widespread culling to prevent the spread. The causes of infectious diseases include poor quarantine facilities in livestock pens, low awareness of quarantine among farms and livestock related people, and non-compliance with laws due to cost, manpower, and awareness of quarantine at farms and quarantine sites. For the proactive control of livestock epidemics, this paper proposes an intelligent sensor network for predicting livestock epidemics. The proposed method determines the input values through the camera and environmental sensors in the livestock farm as an artificial intelligence model, and stores and manages the related information and the derived information in a column-oriented database. Specifically, it monitors and collects information in real time by five management factors: vehicle movement between farms, farm disinfection, feeding patterns, animal activity, and wild animal appearance, which have a high correlation with the occurrence of livestock epidemics. In order to verify the effectiveness of the proposed method, a test bed of the proposed method was built on an 800-head sow breeding farm in Jeollanam-do, operated for 6 months, and measurement and analysis data for each management element were collected. As a result of the test bed operation, it was confirmed that the prediction probability of the occurrence of livestock infectious diseases was lowered from 28.33% before operation to 6.67%, which showed that major quarantine guidelines for the prevention of livestock infectious diseases can be quantitatively evaluated and managed.

선박 잡음 환경에서의 강건한 음성 인식 기반 육해상 통합 관광 정보 안내 시스템

전광명(Kwang Myung Jeon),이장원(Jang Won Lee),박지훈(Ji Hun Park),이성로(Seong Ro Lee),이연우(Yeonwoo Lee),맹세영(Se Young Maeng),김홍국(Hong Kook Kim) 한국통신학회 2013 韓國通信學會論文誌 Vol.38 No.2(융합기술)

이중 마이크로폰을 이용한 비음수 행렬분해 기반 다중음원 도래각 예측

전광명(Kwang Myung Jeon),김홍국(Hong Kook Kim),유승우(Seung Woo Yu) 대한전자공학회 2017 전자공학회논문지 Vol.54 No.2

평균음성을 이용한 교차성별 음성변환 기반 소용량 음성합성

전광명(Kwang Myung Jeon),박남인(Nam In Park),김홍국(Hong Kook Kim) 한국HCI학회 2012 한국HCI학회 학술대회 Vol.2012 No.1

본 논문에서는 평균음성을 이용한 교차성별 음성변환 기술에 바탕을 둔 소용량의 음성합성 방식을 제안한다. 제안된 음성합성 방식은 평균음성 모델로부터 중성화된 음성합성 특징을 추출하고, 추출된 특징에 주파수 와핑과 피치 변환을 가해 원하는 성별의 합성음성을 생성한다. 제안하는 방법은 원하는 성별의 음성을 얻기 위해 남녀 각각의 음성모델을 지녀야 하는 기존의 화자 의존형 음성합성과는 달리 평균음성 모델 하나만으로도 남녀 각각에 대한 음성을 얻을 수 있다. 성능 평가 결과 제안된 소용량 음성합성 방법은 기존의 화자 의존 방식 대비 52% 낮은 요구 저장공간으로도 유사한 수준의 음성 품질 만족도를 보여주었다. In this paper, we propose a small-footprint speech synthesis method based on cross-gender voice conversion by using average-voices. The proposed speech synthesis method extracts gender-averaged speech features from average-voice models, and then it generates desired gender specific synthesized speech by performing frequency warping and pitch conversion on the extracted features. The proposed method is able to obtain both male and female speeches by using only one average-voice model, while the conventional method requires two separate speech models corresponding to male and female. It is shown from evaluation results that the proposed speech synthesis method provides comparable speech quality with less storage size of 52%, compared to the conventional method.

TV 시청환경에서의 실내소음의 스트레스 평가를 위한 소음 데이터베이스 설계

전광명(Kwang Myung Jeon),이동윤(Dong Yun Lee),유승우(Seung Woo Yu),김홍국(Hong Kook Kim) 한국방송·미디어공학회 2014 한국방송공학회 학술발표대회 논문집 Vol.2014 No.11

고품질의 HMM 기반 음성합성을 위한 효율적인 음성 파라메터 표현

전광명(Kwang Myung Jeon),김덕수(Duk Su Kim),김남수(Nam Soo Kim),장준혁(Joon Hyuk Chang),김홍국(Hong Kook Kim),민상원(Sang-Won Min),이성로(Seong Ro Lee) 한국통신학회 2011 한국통신학회 학술대회논문집 Vol.2011 No.6