영상신호 및 카메라 특성 분석을 이용한 실시간 영상 분류

김민준 경희대학교 대학원 2016 국내석사

영상에서 배경으로부터 객체를 분류하는 영상 분류 알고리즘은 물체 인식 및 추적 등 다양한 응용분야에서 중요하다. 본 논문에서는 고정된 카메라에서 다수의 초기 프레임을 참조하여 실시간 영상 분류 방법을 제안한다. 먼저 전경과 배경을 구분하는 확률모델을 제안하였으며 초기 프레임 동안에 카메라의 특성을 추출하여 카메라에 적응적으로 영상을 분류한다. 또한 분류된 영상에서 human의 특징을 이용하여 분류된 결과를 보정하는 방법을 제안한다. 마지막으로 제안한 알고리즘의 복잡도를 최소화 하여 실시간으로 영상을 분류한다.

실시간 철도안전 통합 감시제어시스템의 데이터 전송품질을 위한 DDS QoS 적합성 실험

김선우 경희대학교 2019 국내석사

본 논문에서는 실시간 통합 철도 안전 감시 시스템의 데이터 전송 품질 요구 사항을 만족시키기 위해 OMG DDS 표준에서 제공하는 네트워크 전송 품질을 제어 할 수 있는 DDS(Data Distribution Service) QoS(Quality of Service)에 관한 실험을 통한 분석을 진행하였다.‘실시간 통합 철도 안전 감시제어 시스템’은 철도 분야에서 다양한 센서의 데이터를 수집 및 분석하여 잠재적인 철도사고 위험을 예측하고 방지하는 시스템이다. 이 시스템에서 수집된 데이터를 정확하고 안정적으로 실시간으로 전송하려면 데이터 전송 품질을 보장해야 한다. 실험 결과에 따르면 DDS QoS를 사용하여 철도 안전을 모니터링하고 제어하기 위해 실시간으로 정확하고 안정적인 데이터 전송을 보장할 수 있다.

Extraction the Reduced P-Image from H.264/AVC Compressed Bit Stream

Nguyen, Thy Linh 경희대학교 2009 국내석사

Nowadays, various image resolutions of a video content are needed in many applications. For example, video camera needs reduced-size images to view screen while recording higher resolution images. Mobile IPTV should be able to show various-size images so that a video content could be seen in different resolutions, simultaneously. Thus, it is an essential technique to reduce the image resolution in less computational load as well as in less memory access. While the reduced image or small size image extracting DC coefficients from the H.264/AVC compressed bit-stream is sixteen times smaller than that from the original image, it still retains a significant amount of information. In this work, I propose a scheme that directly generates small-size video from H.264 compressed bit stream. Only DC values are extracted from transform coefficients of H.264 bit stream with high resolution in which DC values are defined as pixel values in the small size image. Therefore, it requires much less computational load and memory access, compared to the conventional method that fully decodes the bit stream and performs down-sampling. When the applications are just reviewing image fast and quality is not in high demand, this method is the one that takes the priority over the conventional method. This thesis proposes a method to extract a lower resolution video directly from H.264/AVC coded bit stream of high resolution. The pixel values of a reduced frame are obtained by weighing DC values of the four neighboring blocks located at the previous frame. They overlap with a block reduced to a pixel of the reduced frame. The weight can be decided by the overlap areas. Then, the intra-coded block adjacent inter blocks uses the pixels reduced from the adjacent inter blocks, as reference pixels required for the intra prediction.

강화학습의 DQN을 이용한 로봇 팔 placing 기법

배인규 경희대학교 2020 국내석사

Research on robots using deep learning is going briskly. However, the existing robot arm is used to place the FPCB by humans by tuning the robot arm. Thus, this paper developed a technique to automatically place FPCB in the tray and insert it using deep reinforcement learning. This method can be automated without damaging FPCB and can be automated only with RGB sensors without any force sensors or depth sensors. Therefore, This framework can be easily applied to FPCB of various shapes. Keyword : Reinforcement learning, Deep learning, Deep Q Network, FPCB 딥 러닝을 이용하여 여러 복잡한 문제를 해결할 수 있게 되면서 로봇에 대한 연구도 활발하게 진행되고 있다. 그러나 기존의 로봇 팔을 이용하여 FPCB를 Placing하는 방법은 사람이 FPCB에 대해 로봇 팔을 튜닝하여 사용하고 있다. 이에 본 논문은 딥 강화학습을 이용하여 FPCB를 자동적으로 트레이에 정확히 위치시켜 삽입하는 기법을 개발하였다. 이 방법은 FPCB의 훼손 없이 자동화가 가능하고, 힘 센서나 뎁스 센서 없이 오직 RGB 센서만으로 자동화가 가능한 기법이다. 또한, 시뮬레이션 환경이 아닌 Real-world 환경에서의 알고리즘 개발로 바로 Real-world에서 사용이 가능한 방법이다. 따라서, 본 논문에서 개발한 알고리즘은 다양한 모양의 FPCB에 대해 용이하게 적용이 가능하다.

Multiple domain method for generating thumbnail images from the H.264/AVC coded bit stream in the interlaced mode

Tran Nhat Huy 경희대학교 2010 국내석사

With the growth of multimedia applications, such as mobile multimedia terminals, handheld camcorders and IPTV, efficient not only management of video data but also video content indexing and retrieval have been more important. In this circumstances, thumbnail images, or reduced images, help us to be possible for rapid shot viewing and efficient content annotation. Thus, the use of thumbnail images has become more prevalent. On the other hand, H.264/AVC looks poised to be the dominant codec. H.264/AVC supports two coding mode, the progressive and interlace. One is a progressive mode which encodes/decodes macroblocks sequentially. The other is an interlace mode which consists of two fields, a top and a bottom field, separated in time and then encodes/decodes each of fields. Even if the progressive material is becoming the favorite format for production, broadcasting and consumer equipments, interlaced material is still widely used in the video world. Therefore, the thumbnail image generation in H.264/AVC bit streams should be considered for both the progressive mode and the interlace mode. There are two methods for making the reduced image of an intra frame are spatial domain method and transform domain method. The first one is down-sampling in spatial domain, while the other is DC value extraction method. Since the spatial domain method fully decodes and performs down-sampling, it causes high computational complexity. On the contrary, by directly extracting the DC value, which is an average value of an image block directly in transform domain, DC value extraction method is more efficient in computational load as well as in memory saving. However, the DC value extraction method also has disadvantages. Because Intra frame in H.264/AVC uses intra prediction which is a block-based recursive structure. Thus the rounding mismatches, when we use the different domain in encoder and decoder, can not be compensated. As a result, the error would propagate and accumulate as the intra prediction proceeds. This rounding operation in the block-based recursive structure can induce error propagation in H.264/AVC intra frame. In addition, because of the raster scanning order in an intra frame, the degradation would appear virtually at the end of frame. So, the thumbnail image generation in the interlace mode of H.264/AVC intra coded bit stream is still challenging task. In this thesis, I propose a method exploiting both spatial and transform domains in the interlace mode of H.264/AVC to generate the thumbnail image from the intra coded bit stream. The proposed method radically eliminates the source of the integer approximation errors and performs integer operations only. To do so, the proposed method obtains the averages of image blocks by summing the averages of the residual and estimate blocks required for the intra prediction step in H.264/AVC. The averages of the residual blocks are directly acquired at the transform domain while the averages of the estimate blocks are calculated at the spatial domain. And next, we extend the algorithm to the interlace mode. In performance evaluation, the developed method reduces the complexity by more than 60%, compared to the method of decoding coded bit stream then scaling down the decoded images, while producing identical thumbnail images.

Picking과 Packing 환경을 연계한 Packing 배치 구조를 생성하는 강화 학습 기법 연구

방성배 경희대학교 대학원 2023 국내박사

산업 현장에서 대량으로 제품을 배송 또는 보관하는 등의 작업에서 물체를 집거나 쌓는 작업을 수행한다. 대부분의 산업 현장에서는 인력을 동원하지만 최근에는 산업 현장을 자동화하기 위한 로봇들이 개발되고 있고 일부분이 규격화 되어 있고 단순 반복 작업들은 이미 로봇이 대체하고 있다. 최근에는 물류 자동화를 위해 규격화 되어 있지 않는 물체를 로봇이 집는 pick & place 방법과 정해진 패턴 없이 물체를 쌓는 bin packing 알고리즘이 개발되고 있다. 기존의 연구들에서 pick & place 로봇의 물체의 위치를 인식하는 방법과 packing 로봇에서 물체를 쌓는 bin packing 방법은 개별적으로 연구되어왔다. Pick & place 로봇 연구들에서는 물체들이 어수선하게 위치한 경우에도 물체의 위치를 인식하기 위한 연구들이 진행되고 있지만, 정작 packing 로봇의 bin packing 연구들에서는 물체가 순차적으로 고정된 위치에 입력된다고 가정하고 있다. 반면에 물체를 쌓기 위해서는 물체의 정확한 위치와 회전각을 알아야 하지만, 기존의 물체 인식 알고리즘들은 로봇이 물체를 집을 수 있는 대략적인 위치를 계산하였다. 그러므로 본 논문은 물체의 위치를 정밀하게 인식하기 위해 RGB 영상에서 물체의 segmentation 영역을 추출하고, segmentation 영역에 속하는 깊이 값들을 분석하여 물체의 6D pose를 정밀하게 계산하였다. 그리고 다수의 물체를 동시에 인식하는 상황에서 적합하게 bin packing 작업을 수행하기 위해 본 논문은 물체별로 용적률 성능을 파악하여, 최적의 용적률 성능을 보이는 물체를 선택하고 최적의 위치에 물체를 쌓는 bin packing 알고리즘을 개발하였다. 추가적으로 본 논문은 물체를 안정적으로 쌓기 위해 시뮬레이터를 이용해 강화학습을 진행하였고, 실제로 로봇을 구현하여, 시뮬레이션으로 개발한 로봇이 실제 환경에서 적절히 동작하는지 검증하였다.

Foreground Segmentation Using Color and Depth Characteristics

OSCAR ROBERTO SAIGUA LABRE 경희대학교 대학원 2019 국내석사

This dissertation describes how to separate moving objects from an image sequence. For this purpose, the objects are segmented using color and depth features separately. Both procedures perform their own threshold method to classify each pixel as foreground or not, using a reference image for comparing with the current image. Initially, the color segmentation method applies an adaptive threshold that aims to reduce outcomes cause by shadowing and similar colors, which may cause inaccurate results. On the other hand, the depth segmentation method performs a xed threshold based on distance, which solves missed and false results obtained in the above color segmentation. The nal segmentation is carried out by combining both color and depth foregrounds and applying threshold- ing based on experimental analysis. The proposed method shows more accurate results comparing with state of the art algorithms, because by jointing color and depth takes advantage of each feature and minimizes outliers.

Contrast Sensitivity 함수를 이용한 영상 화질 향상 방법

방성배 경희대학교 일반대학원 2015 국내석사

HD, Full HD의 영상을 너머서는 고화질의 영상들에 대한 수요로 인해 고화질에 대한 많은 연구들이 진행되고 있다. 그러나 기존의 연구들은 인간의 시각에 대한 분 석이 없이 영상 신호만을 향상시켰다. 이에 본 논문은 human visual system(HVS)의 주파수 민감도를 반영한 영상의 local contrast 향상 기법을 개발하였다. 인간의 시각은 주파수 성분에 따라 민감도 를 모델링한 contrast sensitivity function(CSF)에 따라서 주파수 성분들을 영상 신 호의 가중치로 주며 신호 방향에 적응적인 multiband energy scaling 방법을 개발 하였다. 기존의 시스템에서 능률만을 향상시키는 기존의 분석 모델과 비교하면 본 논 문에서 개발한 화질 향상 방법은 ringing artifact의 발생 없이 영상 신호의 local contrast를 향상시켰다.

DCT 영역에서 신호 gradient를 이용한 영상 화질 개선 기법에 관한 연구

신동인 경희대학교 2012 국내석사

HD급 영상이 보편화되고 있으며 더욱더 선명하고 가시적인 영상들에 대한 수요자의 요구가 증대됨에 따라 영상의 화질을 개선하기 위한 많은 연구가 진행되고 있다. 본 논문에서는 DCT 영역에서 신호의 gradient를 이용하여 영상의 가시성과 선명도를 안정적으로 향상시키는 기법을 제안한다. 제안하는 기법은 영상 화질 향상 기법을 성능과 artifacts의 상관관계를 분석하여 최적화 문제로 수식화한다. Sharpness 향상 기법에서는 sharpness 향상 강도와 노이즈 증가 사이의 상관계를 분석하여 노이즈 증폭이 최소화하면서 영상의 자세한 신호와 에지 신호를 향상시키는 방법을 제안한다. HVS contrast에서는 contrast 향상과 노이즈 증폭과 ringing artifacts 발생을 분석하여 노이즈, ringing artifacts 발생을 최소화하면서 지역별 명암 대비를 최대로 할 수 있는 방법을 제시한다. Global contrast 향상 기법에서는 blocking artifacts를 최소화하면서 global contrast 효과를 최대한 유지할 수 있는 저주파 대역 조절 방법을 제안한다. 제안하는 기법은 신호 변화의 크기와 방향을 측정하기 위해 블록 gradient를 도입한다. 제안하는 기법은 기존의 방법들과 비교하여 blocking, ringing, noise 증가 없이 가장 우수한 화질로 향상시킬 수 있음을 실험을 통하여 검증하였고, 제안하는 기법의 복잡도 증가가 미비하다는 것을 보였다. Image enhancement is to process images for improving or enhancing sharpness, HVS contrast and global contrast. In this paper, we propose that DCT based image enhancement method using signal gradient. The method derives the optimization task to enhance sharpness, HVS contrast, global contrast at maximum while maximally reducing ringing, blocking artifacts and noise boosting. The proposed sharpness enhancement enhances detail signals or edge signals in proportional to signal variation. The proposed HVS contrast increases frequency band energy with respect to both signal variation and direction. The proposed global contrast adjusts the energy of low frequency bands in inverse proportional to DC signal variation. For measuring signal variation and direction, we proposed block gradient in DCT domain. Compared to conventional image enhancement methods, the proposed method significantly improves image quality without artifacts. Also, the complexity of the proposed method is almost same as existing methods

Block Transform을 이용한 영상 크기 변환에 관한 연구 : Integer Transform domain에서 영상 크기 변환에 관한 연구

오형석 경희대학교 2007 국내석사

영상 크기 변환은 디지털 이미지의 업 샘플링 혹은 다운 샘플링을 통해 영상 크기를 변화시키기 위한 것이다. 일반적으로 압축된 이미지 크기 변환은 spatial domain에서 복호화된 후에 다시 부호화된다. 그러나 transform domain에서 압축된 이미지 크기를 변환하려면 spatial domain에서 복호화와 부호화되는 것보다 시간을 단축시키게 된다. 또한 H.264/AVC 정수 변환은 기존의 Discrete Cosine Transform(DCT)를 정수로 만듦으로서 계산량을 줄이는 장점이 있다. H.264/AVC에서 정수 DCT는 4x4 블록단위로 변환 되며, 4x4 블록을 transform domain에서 크기 변환한 블록 또한 4x4블록으로 복호화 될 수 있다. 본 논문에서는 블록 변화 기법을 이용하여 영상 scaling하는 기법을 제안한다. 제안하는 기법은 spatial domain과 frequency domain에서 up-sampling또는 down-sampling하기 중간 과정을 matrix 곱의 형태로 전개한다. 기존의 영상 scaling 기법[3]은 DFT의 multiplication-convolution 특성을 이용하여 frequency domain에서만 up-sampling또는 down-sampling 수행하는 알고리즘을 convolution의 합의 형태로 개발하였다. 따라서 기존의 방법은 H.264 /AVC에서 사용되는 근사화 DCT에는 적용하기가 어렵다. 반면에 제안하는 기법은 각각의 과정을 matrix 형태로 전개해 나감으로써 PF와 정수 DCT kernel을 분리할 수 있어서 H.264/AVC에서 사용하는 정수 DCT이용하여서도 영상의 up-sampling과 down-sampling을 가능하도록 한다. 제안하는 기법은 정수 연산이기 때문에 H/W 구현 시 shift와 덧셈으로 구현 가능하며, bit precision 연산의 오류가 발생되지 않으며, H.264/AVC의 정수 DCT를 이용하기 때문에 최근에 보편적으로 사용하는 표준화된 H.264/AVC 코덱에 적용 할 수 있는 장점들이 있다.