Deep Learning Based Image Restoration for Blur, Noise and Multiple Degradations

Dongwon Park Ulsan National Institute of Science and Technology 2023 국내박사

영상의 가우시안 노이즈 제거를 위한 DCT 기반의 에지 보존 Wiener 필터링

이규홍 성균관대학교 일반대학원 2023 국내석사

영상의 해상도는 초고화질로 발전하였지만, 반도체의 소형화로 인해 이미지 센서의 화소 당 수집되는 광자(Photon)의 수가 감소하여 노이즈가 영상에 끼치는 영향력이 점차 커지고 있다. 영상의 노이즈 제거는 필수적으로 선행되어야 하는 중요한 전 처리 과정(pre-processing)이며, 영상을 주파수 영역으로 변환하여 원 신호와 노이즈 신호를 분리하기 위한 연구들이 이루어지고 있다. Discrete Cosine Transform (DCT)은 영상을 주파수 영역으로 변환하는 방법 중 하나로 주파수 분해능이 우수하고, 영상 내 시각적으로 의미가 있는 정보들이 DC 주변 부 AC 계수에 위치하는 에너지 집중 현상을 특징으로 한다. 일반적으로 고주파 대역에 위치한 영상의 노이즈를 고주파 차단 필터를 이용하여 제거하지만, 고주파 대역에는 영상의 세부 정보와 에지들도 함께 포함되므로 노이즈를 제거하는 과정에서 영상의 정보들이 손실되어 선명도가 저하되는 블러링(Blurring) 현상이 나타난다. Wiener 필터는 영상의 블러링 현상을 개선하기 위한 방법으로 원 영상과 노이즈가 제거된 영상의 평균 제곱 오차(Mean Square Error)를 최소화하도록 필터가 구성되므로 원 영상을 최대한 보존하는 특징을 가진다. 이론적으로 가장 우수한 필터이지만, 원 영상 또는 노이즈의 전력 스펙트럼 밀도(Power Spectral Density)를 정확하게 알아야 최적화된 필터를 구성할 수 있다. 하지만 노이즈에 훼손된 영상에서 노이즈의 전력 스펙트럼 밀도를 추정하는 것은 매우 어려운 일이므로, 기존에 연구된 Wiener 필터링 방법과 같이 1차 필터링으로 원 영상의 예측 치를 추정하는 방법으로 접근한다. 하지만 기존의 방법은 원 영상의 예측 치를 구하기 위한 1차 필터링 과정에서 에지를 보존하는 과정이 없으므로, 영상의 세부 정보들이 손실되는 한계점이 있다. 본 논문에서는 이러한 한계점을 보완하기 위해 8x8 국부 화소 블록으로 세분하여 DCT를 수행하고, 국부 영역 별 AC 에지 계수 집합의 에지 정보를 반영한 에지 가중 양자화 테이블로 양자화를 수행하여, 영상의 에지를 비롯한 세부 정보들을 보존한다. 또한 국부 영역 별 표준 편차와 가우시안 노이즈의 표준 편차의 오차 값으로 에지가 존재하지 않는 평탄 영역을 구분하고, 평탄 영역의 노이즈를 강하게 억압하여, 1차로 노이즈가 제거되고 에지가 보존된 원 영상의 예측 치를 구한다. 국부 영역 별로 원 영상의 예측 치와 가우시안 노이즈의 분산 값으로 필터를 계산하여 Wiener 필터링을 수행하고, 국부 영역 간 블록화 현상을 방지하고 노이즈 제거의 효과를 향상시키기 위해 Full Overlap 방식으로 영상을 복원한다. 본 논문에서 제안한 DCT-based Edge preserved Wiener Filtering (DEWF) 방법은 원본 영상과 노이즈 제거 결과 영상의 Peak Signal-to-Noise Ratio (PSNR)과 Structural Similarity Index Map (SSIM) 값으로 기존의 방법과 성능을 비교하여 에지 정보를 반영한 Wiener 필터링 방법의 유의성을 판단하였다. 실험 결과, 제안한 방법이 주관적인 영상의 선명도 측면에서 블러링 현상을 감소시키고, 객관적인 수치 면에서 성능이 향상됨을 입증하였다. The resolution of images has been developed to ultra-high definition, but due to the miniaturization of semiconductors, the number of photons collected per pixel of an image sensor decreases, and the influence of noise in images is gradually increasing. Denoising of an image is an important pre-processing that must necessarily precede, and studies are being conducted to separate an original signal and a noise signal by converting an image into a frequency domain. Discrete Cosine Transform (DCT) is one of the methods of transforming an image into a frequency domain. It has excellent frequency resolution and is characterized by an energy concentration phenomenon in which visually meaningful information in an image is located in AC coefficients around DC. In general, noise in an image located in the high frequency band is removed using a high frequency cutoff filter, but since the high frequency band includes image details and edges, information in the image is lost in the process of removing noise, resulting in blurring of sharpness. The Wiener filter is a method for improving image blurring, and since the filter is configured to minimize the Mean Square Error between the original image and the noise-removed image, the original image is preserved as much as possible. Theoretically, it is the best filter, but there is a limitation that an optimized filter can be configured only when the power spectral density of the original image or noise is accurately known. However, since it is very difficult to estimate the power spectral density of noise in an image damaged by noise, we approach it by estimating the predicted value of the original image through first-order filtering, like the previously studied Wiener filtering method. However, the existing method has a limitation in detailed information loss of the image because there is no process of preserving edges in the first filtering process to obtain the predicted value of the original image. In this paper, in order to compensate for these limitations, DCT is performed by subdividing into 8x8 local pixel blocks, and quantization is performed with an edge-weighted quantization table that reflects the edge information of the AC edge coefficient set for each local area to obtain detailed information including edges of the image. In addition, the error value of the standard deviation of each local area and the standard deviation of Gaussian noise distinguishes the flat area where no edge exists, and strongly suppresses the noise first in the flat area to predict the original image with the noise removed and the edge preserved. Wiener filtering is performed by calculating a filter with the predicted value of the original image and the variance of Gaussian noise for each local area, and the image is restored using a full overlap method to prevent blocking phenomenon between local areas and improve the effect of noise removal. In this paper, the significance of DCT-based Edge preserved Wiener Filtering (DEWF) method,which reflected edge information, was judged by comparing the value by using the Peak Signal-to-Noise Ratio (PSNR) and Structural Similarity Index Map (SSIM) of the original image and the denoised image. As a result of the experiment, it was proved that the proposed method reduces the blurring phenomenon in terms of subjective image sharpness and improves the performance in terms of objective values.

Tensor Voting Based Approach for Text Extraction from Images

또안 전남대학교 대학원 2012 국내박사

영상에서 추출된 텍스트 정보는 자동 주석, 인덱싱, 언어 번역, 장애인용 보조 시스템 등에 유용한 정보를 제공한다. OCR을 사용하기 전에 컴퓨터에서 읽기 가능한 데이터로 글자 영역 인식과 변환을 위해서, 우리는 다음 몇 가지 단계를 통해 입력 영상에서 글자 영역을 추출한다: 전처리, 글자 감지, 글자 영역 지역화, 글자 분할 그리고 개선 단계이다. 많은 알고리즘이 손으로 쓴 문서 영상과 자연 장면 영상에서 글자 추출에 대한 문헌에 쓰여졌지만, 획득한 결과는 실질적인 시스템에 사용하기 충분하지 않고 많은 어려운 문제들이 여전히 남아있다. 본 연구에서, 우리는 영상들로부터 텍스트 검출을 위해 텐서보팅 기반으로 접근하는 새로운 방법을 제안하며 높은 성능과 강력한 글자 추출 시스템을 개발하는 것을 목표로 한다. 컴퓨터 비전과 기계학습의 다양한 문제를 해결하기 위한 컴퓨팅 프레임 워크인 텐서보팅은 원래 스파스 포인트(토큰)의 집합에서 지각 구조를 추출하기 위해 제안되었다. 이 연구의 가장 중요한 기여는 텍스트 지역화, 텍스트 분할, 자연 영상에 대한 텍스트 영상 개선, 손으로 쓴 글씨에 대한 텍스트 라인 분할과 같은 텍스트 영상 처리 문제에서 단순 토큰의 지각 조직화 작업으로 텍스트 영상에서 글자 추출에 텐서보팅을 활용하는 것이다. 따라서 텐서보팅은 입력 영상에서 생성된 토큰 사이의 상관 관계를 추출하고 분석하는데 사용된다. 텐서보팅 기반의 접근 방식은 일반적으로 세 가지 주요 단계를 포함한다: 1) 토큰은 입력영상에 의해 생성되고 텐서로 인코딩된다. 2) 보팅 통과는 다음 텐서에도 적용된다. 그리고 3) 결과 텐서는 추가적인 처리를 위해 입력된 토큰의 관계를 분석하는데 사용된다. 텍스트 추출에 텐서보팅이 적용된 것은 이번이 처음으로 처리 과정은 다음과 같다. 첫째, 턴서보팅은 자연 영상 처리에서 가장 어려운 작업 중 하나인 자연 영상에서 글자를 찾는데 유용하다. 같은 텍스트 라인상의 문자들은 일반적으로 한 곡선에 가까이 위치한다. 이 문자들의 곡선의 돌출 값은 높이와 자신의 위치에서 텍스트 라인의 법선 방향을 나타내는 결과 텐서의 법선 방향이다. 이 관측을 바탕으로 2-D 텐서보팅은 곡선 돌출 값과 법선 방향을 추정하기 위해 후보 문자들의 중심에 해당하는 텐서들에 적용된다. 실험결과는 텍스트 라인 정보는 잘못된 탐지를 방지하면서 텍스트 영역을 찾는 데 유용함을 보여준다. 이 아이디어는 손으로 쓰여진 문서 영상에 대한 텍스트 라인 분할로 확장 될 수 있다. 아이디어가 비슷하지만, 자연 영상에서 글자 특성과 손으로 쓰여진 문서 영상 사이의 차이 때문에 세부 사항은 다르다. 텐서보팅은 또한 컬러 특징 공간을 분석하고 컬러 영상 분할에 중요한 도구로, 컬러 클러스터링을 수행하는데 사용된다. 텐서로 컬리 특징 벡터를 나타내고 그들 사이에서 볼(ball) 보팅 절차를 수행하여 클러스터의 밀도와 구조가 자동적이고 효율적으로 추정될 수 있다. 이러한 접근 방법은 클러스터의 수와 클러스터의 중심의 위치를 추정할 수 있으며, 컬러 클러스터링에 컬러 클러스터의 구조를 고려 하고, 다른 클러스터링 방법의 약점을 극복한다. 실험 결과는 이 텐서보팅 기반의 컬러 클러스터링 기술은 주도적인 색상을 계산하는 다중 컬러 텍스트 영상에서 글자를 추출하고, 일반적인 컬러 영상을 분류하는 데 유용함을 보여준다. 마지막으로, 우리는 3-D 텐서보팅이 영상 손상 영역의 검출에 좋은 도구임을 보여준다. 자연 텐스트 영상에서 개체 또는 이진화 텍스트 영상에서 텍스트 개체에 있는 개체는 흔히 먼지, 줄무늬, 그림자, 작은 필요 없는 개체로 인해 손상된 지역으로 혼합된다. 손상된 지역의 면적은 관심 개체보다 작다는 가정을 기반으로, 3-D 텐서보팅은 자동으로 표면 돌출을 분석하고 노이즈로 간주되는 좁은 영역을 감지하는데 사용 된다. 노이즈 영역은 입력 영상의 질을 개선하기 위해 복구된다. 자동 영상 복원과 이진 텍스트 영상 개선의 두 응용프로그램으로 얻은 두 우수한 결과는 이 접근 방법이 효과적임을 보여준다. Text data extracted from images provide useful information for automatic annotation, indexing, language translation, and assistance systems for impaired persons. Before using OCRs for recognition and conversion of text regions to computer-readable data, we need to extract the text regions from input images via several processing steps: preprocessing, text detection, text localization, text segmentation, and text enhancement. Although many algorithms have been reported in the literature for extraction of text from unconstrained handwritten document images and natural scene images, the obtained results are still not good enough for practical systems and many challenging issues still remain. In this research, we present a new tensor voting based approach for extraction of text from images with the aim is to develop a high performance and robust text extraction system. Tensor voting, a computational framework for solving various problems in computer vision and machine learning, is originally proposed to extract the perceptual structures from a set of sparse points (tokens). The most important contribution of this research is to take advantage of tensor voting in extraction of text from text images by formulating text image processing problems, such as text localization, text segmentation, and text image enhancement for natural scene images and text line segmentation for unconstrained handwritten document images, as perceptual organization tasks of simple tokens. Thus, tensor voting can be used to extract and analyze the correlation among tokens generated from the input images. Tensor voting based approach usually contains three main stages: 1) the tokens are generated from input images and encoded by tensors, 2) the voting passes are then applied to the tensors, and 3) the resulting tensors are used to analyze the relationship of the input tokens which is useful for further processing. To the best of our knowledge, this is the first time tensor voting is applied to text extraction tasks which are described as follows. First, tensor voting is useful for locating text in natural scene images, which is one of the most challenging tasks in natural image processing. Since the characters of the same text line are usually situated close together on a curve, the curve saliency values of these characters are high and the normal directions of the resulting tensors represent the normal directions of the text line at their locations. Based on this observation, 2-D tensor voting is applied to the tensors corresponding to the center points of candidate characters to estimate their curve saliency values and normal directions. The experimental results show that the text line information is useful for locating text regions while preventing erroneous detections. This idea can also be extended to text line segmentation for unconstrained handwritten document images. Although the idea is similar, the details are different because of the difference between text characteristics in natural scene images and those in handwritten document images. Tensor voting is then used to analyze color feature space and perform color clustering, which is an important tool for color image segmentation. By representing color feature vectors by tensors and performing a ball voting process among them, the density and structure of clusters can be estimated automatically and efficiently. This approach can estimate the number of clusters and the locations of clusters’ centroids, take into account the structure of color clusters into color clustering, and overcome the drawbacks of other clustering methods. The experimental results show that this tensor voting based color clustering technique is useful for estimating the dominant colors, extracting text from multi-color text images, and segmenting general color images. Finally, we show that 3-D tensor voting is a good tool for detecting corrupted regions in images. The objects in natural scene text images or the text objects in binarized text images are usually mixed with corrupted regions due to dust, streaks, shadows, and small unwanted objects. Based on the assumption that the area of the corrupted regions is narrower than that of the interest objects, 3-D tensor voting is used to automatically analyze the surface saliency and detect the narrow regions which are considered as noise. The noise regions are then recovered to enhance the quality of the input images. The excellent results obtained from two applications, automatic image restoration and binary text image enhancement, show the effectiveness of this approach.

(A) Study of Image Deblurring with Partial Information

Tayyab Wahab Awan 명지대학교 대학원 2015 국내석사

Recovering a clear image from a degraded image is a challenging problem in computer vision. It is an ill-posed problem so direct methods does not resolve the problem. Most of the existing blind deblurring methods work for single case of blur. The thesis presents a novel method for image blur removal and it works for two different kind of blurred images, motion blur and out-of-focus blur. This method used some prior information from reference image which helps in reconstruction of sharp image. Proposed method used the minimization process to estimate the blur kernel and sharp image. Minimization method needs some regularization terms to reconstruct the blur kernel and sharp image. A new regularization term is introduced in the proposed method and is added to minimization term which helps to reduce the noise and in reconstruction of sharp image. This allows a simple cost formulation to be used for blind deconvolution. After the kernel estimation a non-blind method is used to recover the final deblurred image. Non-blind methods are very much effective to wrong kernel which amplifies the frequency contents which were not attenuated by the real blur kernel and it results of ringing effect in the recovered image. Prior information helps in estimation of a good and less noisy kernel in less iterations. It also helps the non-blind deconvolution process to reduce noise from the recovered image. Experiment shows that the proposed method is more robust and provides better results as compared to previous methods. 질이 좋지 않은 영상으로부터 선명한 영상으로 복구하는 것은 컴퓨터 vision에서 중요한 도전과제이다. 그것은 부적절하게 정립된 문제이기 때문에 직접적인 방법으로 문제를 해결할 수 없다. 대부분의 존재하는 blind deblurring 방법들은 한 개의 흐림 효과의 경우를 위해 동작한다. 논문은 영상 흐림 효과를 제거하는 새로운 방법을 제시한다. 그 방법은 motion blur 와 out-of-focus blur와 같은 두 종류의 blurred 영상을 위해 동작한다. 이 방법은 reference image로부터 사전정보를 사용한다. 그리고 그 영상은 sharp image의 재구성에 도움이 된다. 제시된 방법은 blur kernel 과 sharp image를 추정하기 위해 최소화 과정을 사용했다. 새로운 정규화 term은 제시된 방법에서 소개된다. 그리고 noise를 감소하고 sharp image의 재구성을 도와주는 최소화 term이 추가된다. 이것은 blind deconvolution을 사용하여 단순한 공식화를 가능하게 한다. kernel 추정 후에 non-blind 방법은 최후의 deblurred image로 복원하기 위해 사용된다. Non-blind 방법은 실제 blur kernel에 의해 감소되지 않고 복구된 영상에서 ringing effect가 되는 주파수 내용을 증폭하는 잘못된 kernel에서 매우 효과적이다. 사전정보는 좋고 덜 noisy한 kernel을 적은 반복으로 판정하는 것을 도와준다. 그것은 또한 복구된 영상으로부터 noise를 감소하기 위해 the non-blind deconvolution 과정을 도와준다. 실험은 이전의 방법들과 비교하여 제시된 방법이 더 강력하고 더 좋은 결과를 제공 한다는 것을 보여준다.

연예매니지먼트의 기업이미지가 소속 신인아티스트의 호감도 및 팬덤형성에 미치는 영향

이유리 중앙대학교 예술대학원 2019 국내석사

한국의 연예매니지먼트산업은 한류의 열풍으로 짧은 시간 동안 급속히 성장하였다. 한류는 우리나라의 국제 경쟁력을 두루 상향시킬 수 있는 현재 및 미래의 핵심 전략이다. 그러나 연예매니지먼트산업은 문화산업의 발전에 비하여 그 중요성이 대두되지 못하고 있다. 또한 다수의 연예매니지먼트는 체계적이고 과학적인 시스템을 구축하지 못하고 있다. 대표적인 예로, 최근 일어난 ‘승리 게이트’로 인하여 연예매니지먼트에 대한 부정적인 이미지가 확산되었다. 이에 따라 해당 사건에 연루된 연예매니지먼트는 주가가 하락할 뿐만 아니라 소속 연예인에 대한 불매 여론도 확산되고 있다. 따라서 본 연구에는 소속 연예인의 문제가 연예매니지먼트기업에도 영향을 미치듯 연예매니지먼트의 기업이미지가 소속 신인가수의 호감도 및 팬덤형성에 영향이 있는지 연구하여 연예매니지먼트의 영향력과 기업이미지 구축의 중요성을 알아보고자 하였다. 본 연구는 이러한 목적을 가지고, 선행연구를 통하여 기업이미지에 대한 요소로 경쟁력, 신뢰성, 감성적 매력, 사회적 책임을 도출했고 소속 신인아티스트의 호감도 구성요소로는 친숙성, 인지적 균형, 보상성, 접근성을 도출하였다. 또한 온라인 설문조사를 실시하여 실증분석을 하였다. 본 연구의 결과는 다음과 같다. 첫째, 가설 1의 검증결과 연예매니지먼트의 기업이미지는 소속 신인아티스트의 호감도에 긍정적인 영향을 미치는 것으로 분석되었다. 기업이미지의 가장 중요한 요소는 경쟁력임을 알 수 있었고 호감도에서는 친숙성이 중요한 요소임을 알 수 있었다. 둘째, 가설 2의 검증결과, 연예매니지먼트의 기업이미지는 팬덤형성에 긍정적인 영향을 미치는 것으로 분석되었다. 기업이미지의 사회적 책임이 팬덤형성에 가장 중요한 요인임을 알 수 있었다. 셋째, 소속 신인아티스트의 호감도가 팬덤형성에 긍정적인 영향을 미치는 것으로 분석되었다. 팬덤형성에서 인지적 균형이 가장 중요한 요인임을 알 수 있었다. 실증분석 결과 가설 모두 채택되었다. 이는 연예매니지먼트의 기업이미지가 소속 신인아티스트의 호감도 및 팬덤 형성에 긍정적인 영향을 미칠 것이라는 의미있는 결과로 볼 수 있다. 향후 본 연구가 연예매니지먼트의 기업이미지 구축 및 호감도 형성에 도움을 줄 것으로 기대된다. 연예매니지먼트의 기업화 및 대형화에 따라 연예매니지먼트의 기업이미지가 중요한 요인으로 부각될 것이다. 이에 따라 연예매니지먼트도 기업이미지에 대한 다양한 연구가 이루어질 필요가 있다. 연예인과 관련된 여러 가지 문제가 대두되고 있는 시점에서 더욱 긍정적인 연예매니지먼트의 기업이미지 구축을 위한 후속 연구가 이루어지길 기대한다. Korea’s entertainment business has grown rapidly for a short period of time thanks to the global phenomenon, Hallyu. This Korean Wave is a key strategy for Korea to elevate its national competitiveness in present and for the future as well. However, the importance of the entertainment business has not been discussed enough in public compared to Korea’s cultural development. In addition, majority of Entertainment companies don’t even have systematic, scientific strategy to build and secure their fame in this fast-paced society. As an example, The “Burning Sun Gate” revealed a K-Pop Crime Cartel and it has spread a negative image of Korean entertainment industry. For this reason, the company involved in the scandal not only experienced a significant drop in stock price but also the artists belong to this company are being boycotted due to this scandal. Therefore, this study examines whether the corporate image of entertainment business affects the fandom formation and favorability of new artists, to see the mutual relation of those two and to learn more about the importance of building positive corporate image. In order to measure corporate image, this study categorized 4 factors for coding, which includes: competitiveness, credibility, emotional appeal, social responsibility. On the other hand, to measure favorability of a new artist, this study categorized 4 factors for coding which includes: familiarity, cognitive balance, compensation, accessibility. To collect the data, an online questionnaire was used and total 354 questionnaires were analyzed for this research. The findings of this study are as follows. First, Hypothesis 1 was verified that favorable corporate image of the entertainment company has a positive impact on forming favorability of its new artist. Among the components of the corporate image, the most important factor is competitiveness. Similarly, familiarity is the most important factor in favorability. Second, Hypothesis 2 was verified that the corporate image of the entertainment company has a positive effect on the fandom identity formation. In response to the fandom formation, company’s social responsibility is the most important factor. Third, it was verified that the favorability of the new artist has a positive influence on the fandom formation. With regard to the fandom formation, cognitive balance was the most important factor. As a result of current study, all the hypotheses were verified. This result can be interpreted that the corporate image of the entertainment company has a positive effect on fandom formation of its new artist. By knowing this relationship, this study may provide useful insight in the future to build a solid and favorable corporate image for entertainment companies. In accordance with growing business of entertainment companies, building and maintain positive corporate image will become the most important factor as company gets larger and bigger. Therefore, in future research, it is necessary to carry out a study to find the most effective way of building a positive corporate image of entertainment company in global market. Given the circumstances which has widespread negative image of K-pop stars, it is expected to have a following research which examines the best way to build and maintain a positive corporate image for promising entertainment business.

Image reconstruction for the variable pinhole SPECT

배승빈 Korea University 2017 국내박사

SPECT is widely used as a nuclear medicine imaging device. In particular, pinhole-SPECT is being studied mainly in preclinical fields because it can obtain high-quality images. Recently, pinhole-SPECT has been designed with a detector structure that is optimized for the subject to improve detection efficiency. Image reconstruction of pinhole-SPECT simulates a subject-optimized detector structure and improves the quality of the image using appropriate correction methods. I have developed an image reconstruction technique for Variable Pinhole (VP) SPECT, which is a new type of SPECT. The developed image reconstruction was designed to cope with the flexible detection system of VP-SPECT and an acquisition-time-correction method was developed. In addition, the efficiency of image reconstruction is increased through parallel processing. Image reconstruction using a digital phantom and simulation verified that the reconstructed image accurately simulates the VP-SPECT system, and it was confirmed that the designed VP-SPECT can clearly distinguish a 0.6-mm hot-region. I analyzed the performance difference between serial processing and three parallel processing methods in five parallel computing environments and obtained the same image with a RMSE of 84.5 in all computing environments. In addition, parallel processing methods showed 2.7 ~ 18.5 times faster computation time than serial processing, depending on the parallel computing environment.

Learning unsupervised image-to-image translation with semantic supervision

정소미 Graduate School, Yonsei University 2022 국내박사

최근 심층 컨볼루션 신경망의 발전으로 인해 컴퓨터 비전의 다양한 응용 분야에서 비약적인 성능 향상을 보였다. 이러한 인간 수준의 성능을 나타내는 알고리즘을 개발하기 위해서는 풀고자 하는 문제에 맞는 다량의 학습 데이터셋이 필수적이나, 데이터 구축 및 정답 라벨 획득에 많은 비용이 들기 때문에 여전히 제한적인 성능을 나타낸다. 이미지 대 이미지 변환 기술은 이러한 데이터 부족 문제를 해결하기 위한 효과적 방법으로, 적대적 생성 신경망을 이용하여 입력 영상으로부터 현실성 있는 새로운 임의의 영상을 생성해 내는 것이 주된 목적이다. 본 학위 논문에서는 짝이 되지 않은 두 개의 이미지 군집을 이용하는 비지도 방식의 이미지 대 이미지 변환 기술에 관한 연구를 수행한다. 부족한 지도 정보로 인해 불안정성을 가진다는 단점을 극복하기 위하여 영상들간 밀집 정합 학습을 기반으로 다중 스펙트럼 영상 간 양방향성 변환 모델을 제안한다. 제공되는 정답 영상이 없기 때문에 발생하는 모호성을 극복하기 위해 영상 특징 표현자 생성 네트워크를 함께 학습을 하여, 구조적 변형이 최소화 된 영상 변환 결과를 생성한다. 두번째로, 영상 내 객체의 특성을 고려하기 위한 객체 수준의 이미지 변환 모델을 제안한다. 기존의 방식들은 영상 전체에 대해 전역적 스타일을 활용하여 영상을 변환하는 반면에, 제안하는 방식은 영상 내 객체의 클래스에 따라 지역적 스타일을 활용하여 영상 내 객체의 특성을 유지하며 적절한 스타일로 변환되는 결과를 보장한다. 본 논문에서 제안된 이미지 대 이미지 변환 기법 연구는 다양한 컴퓨터 비전 응용 분야가 직면하고 있는 데이터셋 부족 문제를 해결할 수 있다는 강점이 있다. 향후 비디오, 텍스트 등 다양한 멀티모달 정보를 활용하여 다양한 영상 변환 연구를 진행 할 수 있을 것이라 예상된다. Recent advances in deep convolutional neural networks have demonstrated high capability in various applications of computer vision and computer graphics. In this regard, a large number of annotated training datasets are necessitated; however, the acquisition of data with accurate labels is cost prohibitive and labor-intensive. To solve this data scarcity problem, image-to-image translation is an effective approach, where a realistic image is generated from input images using generative adversarial networks. In this dissertation, we study an unsupervised image-to-image translation problem between unpaired image sets by incorporating additional semantic supervision. To address the ambiguity caused by insufficient supervision, we first present a bidirectional image-to-image translation framework between multi-spectral images in addition to learning to find the dense correspondence between them. Our method utilizes feature consistent constraints that equalizes the features of the input with their translated images; hence, it can generate the translated results without structural deformation. Subsequently, we propose an instance-level image-to-image translation model using object bounding boxes. To effectively consider the characteristics of instances, we introduce a class-aware memory network that stores and infers class-specific style representations. Compared with previous methods that apply a global style for the entire image, our method exploits locally varying styles based on the class of the instance. Therefore, it can yield the translated results that maintain the characteristics of an instance and show appropriate styles for the target condition. This dissertation demonstrates that semantic supervision can improve the training stability of the unsupervised image-to-image translation networks. Furthermore, we believe that the realistic synthetic images produced from the proposed techniques can potentially benefit various computer vision applications.

이미지 메이킹의 槪念 定立과 프로그램의 效果性 分析 硏究

김경호 明知大學校 2005 국내박사

It is very important for working adolescents to discover their true ego and overcome inferiority complex in achieving their life goals they pursue. It is also essential for them to maintain good human relations with others through bridging the gap between their subjective self and objective self, and create the best images for their careers in enhancing their self-esteem and living a desirable life at work. The purposes of this study are: First, to establish the concept of image-making. Second, to verify the effectiveness of the recognition of working adolescents‘ true ego and the image-making program. Third, to verify the influence of the image-making's efficacy on human relationship. These are intended to provide fundamentals for the development of the image-making program for working adolescents. The methods of the research for the study used are documentary and experimental. In documentary study are image-related theories and late adolescents-related theories and models while in experimental study is a participation of the researcher as an instructor in the field of education for working adolescents. The target of the research is female workers currently employed in the production field in corporations (working adolescents of high-school graduates under 24). These people were divided into experimental and control groups for the verification of the effectiveness of the image-making program before and after its conduct. The image-making program consists of 4 subjects: enhancing first impression, overcoming inferiority complex, controlling facial expressions, and managing self appearance. The tools used in this research are measures of self-esteem, inferiority complex, efficacy of image-making, true ego recognition, and human relationship. For data analysis, t inspection was conducted with the sub-program of SPSS 12.0. To study the influence of the efficacy of the image-making on the human relationship of working adolescents, the regression analysis was adopted. To verify efficacy of the image-making and the proper recognition of true ego, the structural equation model with Amos 4.0 was conducted. Findings of the study are as follows: First, image-making is defined as an epithet of an individual's activities of overall control of the self-images for goal achievement and as efforts for self enhancement. Second, there are four areas found to be important: creating first impression, overcoming inferiority complex, controlling facial expressions, and managing self appearance. Finally, the image-making program has been proved to have influences on self-esteem, inferiority complex, image-making efficacy, and true ego recognition in adolescence as a result of verification on the effectiveness of the image-making program, Fourth, for the program's effectiveness verification, a tool has been developed to measure the efficacy of the image-making and the recognition of true ego. Finally, the efficacy of the image-making has an influence of human relationship for working adolescents.

골프 스폰서십이 기업이미지에 미치는 효과 분석 : 소비자 행동과 마케팅 커뮤니케이션을 중심으로

권영일 연세대학교 언론홍보대학원 2003 국내석사

스포츠 마케팅이 최근 마케팅 커뮤니케이션 수단으로 기업들의 주목을 받고 있다. 스포츠팬의 관심과 정서적 합치가 만들어 놓은 공감대가 그 어떤 상품 시장과도 비교가 되지 않을 정도로 막강한 파급효과를 가진 시장을 구축하기 때문이다. 본 연구는 기업들이 스포츠 마케팅을 어떻게 활용하고 있는지, 또 스폰서십이 기업이미지 제고에 얼마나 효과가 있는지에 대한 관심에서 진행되었다. 이에 따라 기업의 스폰서십에 대해 소비자들이 어떤 행동을 보이는가에 주목했다. 제품 자체의 품질보다는 소비자가 제품을 어떻게 지각하고, 이에 어떤 가치를 부여하는지가 더욱 중요한 시대이기 때문이다. 효과적인 연구 결과를 도출하기 위해 현재 국내기업들이 관심을 가지고 있다고 생각되는 골프 종목을 연구대상으로 선정했다. 스포츠 마케팅 효과 측정에 주로 사용하고 있는 기존의 단순노출효과 측정방법은 스폰서십을 통해 기업이나 상품이 얼마나 많은 노출이 있었는가는 알 수 있으나, 그 노출이 얼마나, 그리고 어떻게 효과적이냐는 알 수 없다. 따라서 본 연구에서는 기업이미지 구성요소와 커뮤니케이션 위계효과 모델을 이용한 설문 조사를 통해 기업들이 골프 스폰서십에 참여할 경우 소비자들은 그 기업에 대해 어떤 이미지를 가지고 있는지, 또한 어떤 마케팅 커뮤니케이션 요소에 영향을 받는지, 그리고 어떤 커뮤니케이션 효과가 있는지를 살펴보았다. 본 연구를 위해 설정된 연구문제들은 다음과 같다. 【연구문제 1】기업들의 골프 스폰서십 참여는 기업이미지에 어떤 효과를 가져다주었는가? 【연구문제 2】골프 마케팅의 여러 요소 가운데 어떠한 요소가 소비자들에게 상대적으로 더 큰 영향을 미치고 있는가? 【연구문제 3】골프 마케팅의 세부 요소들에 대한 반응도는 소비자의 커뮤니케이션 위계효과에 따라 어떻게 다르게 나타나는가? 분석기법으로는 조사대상자의 일반적 특성과 스포츠와 스포츠 후원에 대한 인식, 골프에 대한 평소 관심 정도를 파악하기 위해 빈도와 백분율을 산출하였다. 또한 가설 검증을 위해 상관관계분석(correlation), t-test 검증 및 일원변량분석(One-way ANOVA)을 실시하였다. 이 결과 도출한 몇 가지 함의를 다음과 같이 제시할 수 있다. 첫째, 골프 스폰서십은 고관여자인 골프실행층 중심의 표적마케팅은 물론, 골프를 하지 않는 저관여자 대상의 기업인지도 및 이미지 제고에도 효과적이다. 둘째, 골프 스폰서십은 소비자에게 인지도가 높으며 기업이미지에 대해 긍정적으로 인식시켜준다. 셋째, 골프 스폰서십은 기업의 고급이미지 성장이미지, 첨단·혁신이미지를 높이는데 효과적인 수단일 뿐 아니라, 소비자들의 태도도 호의적이다. 넷째, 기업들의 골프 스폰서십은 통한 마케팅 커뮤니케이션은 기업이미지와 소비자의 구매의도에 영향을 미치고 있으며, 마케팅 커뮤니케이션 효과, 특히 TV 등 매스컴에 많이 노출되었을수록 기업이미지와 소비자들의 구매 의도는 높은 것으로 나타났다. 다섯째, 골프 스폰서십은 국위선양을 할 수 있는 선수일수록 효과가 크며, 국내외 모두에서 PR효과가 높다. 기업들이 스포츠 스폰서십을 마케팅 촉진의 하나로 사용할 때, 이 결과를 고려한다면 커뮤니케이션 효과를 더욱 증진시킬 수 있을 것이다. 스폰서십은 기업이미지 제고 및 커뮤니케이션 위계효과가 뛰어나 ‘최소 비용으로 최대 효과’를 거두는, 그야말로 경제 원칙에 적합한 마케팅 커뮤니케이션 도구이다. 이처럼 본 연구는 골프선수에 대한 스포츠 스폰서십을 소비자 행동론적 입장에서 고찰하는 단초를 제공했다는 점에서 의의가 있다. 그럼에도 불구하고 기업과 소비자가 지속적이고 장기적인 관계를 설립하기 위해 골프 마케팅 분야에 대한 체계적인 연구가 필요하다. 특히 골프는 그 특성상 주요변인인 관여도, 매스미디어 이용정도, 기업의 차별성 등 3가지 변인을 모두아우르고, 보다 정교화 할 경우 스폰서십의 성공가능성은 보다 높아질 것으로 전망된다. Recently, sports marketing as means of marketing communication draws companies' attention, because sports fans' concern and their emotional conformity serve to construct a market which may have a powerful spreading effect uncomparable to any commodity market. With such a basic conception in mind, this study was aimed at analyzing how companies were using the sports marketing and how much effects their sponsorship would have on improvement of their images. To this end, consumers' behaviors towards the sponsorship of companies were analyzed. In this regard, it may well be important to analyze how consumers perceive a product and what value they attach to it rather than evaluate its quality. In order to draw a valid conclusion, the golf which was deemed to attract domestic companies' attention much was sampled. The conventional methods which are primarily used for measurement of the sports marketing effects seem to be focused on the effects of the simple exposure, on how much the exposure is effective. Thus, for this study, a model about components of corporate image and hierarchial effects of communication was developed to be used for a questionnaire survey designed to analyze how the golf sponsorship affects the company image, what marketing communication components affect the image and what communication effects it has. To this end, the study points were set as follows; 【Study point 1】What effects have the golf sponsorship had on corporate image? 【Study point 2】What golf marketing components affect consumers relatively more? 【Study point 3】How different are consumers' responses to the golf marketing depending on the hierarchial effects of consumers' communication? In order to analyze the subjects' demographic variables, their perception of sports and sports sponsorship and their ordinary interests in golf, frequencies and percentages were calculated. On the other hand, in order to test the hypotheses, correlation analysis, T-test and one-way ANOVA were applied. As a result, the following conclusions were drawn; First, the golf sponsorship may be an effective marketing tool targeting the lowly involved non-golfers., while it serves to improve reputation or image of the company for those highly involved golfers Second, the golf sponsorship is well recognized by consumes, and thereby, serves to improve the company image in a positive way. Third, the golf sponsorship is effective in featuring the company as high-class, growing, advanced and innovative company, while changing consumers' attitudes towards the company favorably. Fourth, companies' marketing communication through golf sponsorship has a positive effect on corporate image and consumers' intention of purchase. The more the sponsorship is exposed to TV and other mass media, the effect of marketing communication is higher, affecting company image and consumers' intention of purchase. Fifth, if a golf player who can help enhance nation's image is sponsored, company's P.R effect is high in and out of the nation. When companies use the sports sponsorship as means of marketing, they may be able to enhance the communication effects if they take such findings into consideration. Since the sponsorship serves to improve corporate image due to its high communication hierarchial effects, it may be a marketing tool of 'minimum cost but maximum effect'. In short, it is an economic marketing communication tool. This study may be significant in that it provides a clue for analysis of the golf sponsorship based on the theories of consumer behaviors. However, it is hoped that this study will be followed up by future studies which will research into golf marketing in a systematic way to help establish a sustainable long-term relationship between companies and consumers. Since golf may well be sponsored in terms of three variables of involvement, use of mass media and differentiated company, it can be successfully sponsored if the sponsorship is designed sophisticatedly.

Image filtering and curve evolution based on partial differential equations : 편미분방정식을 이용한 영상 필터링과 곡선의 전개

이석호 연세대학교 대학원 2003 국내박사

Partial differential equations(PDE) have been suggested recently as a sophisticated tool to develop and analyze novel techniques in image processing. Due to its well established theory, PDE based image processing algorithms have been proven as being effcient. Furthermore precise characterizations of the operations of PDE based algorithms can be made. Using these advantages, several image processing algorithms based on PDEs of parabolic type are proposed in this dissertation for the application of noise removal of still images and video sequences, image restoration, and motion tracking. Each proposed scheme possesses desirable properties that other non-PDE based algorithms do not possess. For the case of image restoration and motion tracking the proposed PDE based algorithms introduce a new approach in the field. It is shown that the proposed scheme for noise removal of still images has the property of retaining the sharpness of edges while removing the noise effectively with a convergence state. For the case of noise removal in video sequences, it is proposed to extend the anisotropic diffusion equation to a three dimensional equation. Based on the extended diffusion equation we propose a noise removal scheme for video sequences. Besides the noise removal property, it is shown that the proposed scheme has the property of removal of flickering artifact and ghost artifact. Parabolic PDEs normally treat the problem of forward diffusion. Whereas forward diffusion schemes blur the details of an image and produce a filtered image, a backward diffusion process can be used to restore a blurred image. Thus we propose a backward diffusion equation for the purpose of image restoration. The ill-posedness of the equation is subdued by regularizing the recovery speed of high frequency components by the use of an exponentially decreasing speed function. It is shown mathematically and experimentally that the proposed scheme is an optimal filtering considering the spectral characteristics of the image. Several advantages over conventional restoration algorithms are given in the text. The same formalism of PDE can be applied to curve evolution. Thus the same framework as in diffusion based image processing algorithms can be used to develop PDE based algorithms for curve evolution. Two motion adaptive curve evolution PDE based schemes are proposed for the application of motion tracking. The first scheme uses a motion adaptive gradient vector field which is calculated from the variational form of PDE. The second scheme uses an motion adaptive edge map which is generated from the proposed anisotropic directional optical flow field. Both schemes use, for its evolution of contour, the level set method, a widely applied numerical method for PDE based curve evolution. 본 논문은 편미분방정식의 영상처리에의 응용에 관계된 그동안의 연구에 대한 종합적인 기술이다. 본래 자연의 현상을 기술하는데 쓰이는 편미분방정식은그 방대하고 체계적인 이론들로 인하여 최근 몇년 사이에 영상의 분석, 처리 등에 광범위하게 적용되고 있다. 본 논문에서는 정지영상의 잡음제거, 동영상의 잡음제거, 영상복원, 그리고 물체추적등의 적용에 적합한 새로운 포물형 편미분방정식들을 설계하고 제안한다. 편미분방정식중에서 확산방정식은 주로 여상잡음제거에 이용이 된다. 그런데 확산방정식을 이용한 정지영상의 영상잡음제거는 경계선을 살리면서 잡음을 효율적으로 제거하여야 하는 어려움이 있다. 이를 해결하기 위한 여러 알고리즘들이 개발되었다. 이중 El. Falla 등에 의해 제안된 surface diffusion 모델은 mean curvature의 속도로 확산하기 때문에 경계선을 살리면서 잡음을 잘 제거해준다. 그러나 이는 수렴상태가 존재하지 않은 모델이기 때문에 외부에서 수동적인 종료를 해야하는 모델이다. 본 논문에서는 min/max 스윗치를 결합하여 수렴상태를 갖는 새로운 MCD모델을 제안한다. 그리고 모델을 반복적으로 적용하여도 그 해가 변하지 않는 안정적인 해를 갖는 것을 실험적으로 보인다. 동영상의 잡음제거에 있어서는 각 프레임별로 따로 잡음제거를 할 때 깜빡임 현상이 발생할 수 있다. 그러므로 기존의 이차원적인 확산방정식 대신에 시간축으로 확장된 이방성 확산방정식을 제안한다. 본 논문에서는 시간축상에 있는 필셀들을 방정식에 포함시킴으로써 효과적으로 잡음을 제거할 뿐만 아니라, 도영상 영상잡음제거에서 문제가 되는 깜빡임현상과 고스트 현상을 제거하는 성질까지 가지게 됨을 수식적으로, 실험적으로 증명한다. 영상잡음제거가 확산해가는 확산방정식을 쓴 반면에, 영상복원을 위해서는 시간에 따라 점진적으로 확산해가는 환산방정식의 역인 점진적으로 역확산이 일어나는 역확산방정식을 적용할 수 있다. 그러나 역확산방정식은 수학적으로 불량위치 문제이기 때문에 이를 해결하기 위해서 고주파성분들이 복원되는 속도를 조절할 필요가 있다. 본 논문에서는 고주파성분들을 지수적으로 감소하는 속도함수로 조절함으로써 안정적이고, 복원이 잘 되는 알고리즘을 제안한다. 또한 본 알고리즘에서 속도함수를 적절히 조절함으로써 필터링과 복원의 사이를 오가면서 영상잡음을 제거하는 동시에 복원을 하는 방법을 제안한다. 마지막으로 물체추적에 있어서는 움직임 적응적인 편미분방정식을 제안한다. 편미분방정식을 기하학적 snake에 응용한 연구가 많이 되어왔다. 그러나 snake의 다루기 힘든 점으로 인해 주로 영상분할에 응용되었다. 본 논문에서는 snake를 물체추적에 적용하기 위해, 움직임 정보를 포함한 gradient vector field와 방향성을 첨가한 이방성 optical flow field를 제안하여 snake를 움직이는 외부적인 힘으로 사용한다. 그리하여 물체가 분할, 합성되고 occlusion문제가 있어도 물체를 계속 추적하는 알고리즘을 개발한다.