Face De-identification Using High-Quality Face Caricatures : 고품질 얼굴 캐리커처를 이용한 얼굴 비식별화

Lamyanba Laishram 경북대학교 대학원 2024 국내박사

Face recognition in surveillance has exponentially grown, using advanced algorithms to enhance security and monitor public spaces. However, this raises significant privacy concerns, including ethical, social, and technological issues related to collecting, storing, and using facial data, potential misuse, and unauthorized tracking. Face de-identification has become a well-known approach for addressing these privacy-related problems. Its goal is to hide identifying and sensitive traits, producing realistic faces that preserve anonymity without sacrificing their utility. Face de-identification techniques show promise, but they are hindered by two main issues: the indistinguishability of de-identified faces and the loss of facial characteristics. Indistinguishability refers to the difficulty in determining whether a face has been altered because de-identified faces look so realistic. This inability can be misused, potentially leading to the misidentification of innocent people as wanted criminals. It poses significant risks to individuals' lives, potentially causing wrongful accusations and legal troubles. Additionally, face de-identification methods fail to retain essential facial attributes like expressions and emotions, which are crucial in contexts such as human-computer interaction and social behavior analysis. Moreover, current de-identification techniques lack the ability to incorporate human perception in the identification process. Addressing these challenges requires finding a balance between making faces indistinguishable and preserving essential facial features. It is also crucial to consider how humans perceive these faces to ensure the recognition ability is not compromised. We have carefully designed our face de-identification technique to tackle each of the above challenges. We introduced a novel method that uses face caricatures to overcome the problem of indistinguishability and make de-identified faces clearly distinct. These caricatures are designed to be distinguishable visually to human audiences, yet they can still be recognizable by facial recognition systems. Our de-identification technique balances the trade-off between a user incorrectly recognizing the original identity as a well-known celebrity and the precision of a facial recognition model in identifying the original face. It does this by taking into account both human perception and facial recognition models. Furthermore, by employing attribute-preserving losses, our approach successfully maintains the original face qualities, guaranteeing the preservation of crucial facial features. The proposed method comprises three main components: face caricature generation, face caricature projection, and face de-identification. In the generation phase, we create caricature faces from real images by exaggerating features such as the eyes and mouth. These caricatures are then used to train a generative model capable of producing various caricature styles, including addressing facial occlusions like eyeglasses. During the caricature projection phase, an input real image is transformed into a caricature face while still preserving the facial attributes. In order to de-identify, we take the original face and utilize a celebrity's face as a reference to eliminate identifiable traits, so making the original face anonymous. To validate our method, we perform qualitative and quantitative experiments, along with user studies, to compare our results with other face caricature and de-identification techniques. These experiments demonstrate the method's distinctiveness, practical applicability, and robustness, effectively balancing human perception and automated facial recognition while preserving essential facial attributes. 감시 시스템에서 얼굴 인식 기술은 보안 강화와 공공장소 모니터링을 위해 여러 알고리즘을 사용하여 급격히 발전하였다. 그러나 이는 얼굴 데이터의 수집, 저장 및 사용과 관련된 윤리적, 사회적, 기술적 문제를 포함하여 상당한 개인정보 보호 문제를 일으키며 잠재적 오용 및 비인가 남용 문제도 여기에 포함된다. 얼굴 비식별화는 이러한 개인정보 보호 문제를 해결하기 위한 접근 방식으로, 식별에 민감한 속성을 숨기면서 이미지의 실용성을 희생하지 않고 익명성을 유지하는 현실적인 얼굴을 생성하는 것이 목표이다. 얼굴 비식별화 기술은 유망하지만, 비식별화된 얼굴의 구별 불가능성과 얼굴 속성의 손실에서 한계가 있다. 구별 불가능성은 비식별화된 얼굴이 너무 현실적으로 보여 얼굴이 변경되었는지를 판단하기 어려운 문제를 의미한다. 이러한 문제는 무고한 사람들을 수배범으로 잘못 식별하는 등의 오용 가능성이 있으며, 이는 개인의 삶에 상당한 위험을 초래하고 부당한 법적 문제를 일으킬 수 있다. 또한, 얼굴 비식별화는 인간과 컴퓨터 간의 상호작용 및 사회적 행동 분석에서 중요한 표정과 감정 같은 필수적인 얼굴 속성을 유지하지 못한다. 현재의 비식별화 기술은 식별 과정에서 인간의 인식을 적용할 수 없다는 한계도 가지고 있다. 이러한 문제를 해결하기 위해 얼굴의 구별 불가능성과 필수적인 특징을 유지하는 것 사이의 균형을 찾아야 하며 인간이 얼굴을 인식하는 방법을 고려할 필요가 있다. 본 논문에서는 위의 도전 과제들을 해결하기 위해 새로운 얼굴 비식별화 방법을 제안한다. 앞서 제시된 구별 불가능성 문제를 극복하고 비식별화된 얼굴을 명확히 구별하기 위해 얼굴 캐리커처가 사용된다. 이러한 캐리커처는 사람이 시각적으로 구별할 수 있도록, 그리고 여전히 얼굴 인식 모델에 의해 인식될 수 있게 설계되었다. 본 논문의 비식별화 방법은 원래의 신원을 유명 인사로 잘못 인식하게 하는 것과 얼굴 인식 모델이 원본 얼굴을 식별하는 정확성 간의 균형을 유지한다. 이는 인간의 인식과 얼굴 인식 모델을 모두 고려하며 속성 보존 손실을 사용함으로써 원본 얼굴의 중요한 특징 보존을 보장한다. 제안된 방법은 얼굴 캐리커처 생성, 얼굴 캐리커처 투영, 얼굴 비식별화로 구성된다. 생성 단계에서는 눈과 입과 같은 특징을 과장하여 실제 이미지로부터 캐리커처 얼굴을 생성한다. 이러한 캐리커처 이미지는 다양한 캐리커처 이미지를 생성할 수 있는 생성 모델의 학습에 사용되며, 안경이 포함된 이미지와 같이 얼굴의 일부가 가려진 경우도 적용할 수 있다. 캐리커처 투영 단계에서는 얼굴 속성을 유지하면서 입력된 원본 얼굴 이미지를 캐리커처 얼굴 이미지로 변환한다. 비식별화를 위해 유명 인사의 얼굴을 참조하여 식별 가능한 속성을 제거함으로써 원본 얼굴을 익명화한다. 본 논문에서 제안된 방법을 검증하기 위해 정성적, 정량적 실험과 사용자 연구를 수행하여 다른 얼굴 캐리커처 및 비식별화 기술과 제안된 방법의 결과를 비교한다. 이러한 비교는 인간의 인식과 자동화된 얼굴 인식 시스템 간의 균형을 맞추면서 필수적인 얼굴 속성을 보존하는 독창성, 실용성 및 강건성을 입증한다.

Advanced Deep Learning De-identification Integrated with Open-Source Frameworks For Image Data Privacy Protection

허정우 한양대학교 공학대학원 2025 국내석사

IoT(사물인터넷) 시대의 개인정보 비식별화 활용의 제한에 관한 연구

노윤경 연세대학교 대학원 2019 국내석사

An Efficient Region of Interest Encryption for HEVC/H.265 Video

김덕한 세종대학교 대학원 2024 국내석사

Efficient video encryption is essential for securing sensitive information within vast volumes of video data. Considerable research has focused on selective encryption to improve efficiency, with region of interest (ROI)-based selective encryption emerging as a critical method. The ROI-based selective encryption method targets regions containing essential visual information for encryption. Compared to methods that encrypt entire regions, the ROI-based selective encryption method enhances encryption speed and obtains contextual and situational information by encrypting only specific regions within each frame. However, ROI-based selective encryption relies on object detection algorithms to identify ROIs in each frame, which increases the overall computational complexity of the encryption process. To address this, we propose a novel ROI-based selective frame encryption technique utilizing a hierarchical B-frame structure in high-efficiency video coding (HEVC). The proposed method selects specific frames, identifies objects within them, and then encrypts them, enabling faster processing than traditional methods. We evaluate its efficiency by measuring object detection time and encryption time using detailed statistical metrics such as peak signal- to-noise ratio (PSNR), structural similarity index measure (SSIM), correlation coefficient analysis, and edge differential ratio (EDR) analysis. Additionally, to ensure that objects in all frames are fully de-identified, we introduce the Object De- Identification Rate (ODR) metric and use it to evaluate the proposed ROI encryption method. Compared to traditional methods, our approach achieves competitive ROI identification and encryption speeds while maintaining effective de-identification of ROIs in HEVC video.

개인정보 비식별화 관련 요인이 정보프라이버시 염려와 개인정보제공 의도에 미치는 영향 : 프라이버시 염려의 매개효과를 중심으로

국광수 연세대학교 공학대학원 2020 국내석사

In line with the current trend in the importance of data use in accordance with the 4th industrial revolution, this study aimed to understand the effects of personal information de-identification related factors on intention to provide data. To this end, the conceptual model of information privacy concern presented in Li et al. (2011) was applied to the technique factors of de-identification of personal information, which are the main guideline proposed by the Data 3 Act. To verify the model, a survey using a structured questionnaire was conducted on 277 users using Internet services. Hypothesis verification was analyzed using a structural equation. As a result of the study, first, the Concern for Information Privacy (CFIP) factors basically had significant negative relationship with intention to provide personal information. Second, anxiety, necessity for de-identification, and corporate transparency had positive effects on CFIP. Third, de-identification effect and supplier trustfulness had positive effects on intention to provide personal information and necessity for de-identification had negative effects on intention to provide personal information. Fourth, anxiety about providing information, necessity for de-identification, and corporate transparency affected intention to provide personal information through the mediation of CFIP. Fifth, the de-identification effect and supplier trustfulness had direct effects on intention to provide personal information. Sixth, the necessity for de-identification had a direct effect on intention to provide personal information and also had a CFIP-mediated indirect effect on intention to provide personal information. Finally, in the analysis of gender differences, differences occurred in the influence of CFIP and in the relationship on intention to provide personal information. In other words, it was confirmed that some causality is significant in relation of the level at which individuals perceive de-identification techniques to CFIP and intention to provide personal information. As the use of personal information with an Pseudonym information increases in accordance with the plan to implement the amendment to the Data 3 Act, the findings of this study can be used for personal information provision and services using personal information. This will reduce the concerns about the privacy of personal information, promote intention to provide personal information, and be used to improve online service satisfaction. 본 연구는 4차산업 혁명에 따라 데이터의 활용이 중요해 지고 있는 시대 흐름에 맞추어서, 개인정보 비 식별화 관련 요인들이 데이터 제공의도에 미치는 영향에 대해 파악하고자 하였다. 이를 위해, 데이터3법에서 제시하고 있는 주요 가이드라인인 개인정보 비 식별 기법 요인을 Li et al.(2011)이 제시한 프라이버시 염려의 개념적 모델을 적용하였다. 모델 검증은 인터넷 서비스를 이용하는 사용자 277명을 대상으로 구조화된 설문지를 이용해 수집하였으며, 가설검증에는 구조방정식을 이용하여 분석하였다. 연구결과, 첫째, 정보프라이버시 염려(CFIP) 요인은 기본적으로 개인정보 제공의도에 유의미한 부의 관계가 있는 것으로 나타났다. 둘째, 불안감, 비식별화 필요성, 기업의 투명성 요인이 정보프라이버시 염려(CFIP)에 정(+)의 영향을 미치는 것으로 나타났다. 셋째, 비식별화 효과, 공급자 신뢰 요인이 개인정보 제공의도에 정(+)의 영향을 미치고 비식별화 필요성은 부(-)의 영향을 미치는 것으로 나타났다. 넷째, 정보 제공에 대한 불안감, 비식별화 필요성, 기업의 투명성 요인은 정보프라이버시 염려(CFIP)를 매개로 개인정보 제공의도에 유의미한 영향을 미치는 것으로 나타났다. 다섯째, 비식별화 효과와 공급자 신뢰는 개인정보 제공의도에 직접적 영향을 미치는 것으로 나타났다. 여섯째, 비식별화 필요성은 개인정보 제공의도에 직접 및 정보프라이버시 염려(CFIF)를 매개한 간접적으로도 영향을 미치는 것으로 나타났다. 마지막으로 성별간 차이분석에서 정보프라이버시 염려에 미치는 영향 및 개인정보 제공의도에 미치는 관계에서 성별간 차이가 나타났다. 즉, 비 식별화 기법에 대해 개인이 지각하는 수준에 따라 프라이버시 염려 및 개인정보 제공의도 관계에서 일부 요인들에 인과관계가 유 의미함을 확인하였다. 데이터3법 개정안 시행에 예정에 따라, 앞으로 가명처리 된 개인정보의 활용이 많아지면서 개인정보 제공과 개인정보를 이용하는 서비스에 본 연구 결과를 활용 할 수 있을 것으로 생각된다. 정보 주체들의 개인정보 염려를 감소시키며 개인정보 제공의도 향상을 도모하고 온라인 서비스 만족도 향상에 활용할 수 있을 것으로 생각된다.

개인정보 위험기반 비식별 조치와 가명처리

김병필 서울대학교 대학원 2021 국내석사

De-identification is useful in both utilizing and protecting personal information. A risk-based approach in de-identification evaluates the risk of re-identification through systematic and formalized process and applies technical measures proportional to that risk. Such methodology aims to balance between data utility and privacy protection. The legal definition of personal data in the GDPR shows that determining the scope of personal data is a dynamic task. The de-identification methodologies envisaged under the GDPR can be categorized as (i) anonymisation, (ii) strong pseudonymisation and (iii) basic pseudonymisation. The GDPR provides different incentives to each methodology. Such analysis of the GDPR sheds lights on the interpretation of the Korean Personal Information Protection Act of 2020. The anonymisation is a process to ensure that the risk of re-identification becomes remote and it is mainly concerned about disclosing data to the public. The strong pseudonymisation is more relaxed process, through which the controller cannot readily identify the data subject. Such measure is mainly considered when personal information shared with a third party such as researchers for scientific research purpose. The most relaxed measure is the basic peudonymisation. This is a process to remove or replace only direct identifers, through which the level of privacy protection can be increased. This paper examines the problem of longitudinal data as an example of the practical difficulties in applying de-identification measures. As longitudinal data contain substantial amount of information about the data subject, it is often very difficult to apply traditional techniques such as k-anonymity. Yet structured methodologies for de-identification have not yet been well developed. This is also the case in the guidelines for de-identification techniques in Korea. Therefore, for longitudinal data, alternative methods such as synthetic data need to be considered. 비식별 조치는 개인정보의 활용과 정보주체 보호를 위해 유용하게 활용될 수 있다. 개인정보처리자는 과학적 연구 활동을 위해서 또는 개인정보를 통계분석하여 그 결과를 통해 의사결정을 보조하기 위한 목적으로 개인정보를 비식별화하여 활용할 수 있고, 나아가 정보주체에 대한 보호를 더욱 강화하기 위해서도 비식별 조치를 활용할 수 있다. 다만, 적정한 개인정보 비식별화를 위해서는 체계적이고 정식화된 절차에 따라 재식별 위험성을 평가하고, 위험성에 비례한 조치를 취할 필요가 있다. 위험기반 비식별 방법론은 위 과정을 통해 데이터 유용성과 개인정보 보호 수준 간의 형량을 하고, 이를 통해 최적의 ‘골디락스(Goldilocks)’ 지점을 찾는 것을 목적으로 한다. 한편, GDPR의 개인정보 개념에 관한 법적 논쟁을 살펴보면, 어떤 정보가 개인정보인지 여부를 판단하는 것은 역동적인 작업임을 알 수 있다. GDPR은 개인정보의 개념 판단에 있어 상대적·주관적 접근을 취한 것으로 해석될 수 있으며, 이는 GDPR 전반에 걸친 위험기반 접근법에 부합하는 것이다. 한편 GDPR에 도입된 ‘가명처리’의 개념은 약한 가명처리와 강한 가명처리로 구분할 수 있으며, 양자에 부여되는 인센티브는 차이가 있다. 특히 강한 가명처리가 이루어진 경우 정보주체의 권리에 대한 예외가 인정될 수 있음에 비해, 약한 가명처리만이 이루어진 경우에는 이러한 예외가 적용되기 어렵다. 위와 같은 GDPR의 규정은 우리 개인정보 보호법이 도입한 가명처리와 익명처리의 해석에 있어 시사점을 준다. 이에 따라 본 연구에서는 비식별조치를 익명처리, 강한 가명처리, 약한 가명처리로 구분하였다. 이를 간략히 요약하면, ① 익명처리는 개인식별 가능성이 희박(remote)해지도록 개인정보를 변형하는 것으로, 주로 데이터를 공중에 공개하거나 재식별 공격에 노출될 우려가 있는 상황을 염두에 둔 조치이다. ② 그보다 완화된 조치는 강한 가명처리이다. 강한 가명처리는 해당 정보를 처리하는 자가 체계적이고 확실한 수단에 의해 정보주체를 재식별해 낼 수 없도록 만드는 것으로서, 이는 주로 개인정보를 동의받은 목적 이외의 범위에서 이용하거나, 연구자 등 제3자에게 제공하는 상황을 염두에 둔 조치이다. ③ 약한 가명처리는 개인식별정보를 삭제하거나 암호화하는 방식으로 이루어지는 것으로서, 개인정보처리자가 개인정보 보호 수준을 높이기 위해 채택할 수 있는 조치이다. 본 연구는 비식별 조치의 실무 적용상 어려움을 보여주는 예시로서 종단 데이터의 문제를 검토한다. 종단 데이터에는 정보주체에 관한 많은 정보가 포함되어 있어, k-익명성과 같이 전통적 비식별화 기법을 적용하기 어렵다는 문제가 있다. 더욱이 아직 국제적으로도 체계화된 비식별 조치 방법론이 충분히 개발되어 있지 못한 실정이다. 이러한 점은 국내 비식별 조치 가이드라인에서도 마찬가지로 드러난다. 따라서 종단 데이터에 대해서는 기존 비식별 조치 이외의 대안적 방법, 예컨대 합성 데이터 기법 등이 고려될 필요가 있다.

Re-identification of medical records by optimum quasi-identifiers

이용주 Graduate School of Information Security, Korea Uni 2017 국내석사

Recently, medical records are shared to online for a purpose of medical research and expert opinion. There is a problem with sharing the records. If someone knows the subject of the record by using various methods, it can result in an invasion of the patient’s privacy. De-identification techniques are applicable to address the problem, however, de-identified data has a risk of re-identification. For this reason, if de-identification techniques are not sufficient, it may increase a risk of re-identification. On the contrary, if the techniques are too excessive, data utility may be damaged. Meanwhile, de-identified data can be re-identified from inference from background knowledge. In this paper, we analyzed factors which affecting the re-identification of medical records and estimated the probability of re-identification from taking advantage of the factors. As a result, we determined the effect of the re-identification according to the type and the range of inferable quasi-identifiers. This paper contributes to a decision on de-identification target and level for protecting patient’s privacy through a comparative analysis of the probability of re-identification according to range of inference.

Conditioned Cartoonized Reversible De-identification by Compression-Robust Invertible Data Hiding Network

Elmira Merzhakupova Ulsan National Institute of Science and Technology 2024 국내석사

Data de-identification framework

오준형 Graduate School of Cybersecurity, Korea University 2021 국내박사

As the technology level is advanced, the amount of information used is increasing. Each company learns big data and provides customized services to consumers. Accordingly, collecting and analyzing data subject data has become one of the core competencies of companies. However, when collecting and using data subject information, the authority of the data subject may be violated. Data by itself is often identifiable, and even if it cannot be personal information that infringes on an individual's authority, the moment they are connected, it becomes important, sensitive, or personal information that you never thought of. Therefore, recent trends in privacy regulation such as GDPR are changing toward more and more guaranteeing the rights of data subjects. In order to use data effectively without infringing on the rights of the data subject, the concept of de-identification was created. Researchers and companies can lower the identification of personal information through appropriate de-identification / pseudonymization and use the data for research and statistical purposes. De-identification / pseudonymization techniques have been studied a lot, but it is difficult for companies and researchers to know how and how specifically to identify data / pseudonymization. This is because the organization of knowledge is not properly organized. And it is difficult to clearly understand how and to what extent each organization should take de-identification measures, and how it will affect them. Currently, each organization does not systematically analyze and conduct the situation, but is taking minimal action while looking at the guidelines distributed by each country. We solved this problem from the perspective of risk management. Several steps are required from securing the dataset and starting from pre-processing until the dataset is released. We can analyze the dataset, analyze the risk, evaluate the risk, and treat the risk appropriately. When analyzing a dataset, it includes classifying identifiers and selecting sensitive attributes from various viewpoints such as cultural, historical, and context. When analyzing risk, it can be analyzed based on scenarios, and various re-identification cases that have existed can be organized and analyzed by reference. In addition, risk can be analyzed by quantifying the vulnerability of each threat. We can analyze the risk and assess the risk through a cost benefit study or adequacy evaluation. The outcomes of each step can then be used to take appropriate action on the dataset to eliminate or reduce the risk. Then, you can release the dataset according to your purpose. These series of processes were reconstructed according to the current situation by analyzing various standards such as ISO/IEC 20889, NIST IR 8053, NIST SP 800-188, and ITU-T X.1148. Then, we propose an integrated framework based on situational awareness model and risk management model.

개인정보 비식별화가 실증적 연구결과에 미치는 영향

박해지 연세대학교 보건대학원 2017 국내석사