실크로드 패턴의 지역적 증폭 메커니즘: 인도 여름 몬순의 영향

정다흰 공주대학교 일반대학원 2024 국내석사

The Silk Road Pattern (SRP) is an eastward-propagating wave-like pattern that develops along the northern flank of the Asian Summer Monsoon Anticyclone (a.k.a Tibet high) in the north of hemispheric Upper Troposphere-Lower Stratosphere (UTLS) during the boreal summer. This pattern manifests as a Rossby wave originating from the North Atlantic and propagating towards East Asia along the Eurasian jet. It affects precipitation and heatwaves in East Asia by modulating the location and intensity of the North Pacific subtropical high in the jet exit region. Despite its impact on extreme weather conditions in East Asia, SRP’s underlying structure and development mechanism are yet to be understood. In this study, the propagation phases of SRP are defined using daily data, and its amplification is examined based on the phase analysis. An amplification mechanism is also discussed. The composite analysis results reveal that SRP’s amplitude intensifies when it is located over the Caspian Sea. This intensification is associated with increased north-south temperature gradient due to near-surface warming in the Iranian Plateau (IP) south of the Caspian Sea. The surface warming of the IP is primarily caused by the overturning circulation of the Indian summer monsoon, which strengthens the temperature gradient, and increases local baroclinicity in the region. Further wave activity analysis supports the idea that baroclinic instability in the region reinforces the amplification of upper-level Rossby waves. These findings highlight the importance of regional amplification mechanisms in understanding the behavior of the SRP. Enhancing our understanding of SRP’s amplification can improve our capacity to predict and mitigate extreme weather events in East Asia.

The effect of Positive cofactor 4 on germ-cells development and embryogenesis in mice

정다흰 차의과학대학교 대학원 2017 국내석사

Positive Cofactor 4 (PC4) 는 단일 가닥 DNA에 결합하는 핵단백질이며, 비히스톤 단백질에 속한다. 실제로Pc4 유전자는 핵 내 mRNA가공 과정에서 RNA polymerase II 또는 RNA polymerase III와 상호작용하여 promoter에 붙어 전사활성인자를 보조하는 기능을 한다고 알려져 있다. (Kaiser et al. 1995, Kannan and Tainsky 1999) 세포 내에서 단백질 합성과 세포성장 및 증식의 근본적인 결정요인으로서 기능이 확인된 바 있으며(Christine Conesa et al.,2010), 줄기세포에서 전분화능 관련 유전자의 전사 활동을 향상시키는 기능이 있다고 보고된 바 있다. 더욱이 본 연구진의 선행연구에서는 Pc4는 남성생식세포인 정원줄기세포에서 체세포에 비해 특이적으로 높은 발현양을 확인한 바 있으나 그 기능에 관한 연구는 극히 미진하다. (Jo et al. 2015). 따라서 본 연구에서는 생식세포 내에서 Pc4의 기능을 밝혀보고자 여성과 남성의 생식기관내에 생식세포와 체세포에서 먼저 PC4 단백질 발현과 기능을 분석하였다. 정소 내에서는 체세포와 생식세포 모두에서 PC4 발현이 확인된 것에 비해 난소 내에서는 생식세포에서만 그 발현이 확인되었다. 그러나 공통적으로 난소와 정소 내 생식세포 모두에서 초기 감수분열(2n) 시기에만 PC4가 발현됨을 확인하였다. 체세포가 아닌 생식세포에서만 특이적인 발현을 보이는 난자 내에서 Pc4가 더 중요한 역할을 할 것이라 사료되어, Pc4가 미성숙난자의 체외성숙 과정에서 어떤 발현 양상을 나타내며, 어떤 기능적인 역할을 하는지 확인하고자 하였다. 실제로 난소 내에서 Pc4가 난모세포의 핵에 특이적으로 발현하는 것을 확인하였다. 또한 더 나아가 난소에서 제 1난모세포(2n)와 제 2난모세포(n)를 분리하여 Pc4 mRNA와 단백질의 발현량을 분석 비교하였을 때, 제 1난모세포(2n)에서 Pc4가 비교적 높게 발현되는 것을 확인하였다. 이 결과를 바탕으로 Pc4가 난자의 성숙 과정에 미치는 영향을 확인하기 위해, Pc4 siRNA를 이용하여 Pc4 mRNA 발현량을 감소시켜 기능을 확인하는 실험을 진행하였다. 제 1난모세포의 세포질에 Pc4 siRNA를 미세 주입하여, Pc4 mRNA를 임의로 감소시킨 후 체외성숙을 유도하였고, 제 2감수분열 중기의 난자 형성율을 관찰하였다. 더 나아가 Pc4가 감소된 제 2 감수분열 중기의 난자를 체외수정을 통해 2세포기와 배반포 형성율도 관찰하였다. 대조군과 Pc4 감소시킨 그룹에서 2난모세포(n)로의 난자성숙율과 그 이후 배반포까지의 발달율에서도 유의적 차이를 보이지 않았다. 따라서 본 연구에서는 전분화능 유전자의 전사활성을 돕는 Pc4가 미성숙난자의 체외성숙률과 체외수정률에 직접적인 영향을 미치지 않는 유전자로 확인하였다. 또한 쥐의 배아줄기세포 분화 유도에 있어 Pc4가 어떤 역할을 하는 지 알아보았다. Pc4가 어떤 계통 분화에 긍정적인 역할을 하고 있는 지 확인하기 위해, 배아줄기세포에서 Pc4를 과발현 하거나 감소시켜 배양체를 형성하여 분화를 유도하였다. Pc4 과발현 배양체는 이전 연구에서 바이러스를 이용하여 만든 생쥐 배아줄기세포를 사용하였다. Pc4 감소시킨 배양체는 siRNA를 liposom을 통해 형질 주입하고 난 다음날 바로 형성을 유도하였다. 두 종류의 세포를 전분화능 관련 유전자(Oct4, KIf4, Sox3, c-Myc, Nanog)와 삼배엽성 특정 분화 유전자(Pax6, Gata4, Eomes)와 생식 특정 분화 유전자(Mvh)로 확인해 보았다. Pc4 과발현 배아줄기세포는 중배엽 특정 유전자인 Eomes와 생식 특정 분화 유전자인 Mvh가 비교적 많이 발현하였다. 반대로 Pc4 감소된 배아줄기세포에서는 내배엽 특정 유전자인 Gata4와 외배엽 특정 유전자인 Pax6의 발현 양이 비교적 많이 발현하고 있었다. 이와 같은 양상으로, 두 그룹 모두 배양체 형성하여 4일 차와 8일 차의 배양체를 전분화능 관련 유전자(Oct4, KIf4, Sox3, c-Myc, Nanog)와 삼배엽성 특정 분화 유전자(Pax6, Gata4, Eomes)와 생식 특정 분화 유전자(Mvh)를 통해 비교 분석하였다. 그 결과 Pc4 과발현 배아줄기세포로 형성한 배양체는 분화됨에 따라 Eomes, Mvh에서 발현양이 증가되었으며, Pc4 감소된 배아줄기세포로 형성한 배양체는 분화됨에 따라 Pax6 와 Gata4의 발현양이 증가되는 경향을 보였다. 결론적으로 난자성숙 과정에서 모계Pc4 유전자는 영향이 없는 것처럼 관찰 되었다. 그러나 모계Pc4 유전자가 아닌 배아발생과정에서 내재되어 있는 Pc4의 작용을 배재 할 수 없기 때문에, 수정된 이후의 시기에 미세주입술이나 전기천공법을 이용하여 배아발달에 어떠한 영향을 줄 수 있는지 더 확인해봐야 할 것으로 생각된다. 배아줄기세포 분화 시에는 중배엽 특정 유전자와 생식 특정 분화 유전자의 발현이 상대적으로 높은 것으로 보아 중배엽과 생식관련 분화에 Pc4가 긍정적인 영향을 미치는 유전자로 사료된다. Positive Cofactor 4 (PC4) is a non-histone protein with unique DNA-binding properties that affects transcription. PC4 not only facilitates RNA polymerase (Pol)Ⅱ or Ⅲ-regulated transcription, but also plays a role in mRNA processing, DNA repair, and tumor repression. Its role in cells has been investigated as a critical factor determining protein synthesis, cell growth and proliferation. In the previous study, endogenous expression level of Pc4 mRNA was dramatically higher in spermatogonia stem cell (SSC, one of the male germ cells) than mouse embryonic fibroblast (MEF, one of the somatic cells). And Pc4 mRNA level increased significantly in their reprogrammed cells, multi-potent spermatogonial stem cell (mSSC) and mouse induced pluripotent stem cell (miPSC), respectively. These results suggest that Pc4 is related to transcriptional activity of germline cells and pluripotent stem cells. Up to now, however, the expression of Pc4 in germline cells, pluripotent stem cells and reproductive tissues have not been investigated. In this study, the expression of PC4 protein in reproductive tissues was analyzed to confirm where PC4 is located in germ cells and somatic cells. In testes, the expression of PC4 protein was detected in both somatic cells and germ cells. In ovaries, the PC4 expression was only detected in germ cells, not in somatic cells. The expression of PC4 commonly detected only at early meiosis (diploid, 2N) stage in both ovaries and testes. In germ-cells development, I have explored whether Pc4 is associated to oocyte maturation and further embryonic development using RNA interference (RNAi)-mediated knock down of targeted genes. After microinjecting Pc4 siRNA into cytoplasm of the GV oocyte, I confirmed the decreased Pc4 mRNA level in the GV oocyte and investigated the maturation rate to metaphase II (MII)-stage oocytes and the further blastocyst formation. Interestingly, there is not a significant difference between the control group and Pc4 siRNA-injected group. In embryogenesis, Pc4 related to transcriptional activity was postulated to control mESCs pluripotency and mESCs early differentiation. To explain this hypothesis, I used the Pc4-overexpressing(OE) mESCs that established in the previous study and Pc4-knock down mESCs that was down-regulated through siRNA transfection using liposomes-mediated method. In these cells, decreased Pc4 gene expression in transfected mESCs was confirmed by quantitative real-time PCR. Then, mESCs was induced to form mouse embryoid bodies (mEBs) in both Pc4 OE group and knock down group for early differentiation. The level of gene expression was examined by real-time PCR analysis using three germ layer differentiation markers (Pax6, Gata4, Eomes) and germline-specific marker (Mvh) with on the day of 0, 4 and 8 EBs. As a result, Pc4 plays a role to up-regulate a pluripotency-related genes (Oct4, Sox2, Klf4, c-Myc, Nanog) and specifically promote mesoderm and germ- lineage differentiation but not ectoderm and endodermal-lineage differentiation. In conclusion, the maternal Pc4 gene has no direct function on completion of oocyte maturation and further embryo development. Also, it is suggested that Pc4 is a gene have an ability to differentiate into specific lineages during early embryonic differentiation.

Efficient Deep Representation Learning for Improving Model Transparency and Addressing Distribution Shift

정다흰 서울대학교 대학원 2024 국내박사

AGI를 달성하기 위한 탐구는 오랫동안 AI 분야에서 소중히 여겨진 열망으로, 여기에는 AI 시스템이 다양한 작업에서 인간과 유사한 적응력과 이해력을 발휘할 수 있는 미래가 그려져 있다. 특히 GPT-3.5, LLaVA, 그리고 GPT-4V와 같은 대규모 언어 모델 및 다중 모달 모델들의 도입과 같은 최근의 발전은 AGI라는 먼 개념을 현실로 전환하였다. AGI의 주요 목표는 다양한 감각 입력과 출력을 능숙하게 통합하는 시스템을 창출하는 데에 지속적으로 있다. 이는 단순히 텍스트나 시각 정보를 처리하는 것을 넘어, AI가 물리적 환경과 상호 작용하며, 자연어를 이해하고, 컴퓨터 비전을 통해 시각 정보를 해석하며, 텍스트 또는 청각 출력을 생성하는 능력을 갖추도록 한다. AGI의 정점은 현실 세계에서 지각, 의사 소통, 그리고 행동을 수행할 수 있는 다중 감각 에이전트에 의해 상징된다. 이러한 기능을 용이하게 하는 데에 있어서 중요한 요소는 Deep Representation Learning (DRL)의 효과적인 활용에 있다. 효율적인 DRL은 성능과 리소스 양측에서 표현 공간을 더 효과적으로 훈련시키는 과정을 의미한다. 최근 몇 년 동안 딥 러닝 분야에서는 표현 학습의 세 가지 중요한 패러다임 변화를 목격했다. 구체적으로 말하면, 특정에서 일반 및 인간 수준의 의미적 표현으로의 전환한다. 본 논문은 효율적인 DRL을 통한 AGI의 개발과 함께 이러한 패러다임에 대한 탐구를 제시하며, 각각이 독특한 학습 방법론과 목표를 가진 DRL의 여러 시대를 아우르며 투명성, 신뢰성, 그리고 효율적인 학습과 같은 AI의 핵심 측면을 탐구한다. 초기에는 딥 러닝 연구가 주로 특정 작업에 맞춰진 표현 공간을 상대적으로 작은 데이터셋과 겸손한 모델 아키텍처로 훈련하는 데 중점을 두었다. 그러나 시간이 흐름에 따라, 보다 일반적이고 의미 있는 표현 공간을 여러 작업 범위에 걸쳐 학습할 수 있게 하는 자기 지도 학습 기술의 채택으로 이러한 패러다임이 전환되었다. 더불어, 특히 대형 언어 및 다중 모달 모델의 등장으로 인해 더 다양한 용도로 활용 가능한 표현 공간을 활용하는 것이 점점 더 실현 가능해졌다. 이러한 진화하는 트렌드와 일치하면서 투명성 및 분포 이동에 관한 세 가지 고급 작업을 제안하고 있다. 먼저, 딥 뉴럴 네트워크의 해석성을 향상시키기 위해 새로운 투명 모델을 제안한다. 이 프레임워크는 모델의 업데이트를 벡터 형식으로 변환하는 캡슐 네트워크를 기반으로 한다. 모델의 예측이 설명을 제공하는 데에 역할을 할 수 있도록 하기 위해 개념의 내부 변동을 고려한 투명 모델 학습을 위한 새로운 목적 및 프레임워크를 제안한다. 이 접근 방식은 기존의 캡슐 네트워크의 한계를 해결하기 위해 클래스 지도형 분리 알고리즘과 추가적인 정규화기를 제안함으로써 성능을 저해하지 않으면서 모델의 투명성을 향상시킨다. 이 작업은 DRL의 초기 시대에 뿌리를 둔 것으로, 향상된 해석력을 위한 중간 어노테이션 데이터 세트의 효율적인 사용을 강조한다. 방법론, 실험 결과 및 토론은 개념에 기반한 해석 가능한 분류기의 생성을 중심으로 하며, 이를 통해 분류기의 정보 전달력, 독립성 및 설명 가능성을 보여준다. 둘째, 계속적인 학습의 목표는 새로운 분포를 학습하면서 이전 분포의 지식을 유지한다. 그러나 현재의 딥 뉴럴 네트워크는 이 과정에서 종종 이전 분포를 잊어버린다. 더불어, 온라인 계속적인 학습은 각 학습 분포를 단 한 번만 볼 수 있는 것에서 오는 장기적인 기억과 새로운 지식 습득 양면에서 도전을 겪는다. 제 4장에서는 혁신적인 프레임워크 내에서 다양한 사전 훈련된 모델을 활용함으로써 온라인 계속적인 학습에 중요한 기여를 제안한다. MuFAN이라는 새로운 방법을 소개하여 사전 훈련된 모델의 다중 스케일 피처 맵을 활용하고 구조별 증류 손실 및 안정성 플라스티시티 정규화 모듈을 도입한다. 구체적으로 MuFAN은 사전 훈련된 인코더의 다른 레벨에서 활용되는 다중 스케일 표현을 빠르게 적응하기 위해 시퀀스의 작업 중에 획득하고 융합한다. 이 접근 방식은 안정성과 플라스티시티를 균형잡기 위해 목표를 설정하며, 계속적인 학습의 역사에서 두 번째로 나타난 DRL 역사와 일치한다. 셋째, 우리는 테스트 시간 적응 (TTA)에 중점을 두어 테스트 중에 분포 변화를 해결하기 위한 새로운 기술을 개발한다. 사전 훈련된 모델의 정규화 레이어의 가중치만 업데이트함으로써, 우리의 방법은 특히 편향된 환경에서 새로운 데이터 분포에 강력하게 적응할 수 있게 한다. 최근의 매개변수 효율적 전이 학습 (PETL) 방식은 시각, NLP, 음성 등 다양한 도메인에서 상당한 성능 향상을 이끌어 냈다. 이 트렌드에 기반하여 제 5장에서는 특히 편향된 시나리오에서 엔트로피의 신뢰 지표에 대한 신뢰성을 도전하고, 객체 모양이 예측에 미치는 영향을 고려하는 새로운 신뢰 지표를 제안한다. 이론적으로 우리는 편향된 시나리오에서 엔트로피의 한계를 강조하며, 이는 예측에 영향을 미치는 잠재적으로 구별되는 요소들의 감시를 간과한 결과라고 설명한다. 이 방법은 효율성과 견고성에 대한 주목할만한 특징을 가지며, 특히 편향된 환경의 도전에 대응한다. 이로써 이 작업은 DRL의 세 번째 시대에 위치하게 된다. 자기 지도 학습, 대형 언어 모델 및 다중 모달 모델의 발전은 효율적인 DRL의 주요 패러다임이었다. 효율적인 깊은 표현 공간은 다양한 작업에 대한 적응과 기초를 통한 도메인 간 이동을 가능케 한다. ChatGPT (대화용 대형 언어 모델)와 LLaVA (대형 언어-시각 어시스턴트)와 같은 주요 예시들은 무한한 확장성을 입증했습니다. 대형 모델의 개발은 AGI와 밀접한 관련이 있다. 대형 및 다중 모달 모델이 다양한 형태로 사람들의 삶에 통합됨에 따라 모델 및 세밀한 조정의 복잡성, 사용 중에 발생하는 분포 변경, 저장 및 에너지 효율성, 신뢰성 및 개인 정보와 같은 요소를 고려해야 할 필요성이 증가한다. 그 중에서도 AI 시스템에서의 해석 가능성과 적응성의 중요성에 대해 주로 논의하며, 모델 투명성, 계속적인 학습, 및 분포 이동의 도전에 대응한다. 이 논문은 미래의 AGI 연구를 위한 새로운 방향을 제시하며, 더 견고하고 투명하며 효율적인 시스템을 탐색하는 것이 목표한다. 향후 연구에서는 특히 책임 있는 AI와 효율적인 AI에 관련된 더 포괄적이고 광범위한 조사를 목표한다. The pursuit of Artificial General Intelligence (AGI) [70] in AI envisions systems with human-like adaptability across tasks. Recent progress, marked by expansive language models like GPT [25, 155], LLaVA [135], and GPT-4V [230], has made AGI a tangible reality. The primary goal is to create AI systems that seamlessly merge diverse sensory inputs, empowering them to interact with the physical world, understand language, interpret visuals, and generate responses. The key to achieving these capabilities lies in the effectiveness of Deep Representation Learning (DRL) [20]. Efficient DRL refers to the process of using deep learning to train a representation space more effectively in terms of both performance and resources. In recent years, the field of deep learning has witnessed three significant paradigm shifts in DRL: specifically, the transition from specific to general and human-level semantic representation. This dissertation explores the development and implications of AGI through Efficient DRL, a crucial component in realizing AGI’s potential. It spans multiple eras of DRL, each characterized by distinct learning methodologies and goals, and delves into the core aspects of AI such as transparency, reliability, and efficient learning. In its early stages, deep learning research primarily focused on training representation spaces tailored to specific tasks, often with relatively small datasets and modest model architectures. However, as time progressed, there has been a shift towards the adoption of self-supervised learning [36] techniques, enabling the learning of more general and meaningful representation spaces across a broader spectrum of tasks. Furthermore, recent advancements, particularly the emergence of large language and multi-modal models, have made it increasingly feasible to leverage representation spaces with greater versatility, requiring minimal finetuning [90]. We have proposed three advanced works at model transparency and distribution shift in alignment with these evolving trends: First, in Chapter 3, we propose a novel transparent model enhancing the interpretability of deep neural networks through a disentangled representation space [102]. This framework is based on capsule networks [181], which transform the model’s updates into a vector form. This approach addresses the limitations of existing capsule networks by proposing a class-supervised disentanglement algorithm and an additional regularizer, enhancing model transparency without compromising performance. This work, rooted in the first era of DRL, emphasizes the efficient use of moderate annotated datasets for improved interpretability. The methodology, experimental results, and discussions revolve around the creation of an interpretable classifier based on concepts, demonstrating the classifier’s informativeness, distinctness, and explainability. Second, the goal of continual learning (CL) [235] is to learn new distributions while retaining knowledge of previous ones, even as the learning distributions change over time. However, current deep neural networks often forget previous distributions during this process. Further, online CL [141] faces challenges from both the perspective of forgetting and acquiring new knowledge since each learning distribution is seen only once. In Chapter 4, we propose a significant contribution to online CL by utilizing various pre-trained models within an innovative framework. We introduce MuFAN [104], a novel method that leverages multi-scale feature maps from the pre-trained model and introduces a structure-wise distillation loss and stability-plasticity normalization module. This approach aims to balance stability and plasticity, highlighting the utility of pre-trained models in CL and aligning with the second era of DRL history. Third, we focus on Test-Time Adaptation (TTA) [217], developing a novel technique to address distribution shifts during testing. By updating only the weights of a normalization layer in a pre-trained model, our method enables robust adaptation to new data distributions, especially in biased environments. Recent parameter-efficient transfer learning (PETL) [90] approaches have led to significant performance improvements across domains, including vision, natural language process, and speech. Building upon this trend, Chapter 5 challenges the reliability of entropy as a confidence metric, especially in biased scenarios, and proposes a new confidence metric that considers the influence of object shape on predictions [120]. Theoretically, we highlighted the limitations of entropy as a confidence metric in biased scenarios, attributing it to the oversight of latent disentangled factors affecting predictions. This method, notable for its efficiency and robustness, situates this work in the third era of DRL. The progress in self-supervised learning, Large Language Models (LLMs), Large Vision Models (LVMs), and Parameter-Efficient Transfer Learning (PETL) is a pivotal paradigm in efficient Deep Representation Learning (DRL). An effective deep representation space enables adaptation to diverse tasks and facilitates domain bridging. Examples like ChatGPT and LLaVA showcase limitless scalability, aligning with the development of large models and the path to Artificial General Intelligence (AGI). As large, multi-modal models integrate into daily life, considerations include model complexity, fine-tuning, distribution changes during usage, storage and energy efficiency, reliability, and privacy. This dissertation emphasizes interpretability and adaptability in AI systems, addressing challenges like model transparency, continual learning, and distribution shifts. It charts a new direction for future AGI research, aiming for robust, transparent, and efficient systems to navigate modern AGI challenges. Future investigations will delve into responsible AI [191] and efficient AI [52, 90].