Collaborative convolutional social pooling LSTM and its application to collision prediction

김수연 Graduate School, Yonsei University 2021 국내석사

본 연구에서는 자차량의 경로에 Cut-in하는 주변 차량의 경로를 예측하여, 자차량과 전방차량의 차량충돌을 몇 초 전에 예측하는 시스템을 제안합니다. 자율주행 차량의 안전한 경로 생성 및 충돌 회피를 위해, 차량의 경로를 예측하는 많은 연구가 진행되고 있습니다. 차량의 경로를 예측하는 연구들은 전방 충돌 경고 시스템, 긴급 제동 시스템에 적용되고 있으며, 안전한 자율주행 시스템을 위해 매우 필수적인 연구입니다. 주변 차량의 경로를 예측하기 위해 본 연구에서는 Path Prediction Network를 제안합니다. 주변 차량의 경로를 Deep learning을 이용하여 예측할 경우, 차량 모델링 과정을 거치지 않고 성능을 낼 수 있는 장점이 있습니다. 또한, 기존의 충돌 경고 알고리즘들은 1ms 이내의 충돌을 예측하는 반면, 본 연구에서는 몇 초 후의 충돌을 예측하는 성능을 보일 수 있습니다. 따라서, 본 연구는 크게 Path Prediction Network와 Collision warning Probability를 계산하는 두 단계로 나눌 수 있습니다. 차량 경로 예측에 가장 영향을 주는 요소는 과거 trajectory data입니다. 주변 차량의 position, heading, velocity와 같은 과거 데이터들은 미래 주행 경로에 영향을 주기 때문입니다. 이러한 시계열 데이터의 특성을 이용하고자 본 연구에서는 LSTM(Long Short Term Memory)네트워크를 사용하였습니다. 또한, 주변 Object들의 움직임도 미래의 경로에 영향을 줄 수 있는 요소입니다. 예를 들어, 전방차량이 급정거를 할 경우, 후방차량 또한 급정거를 해야 하며, 전방차량이 다른 차선으로 이동할 경우, 후방차량은 전방차량과 관련없이 주행을 할 수 있습니다. 이러한 주변 차량의 움직임의 특성을 반영하기 위해, 본 논문은 주변차량에 대한 정보를 담고 있는 Grid Tensor를 생성하였습니다. 이후, 계산양을 줄이기 위해 Pooling approach를 이용하여 feature들을 추출했으며, LSTM decoder를 사용하여 몇 초이후의 차량의 미래 Path를 예측했습니다. 제안한 Path Prediction Network를 이용하여 주변 차량의 미래경로를 예측하고, 자차량의 전방에 Cut-in하는 경우 Collision Probability를 계산하여 운전자에게 미래 충돌을 경고하는 알고리즘을 연구하였습니다. 즉, 본 연구는 자차량의 Path에 예상하지 못한 Object와 충돌할 가능성을 계산하기위해, 주변 차량의 움직임을 예측하고 충돌 가능성을 연구하여 기존의 충돌 예측 알고리즘보다 몇 초 전 Collision Warning을 예측을 하였습니다. 네트워크의 학습은 NGSIM(Next Generation Simulation, 미국 고속도로 데이터셋)과 시뮬레이션 데이터를 이용하였으며, 실제 차량 데이터를 이용하여 검증했습니다. In this thesis, we propose a new approach to risk assessment for warning future dangerous situations under the traffic conditions. It is very important to detect collision situations in advance for the self-driving vehicle. Most of the previous studies address the short-term collision risk assessment within milliseconds. This paper proposes a long-term collision risk assessment considering future trajectories using deep learning. To estimate the long-term collision risk situations, we predict the future behavior of the target vehicles near the host-vehicle. And then, we calculate the Euclidean distance between the host vehicle and other vehicles. By doing so, we are able to select the target vehicle most likely to collide with the host vehicle. Eventually, we can assess the collision risk between the host vehicle and a target vehicle using an indicator that we proposed. With the above schemes combined into one framework, we can predict the collision risk in advance. To the best of our knowledge, our proposal is the first long-term risk estimation study using deep learning network. In this work, we use the deep learning network for prediction of the correct trajectory of the target vehicle. And the future trajectory is used to assess the collision risk in the future. We evaluate our approach real driving data and two driving datasets (Next Generation Simulation (NGSIM) US-101 and I-80 datasets).

Elucidation of mechanisms underlying drug-tolerant resistance and development of analytic platform for patient analysis

Kim, Suyeon Sungkyunkwan University 2024 국내석사

암 치료에서 발생하는 약물 저항성은 환자의 생존률 저하에 큰 영향을 끼친다. 약물 저항성은 크게 약물 내제 저항성, 중간자적 저항성, 획득성 저항성으로 나눌 수 있다. 약물 중간자적 저항성은 암 세포가 휴면 상태로 남아있어 암 치료의 잠재적인 상태를 제공할 수 있다. 따라서 약물의 중간자적 저항성 메커니즘 규명을 통해 개인 맞춤형 항암 치료의 효과를 증가시킬 수 있을 것이다. 우선 chemotherapy 단계에서 TRAIL을 이용해 약물의 중간자적 저항성과 관련된 유전자를 규명했다. TRAIL은 extrinsic apoptotic 리간드로 chemotherapy로 잠재력을 갖지만, 내재적 그리고 획득성 저항성에 의해 약물로서의 제한이 있다. 연구에서 TRAIL-저항성 세포주에 4 개월 간 휴약기를 주어 TRAIL-persister 세포주를 제작했고, 이로써 TRAIL-저항성 세포의 표현형 reversal을 파악했다. 전사체 분석 결과, TRAIL-저항성 세포에서 miR-29 표적 유전자의 활성화가 나타났으며, 이는 폐암 종양 형성의 시그니쳐를 나타냈다. 또한, 종양 억제자로 알려진 miR-29ac 와 140-5p의 발현은 TRAIL 저항성의 복구와 연관이 있고, 이는 종양원성 단백질 RSK2를 억제한다. 더 나아가, 102개의 폐암 세포주를 분석한 결과에서 TRAIl-sensitivity와 RSK2 mRNA 발현 간의 유의한 상관 관계를 확인했다. 마지막으로, 증가된 RSK2 mRNA가 약물 내성 및 획득성 저항성에서 핵심적인 역할을 하는 NF-kB의 활성화와 관련이 있음을 확인했다. 이와 더불어, 현재 임상에서 사용중인 KRAS 돌연변이 세포주를 대상으로 하는 Sotorasib을 사용하여 동일한 실험을 진행했다. Sotorasib은 KRAS 돌연변이 세포주를 표적하는 약물 후보로서의 가능성을 보여주지만 획득성 저항성의 기전은 아직 알려져 있지 않다. 이러한 저항성 메커니즘을 규명하기 위해 KRAS 돌연변이를 가진 세포주를 이용해 약물 중간자적 저항성 세포주를 제작하고 있다. RNA sequencing, CRISPR library screening과 같은 다양한 분석 방법을 통해 중간자적 저항성과 관련된 메커니즘을 확인하고, 실제 임상시험에서 사용할 수 있도록 RNA seq base screening을 활용하여 약물 후보 물질을 검증할 수 있는 분석 tool을 구축할 예정이다. 추후 이러한 연구 결과를 통해 해당 질병의 biomarker 및 저항성 메커니즘을 예측하고, data 구축을 통해 암환자 맞춤형 항암 치료에 긍정적인 영향을 주는 것을 목표로 한다. Drug-resistance that arises during anticancer therapy has a significant impact on the declining patient survival rate. Drug resistance can be divided into 3 categories: innate, drug-tolerant, and acquired resistance. Drug-tolerant resistance allow cancer cells to remain dormant, which is a potential state for cancer therapy. Therefore, elucidation of mechanisms underlying drug-tolerant resistance can increase efficiency of personalized cancer therapy. At chemotherapy level, TRAIL was used to define its mechanisms underlying drug-tolerant resistance. TRAIL is an extrinsic apoptotic ligand that has chemotherapeutic potential to its target, but it's role as a drug is currently limited by innate and acquired resistance. In this study, TRAIL-persister cell was generated from TRAIL-resistant cells by giving 4 months of drug holiday, showing that the TRAIL-resistant cells demonstrate a phenotype reversal. Transcriptomic analysis revealed activation of miR-29 target genes in TRAIL-resistant cells, showing oncogenic signature in lung cancer. Also, it was found that restored TRAIL-sensitivity is associated with miR-29ac and 140-5p expression, which is known as tumor suppressor, by suppressing oncogenic protein RSK2. Moreover, a significant correlation was observed between TRAIL-sensitivity and RSK2 mRNA expression in 102 lung cancer cell lines. Finally, I identified that increased RSK2 mRNA is responsible for NF-kB activation, which is a key determinant in both innate and acquired TRAIL resistance. Also, same experiment was conducted using sotorasib, a currently utilized targeted therapy in clinical practice. Sotorasib shows promise as a drug candidate for targeting KRAS-mutated cell lines, but its mechanisms of acquired resistance remain unknown. To elucidate the underlying mechanisms of this resistance, I am on the process of generating drug-tolerant resistant cell lines with KRAS mutation. Through various analysis such as RNA sequencing and CRISPR library screening, I aim to investigate the mechanisms associated with drug-tolerant resistance and establish an analysis tool using RNA-seq based screening to validate drug candidates for clinical usage. These findings strongly support further investigation of drug-tolerant resistance mechanisms and the development of an analytic platform to enhance personalized cancer therapy.

Study on the mechanism of hyperactivation of EGFR signaling by autophagy-mediated EGF secretion in NANOG+ immune-refractory tumor cells

Kim, Suyeon 고려대학교 대학원 2023 국내박사

Semantic Segmentation for a Mobile Robot Operating in a Manufacturing Factory

Suyeon Kim 연세대학교 일반대학원 2024 국내석사

In factory automation, semantic segmentation plays a vital role in guiding mobile robots to perform various tasks, such as scene understanding, obstacle avoidance, and localization. Unfortunately, no publicly available dataset shows visual information inside the manufacturing factory due to confidentiality issues. Users must manually collect samples to operate mobile robots inside the factory, which is a laborious and expensive task. Since collecting labeled samples is time-consuming, this paper proposes a practical semi-supervised semantic segmentation method specified for a manufacturing factory, where labeled samples are extremely limited. Based on the intrinsic properties in the manufacturing factory we have carefully identified, we propose Multiple-view Aggregation Module to generate high-quality pseudo-labels by filtering out inaccuracies via different predictions on multiple views. Furthermore, we introduce Depth-Aware Cut-and-Paste and a robust augmentation method called Cut-Line adequate for a factory environment. Since there are no publicly available factory datasets, we release our synthetic dataset IsaacFactory, which was generated using the NVIDIA simulator Isaac Sim. Our method achieves high performance on our synthetic dataset IsaacFactory, as well as in the real factory dataset Zed2iFactory we have acquired. Furthermore, we leverage depth information to enhance the robustness of our approach in challenging no-light scenarios commonly encountered in factory environments. 제조 공장 자동화 분야에서 모바일 로봇의 자율주행은 시각 정보가 중요한 역할을 한다. 장면 이해, 장애물 회피, 위치 파악과 같은 작업을 위해서는 픽셀 수준의 객체 분류가 가능한 의미 분할을 수행하는 것이 가장 적합한 방법이다. 그러나 제조 공장 내부의 시각 정보 데이터셋은 기밀성 문제로 인해 오픈 데이터셋이 존재하지 않는다. 따라서 사용자들은 직접 데이터를 수집해야 하지만, 이는 많은 시간과 비용이 드는 작업이다. 따라서 이 연구는 제조 공장 환경에서 레이블이 극히 제한적인 상황에서도 효과적인 RGB-D 준지도 의미론적 세분화 방법을 개발하고자 한다. 또한 정확한 인식 정보를 얻기 위해 깊이 정보도 함께 활용한다. 연구에 앞서, 제조 공장 내 본질적인 특성을 심층적으로 분석한 이후, 각 특성에 맞는 해결 방법을 제시한다. 첫째로, 제조 공장은 일반적으로 천장이 높아서 강한 조명이 활용되며, 이로 인해 비닐 포장된 물류 제품, 철골 구조물, 평평한 바닥과 같은 물체는 빛을 강하게 반사한다. 이러한 환경에서 다양한 반사체들이 존재하므로, 딥러닝 네트워크가 객체를 오인식하는 문제가 빈번하게 발생한다. 이를 해결하기 위해 Multiple-view Aggregation Module을 제안하여 고품질의 수도레이블을 생성한다. 둘째로, 도심 속 자율주행 자동차는 다양한 도시 환경에서 운행해야 하므로 딥러닝 네트워크가 여러 도메인에 일반화되어야 한다. 그러나 제조 공장에서 사용되는 모바일 로봇의 경우, 사용자는 대체로 작동할 공간을 정확히 인지하고 있다. 따라서 해당 딥러닝 네트워크는 일반화보다는 특정 작업 도메인에 더욱 특화되어야 한다. 이를 위해 Depth-Aware Cut-and-Paste 기법을 활용하여 깊이 정보를 고려하여 라벨이 있는 샘플을 효과적으로 활용한다. 셋째로, 제조 공장에는 맨해튼 형식의 구조물이 많이 존재한다. 따라서 선 형태로 샘플을 가리는 Cut-Line이라는 새로운 증강 방법을 제안하여 네트워크의 학습 성능을 향상시킨다. 제안한 방법을 검증하게 위해 기밀 정보가 포함되지 않은 가상 공장 환경 데이터셋 IsaacFactory를 구축하였고, 이를 활용하여 제안된 방법을 평가한다. 더불어, 실제 공장 환경에서 직접 취득한 Zed2iFactory에서도 성능평가를 진행하여 제안한 방법의 유효성을 검증한다. 제안된 방법을 통하여 사용자는 극히 적은 라벨의 양으로도 뛰어난 성능을 도출할 수 있을 것이다.

Determinants of NGO-corporate partnership performance : NGO's perspective

김수연 Graduate School, Yonsei University 2014 국내석사

Lunar landing candidate sites for future Korean lunar exploration mission

김수연 忠南大學校 大學院 2020 국내석사

우리나라는 2022년에 시험용 달 궤도선을 쏘아올리는 것에 이어서 달 착륙선을 보내는 것을 계획하고 있다. 항공우주연구원은 시험용 달 궤도선의 탑재체 중 하나인 LUTI (LUnar Terrain Imager)를 통해 촬영할 착륙지 후보를 선택하기 위한 수요조사를 실시하였다. LUTI의 주 목적은 미래 한국 달 탐사를 위한 착륙지 후보를 선정하기 위한 사전 탐사를 하는 것이다. 본 연구는 LUTI의 사전 탐사 후보지를 선정하기 위한 소요조사에 참여하는 한편, 착륙지 선정을 위한 정보를 제공하기 위해 행하여졌다. 여기서는 미래 탐사를 위한 과학적, 기술적 도움을 제공하기 위하여 두 곳의 착륙지 후보를 제안한다. 첫 번째 후보는 메톤 크레이터이다. 메톤 크레이터는 상대적으로 탐사가 부족한 달의 북극 지역에 위치하여 있으며 M3 데이터에 의해 다른 지역에 비해 더 많은 수산기가 분포되어 있다는 사실이 검증되었다. 또한, 메톤 크레이터의 중앙에는 화산 활동으로 생성된 것으로 보이는 돔 형태의 지형이 있지만 이 지역은 달의 고지 지역이기 때문에 지형학적인 관점에서 더 자세한 조사를 진행해볼 가치가 있다고 생각한다. 두 번째 후보지는 크레이터 코페르니쿠스이다. 코페르니쿠스 크레이터에는 맨틀의 주요 성분 중 하나인 감람석과 수산기가 분포하고 있다는 것이 M3 데이터를 통해 검증되었다. 이 곳의 감람석은 크레이터가 만들어지던 당시의 충돌에 의한 것이라고 생각되고 있다. 메톤 크레이터와 코페르니쿠스 크레이터 모두에서 SELENE 고도 데이터를 이용한 기울기 지도 제작을 통해 평평한 땅의 존재 여부를 확인하였으며 코페르니쿠스 크레이터에서는 LROC 모자이크 이미지를 통한 상세한 지형 조사가 추가로 이루어졌다. 착륙 미션에 위협이 될 요소를 미리 파악하기 위하여 크레이터 내부에 분포하는 바위와 소형 크레이터들의 개수를 시각적으로 파악하였다.

Prediction-based personalized offloading of cellular traffic through WiFi networks

김수연 Graduate School, Yonsei University 2015 국내석사

Mobile data offloading through WiFi is an essential requirement to reduce cellular network traffic. While extensive attempts have been made at mobile data offloading, previous studies have rarely addressed practical issues, such as dealing with diverse user contexts. In this paper, we propose a personalized data offloading scheme to provide maximum throughput within the cellular budget in daily life. We propose an adaptive policy that considers a user’s mobility patterns, cellular budget, and network usage for applications. The proposed system employs an adaptive model to predict the throughput of WiFi APs and the network usage of smartphones. Among the three types of predictor model (i.e., spatial, temporal, and spatio-temporal), the system automatically chooses the optimal model for each mobile user without user intervention. The experimental results from 10 mobile users show that the proposed system provides 29% higher throughput than previous systems and minimizes extra data charges.

Microstructure and Electrochemical Property of La1-xSrxMeO3-δ (Me=Mn, Co, Fe) System with Double Layer Pore Structure and Its Durability

김수연 부산대학교 대학원 2018 국내석사

Samaria-doped Ceria (SDC) was mixed with La0.8Sr0.2MnO3 (LSM) to decrease polarization resistance by enhancing oxygen reduction resistance (ORR). The increase of triple phase boundary (TPB) was observed by morphological analysis. The decrease of polarization resistance by using MIEC and improvement in durability by Fe doping to La0.8Sr0.2CoO3-δ(LSC82) were investigated in terms of structural and morphological analysis. Polyaniline nanofiber (PA) was used to improve the catalytic performance of La0.6Sr0.4Co0.2Fe0.8O3-δ (LSCF6428), and the mechanism was identified in terms of morphological and chemical analysis. In LSM-SDC composite electrode, LSM5SDC5, which is a composite electrode with same ratio of LSM and SDC, presented lowest polarization resistance value at all testing temperature. Polarization resistance of LSM5SDC5 at 700 °C was 28.08 Ωcm2, which presents the biggest difference with the value of LSM7SDC3 about 7.72%. It means that the activity of low temperature was increased by increasing triple phase boundary of LSM5SDC5. In MIECs, Polarization resistance of LSC82 increased by about 65.7 % heat treatment as thermal stress at 900 °C for 100 hours because oxygen reduction reaction was declined by particle coarsening and aggregation of LSC82 powders. The polarization resistance of La0.8Sr0.2Co0.8Fe0.2O3-δ (LSCF8282) increased from 0.269 to 0.328 Ωcm2 after heat treatment. Increasing rate of polarization resistance of LSCF8282 was 21.9 %, which was 3 times lower than that of LSC82 due to reduced particle coarsening and aggregation by Fe doping. Particle size of LSCF8282 powders maintained about 0.5 - 3 μm, and morphologies were also similar before and after exposure to thermal stress. Chemical reaction between the LSCF8282 and Sm-doped Ceria electrolyte powders did not occur despite the thermal stress, which indicating the interface between the cathode and electrolyte is chemically stable. In the cathode pore structure, the pore volume of the electrode layer (LSCF6428+PA) with PA pore former was increased about 3.2 times as compared with that of the existing LSCF6428 electrode layer. However, coarse pores with a diameter of 2 μm or more were observed by PA agglomeration. The specific surface area of ​​the LSCF6428+PA electrode layer was 2.7 times higher than that of the LSCF6428 electrode layer. In PA3, it was confirmed that the contact point decreased at the interface with the electrolyte due to increased porosity. LSCF2PA1 exhibited the lowest polarization resistance at the whole measurement temperature, which is believed to be due to the fact that the LSCF6428+PA functional layer promotes the oxygen gas flow from the cell surface, thereby improving the oxygen reduction reaction. On the other hand, PA3 with electrode layer, formed only with LSCF6428+PA, exhibited the highest polarization resistance at a temperature higher than 700 °C, which was up to 47 % higher than that of LSCF2PA1. This is because the rate of oxygen ion transfer at the interface with the electrolyte is more controlled than the oxygen reduction reaction as the temperature increases.

Genomic, transcriptomic, and metagenomic analyses of Vibrio species and microbial community composition of crabs harvested at different seasons and locations

김수연 Seoul National University 2016 국내박사

Vibrio vulnificus and Vibrio parahaemolyticus are gram-negative, motile, nonspore-forming opportunistic pathogens that causes foodborne illness associated with the consumption of contaminated seafood. Although many cases of foodborne outbreaks caused by V. vulnificus and V. parahaemolyticus have been reported, the genomes of only few of them have been completely sequenced and analyzed using bioinformatics. In order to characterize overall virulence factors and pathogenesis of V. vulinificus and V. parahaemolyticus associated with foodborne outbreak in South Korea, new strains V. vulnificus FORC_016 and V. parahaemolyticus FORC_008 were isolated from blood of food-poisoning patient or flounder fish and their genome was completely sequenced. The genomic analysis of FORC_016 revealed that the genome consists of two circular DNA chromosomes, and contains 4,461 predicted open reading frames (ORFs), 129 tRNAs, and 34 rRNA genes. V. parahaemolyticus FORC_008 have two circular DNA chromosomes containing 4,494 predicted ORFs, 129 tRNAs, and 31 rRNA genes. The genomic analysis revealed that the V. vulnificus FORC_016 has major virulence genes such as RTX, cytolysin, and metalloprotases. Furthermore, comparative genome analysis identified unique virulence genes of FORC_016 strain, suggesting that this pathogen have unique pathogenesis mechanism which different from other V. vulnificus. While the strain FORC_008 does not have genes encoding thermo-stable direct hemolysin (TDH) and TDH-related hemolysin (TRH), its genome encodes many other virulence factors including hemolysins, pathogenesis-associated secretion systems, and iron acquisition systems, suggesting that it may be a potential pathogen. Subsequent cytotoxicity test of the strain FORC_008 revealed its high cytotoxicity activity, substantiating this. This report provides an extended understanding on V. vulnificus and V. parahaemolyticus in genomic level and would be helpful for rapid detection, epidemiological investigation, and prevention of foodborne outbreak in South Korea. Because the foodborne illness occurs via consumption of contaminated food, it is important not only understanding of the virulence factors but also the transcriptome alteration of pathogens caused by contacting with foods. To identify differentially expressed genes of pathogen under contact with foods, V. vulnificus FORC_016, an opportunistic marine pathogen, was selected for the transcriptome analysis. Swimming crab, a common niche of V. vulnificus, was selected for the model foods. The transcriptomic profiles of V. vulnificus exposed or unexporsed to crab in 1 or 4h were analyzed using a strand-specific RNA-sequencing. By analyzing RPKM (reads per kilobase of transcript per million reads) fold changes of each gene, I identified that 922 and 648 genes were differentially expressed under exposure to crab for 1h and 4h (P value < 0.05, 2 fold threshold). Regardless of incubation time, the genes related with energy production, cell growth, oligopeptide transport, and glucose metabolism were up-regulated, while genes associated with amino acid biosynthesis, nitrogen metabolism, and other sugar metabolism were down-regulated. These result suggested that V. vulnificus could metabolize the component of crab. Also, the genes encoding thermolabile hemolysin was up-regulated, suggesting this virulence gene might be have crucial role for pathogenesis of V. vulnificus FORC_016 when consumed the V. vulnificus FORC_016 contaminated crab. The swimming crab, Portunus trituberculatus, is the most consumed edible crab in South Korea, and their production and consumption have been increased. Although the foodborne illness caused by consuming of swimming crab have been reported each year, the bacterial community in swimming crab has not been fully understood yet. In order to identify the bacterial members in swimming crab depending on seasons and locations, the microbiota in 65 crabs which were collected from different locations in spring and autumn was analyzed by pyrosequencing. The bacterial communities in autumn crab were more diverse in than those in spring. Psychrobacter, Vagococcus, and Carnobacterium were the most abundant genera in spring, whereas Roseovarius was predominant in autumn, but their proportions were influenced by the pathogenic bacterial proportion. These results indicated that the microbiota in swimming crab significantly influenced by seasonal temperature change. The proportion analysis on Vibrio species indicated that intake of crab could cause the foodborne illness. This study provides the extended understanding on composition of bacterial community in swimming crab and the factors influencing crab microbiome.

(A)process-based approach to knowledge flow analysis

김수연 Pohang Univ. of Science and Technology 2003 국내박사