Deep Learning Approaches for Multi- modal Pathology-based Survival Outcome Prediction of Lung Cancer Patients = 폐암 환자의 생존 예측을 위한 병리영상 기반의 멀티모달 딥러닝 기법

국문 초록 (Abstract)

생존 분석은 최적의 치료 결정을 내리기 위해 의료 분야에서 필수적인 역할을
수행한다. 최근에는 딥러닝(Deep Learning) 접근법에 기반한 생존 분석이 제안되어
유망한 결과를 입증하고 있다. 그러나 이상적인 예측 모델은 여러 기관 간에 걸친
대규모 데이터셋을 통합하는 것이 필요하며, 이는 의료 데이터 개인정보 보호와
관련된 문제를 제기한다. 본 논문에서는 세계적인 주요 사망 원인 중 하나인
비소세포폐암 환자의 생존 결과를 예측하기 위해 양전자 방출 단층 촬영(PET) 및
병리학 기반의 딥러닝 접근법을 제안한다.
해당 연구는 PET 이미지를 통해, 임상 정보와 PET 기반의 특징을 활용하여 생존 시간
예측을 목표로 하는 비동기 연합 학습 프레임워크인 FedSurv 를 제안한다. 해당
연구는 비소세포폐암 환자의 임상적 위험 인자와 F-18 플루오로데옥시글루코스(FDG)
PET 이미지로 구성된 다음의 두 가지 데이터셋, Cancer Imaging Archive 의
비소세포폐암 공개 방사선 데이터셋과 대한민국의 전남대학교 화순병원(CNUHH)의
원내 데이터셋을 활용하였다. 초기에는 조직학적 특성에 따라 각 데이터셋을 여러
클라이언트로 분할하고, 제안된 딥러닝 모델을 사용하여 각 클라이언트를 학습시켜
개인의 생존 시간을 예측하였다. 이후 연합학습 프레임워크는 클라이언트로부터
가중치와 매개변수를 수집한 다음, 이를 글로벌 모델에 통합하였다. 마지막으로
글로벌 모델은 모든 가중치와 매개변수를 집계하고 업데이트된 모델 가중치를 각
클라이언트에 재분배하였다. 이를 통해 단일 클라이언트 기반 접근 방식, 중앙집중식
및 연합학습 방식의 학습 프레임워크를 평가하였다.
또한 비소세포 폐암 환자의 생존시간 예측을 위해 병리 이미지 기반의 Multimodal
Convolution LSTM(ConvLSTM) 프레임워크를 제안한다. 해당 접근법은 임상적 위험
인자, 세포 분포 및 병리 이미지를 동시에 활용하며, 세 가지 양식의 고유한 특징들을
활용하는 것을 목표로 하였다. 이와 더불어 생존시간 예측 작업을 위해, 개선된 패치
기반 방식을 제공하는 새로운 ConvLSTM 모델을 제안한다. 본 연구는 비소세포 폐암
환자의 실제 생존 시간을 예측하기 위해 병리 이미지, 임상적 위험 인자 및 세포
정보를 결합한 최초의 연구이다. 제안된 방법은 서로 다른 취득 및 처리 절차를 거친
비소세포 폐암 환자의 다양한 데이터셋(TCGA-LUAD, TCGA-LUSC, NLST)에 대해
평가한다.

다국어 초록 (Multilingual Abstract)

Survival analysis plays an essential role in the medical field for optimal treatment decision- making. Recently, survival analysis based on the deep learning (DL) approach has been proposed and is demonstrating promising results. However, developing an ideal prediction model requires integrating large datasets across multiple institutions, which poses challenges concerning medical data privacy. This thesis presents approaches to predict survival outcome of non-small cell lung cancer patients, one of the leading causes of death in the world. Herein, we propose the PET-based and pathology-based deep learning methods for survival outcome prediction. With PET images, we propose FedSurv, an asynchronous federated learning (FL) framework designed to predict survival time using clinical information and positron emission tomography (PET)-based features. This study used two datasets: a public radiogenic dataset of non-small cell lung cancer (NSCLC) from the Cancer Imaging Archive (RNSCLC), and an in-house dataset from the Chonnam National University Hwasun Hospital (CNUHH) in South Korea, consisting of clinical risk factors and F-18 fluorodeoxyglucose (FDG) PET images in NSCLC patients. Initially, each dataset was divided into multiple clients according to histological attributes, and each client was trained using the proposed DL model to predict individual survival time. The FL framework collected weights and parameters from the clients, which were then incorporated into the global model. Finally, the global model aggregated all weights and parameters and redistributed the updated model weights to each client. We evaluated different frameworks including single-client-based approach, centralized learning and FL. With pathology images, we proposed a pathology-based multimodal convolutional LSTM (ConvLSTM) framework for survival time prediction of non-small cell lung cancer (NSCLC) patients. The approach simultaneously performs clinical risk factors, cell distribution, and pathology images and aims to leverage the distinctive features of the three modalities. Moreover, we propose a new ConvLSTM model for the survival time prediction task that offers an improved patch-based method. Our study is the first research combining pathology images, clinical risk factors and cell information to predict the true survival time of NSCLC patients. The proposed method is evaluated on variant datasets (TCGA-LUAD, TCGA-LUSC, NLST) of non-small cell lung cancer patients that underwent different acquisition and processing procedures.

목차 (Table of Contents)

• A. INTRODUCTION 1
• 1. A statement of the problem: Lung Cancer 1
• 2. Review of literature 4
• 3. Outline 8
• B. BACKGROUNDS 9
• 1. Fully connected neural networks 9
• 2. Convolutional neural networks 10
• 3. Federated learning 12
• 4. Image Segmentation and Classification 13
• 5. Transformers for Vision 14
• C. METHODS 15
• 1. PET-based survival analysis 15
• 2. Pathology-based survival analysis 23
• 3. Nuclear classification and segmentation from pathology image 26
• 4. Pathology-based multimodal survival analysis 39
• D. EXPERIMENTAL RESULTS 45
• 1. PET-based survival analysis results 45
• 2. Pathology-based survival analysis results 52
• 3. Nuclear classification and segmentation results 53
• 4. Pathology-based multimodal survival analysis results 59
• E. CONCLUSION 66
• Reference 67
• (국문초록) 80
• ACKNOWLEDGEMENT 83