Analysis of Gradients of Loss Function in Deep Learning Networks

강두영 서울대학교 대학원 2019 국내석사

깊은 신경망을 학습시킬 때, 배치 크기를 작게 하여 학습시키는 것이 손실 함수의 평평한 최소값으로 파라미터를 수렴시키고, 배치 크기가 큰 경우에는 그렇지 못함이 일반적으로 알려져있다. 또한 날카로운 최소값은 평평한 최소 값에 비해 일반화가 좋지 못함이 알려져있기 때문에, 배치 크기와 일반화 정도 사이의 관계는 연구자들 사이에서 중요한 문제이다. 스미스는 배치 크기가 작 을 수록 학습에 이용되는 그래디언트에 소음이 많이 섞이게 됨을 발견했고, 웬은 배치 크기의 영향을 줄이기 위해 날카로운 최소값을 피하는데에 적합한 새로운 학습 방법을 제안했다. 또한 케스카는 작은 배치 크기로만 학습시키는 기존의 방법에 비해, 배치 크기를 작게 했다가 일정 학습 이후에 크기를 키우 는 ’피기백 방법’이 일반화에 더 좋다고 추측하였다. 본 논문에서는, 케스카의 논문에서 언급된 ’피기백 방법’에 초점을 맞추어 이 방법이 좋은 일반화 성능 을 낼 수 있는 근거를 그래디언트 분석 실험을 통해 뒷받침하려 한다. 또한, 앞서 언급한 스미스와 웬의 논문을 요약하며 실험의 아이디어를 얻은 과정을 소개한다. It is widely known that training with small batch size tend to converge to flat minimizers of loss function while large batch method does not. It is also known that sharp minima generalize worse than flat minima, so relation between batch size and generalization is crucial issue among researchers. Smith found that the smaller batch size, the more noise is introduced in gradients during training. Wen suggested a new method to train that is good at avoiding sharp minima under less effect of batch size. Keskar guessed that ’piggybacked method’, which is training with large batch after some epochs of small batch methods, generalize better than original small batch method. In this work, we focused the ’piggybacked method’ in Keskar’s paper and analyzed gradients through experiments to find the reason of good generalizing ability of this method. Also, we introduce the process of getting idea of experiments with summarizing the paper of Smith and Wen.

제주지역 중학생의 가공식품 구매행동 및 식품첨가물에 대한 인식 연구

강두영 濟州大學校 敎育大學院 2008 국내석사

This study aims to grasp the processed food buying behavior of middle school students and their understanding of food additives so that basic data for health education which will help them to make healthy food choices can be provided. The summary of the research results is as follows: 1. The research shows 45.1% of the respondents intake processed foods three to five times a week. They usually eat those foods at their homes. The students use convenient shops the most, then neighborhood supermarkets, and lastly warehouse stores to get processed foods. After school hours are a peak time for the students to buy them mostly because they feel hungry. When they make food choices, they consider a taste factor the most (57.9%). 56% of the respondents spend less than half of their monthly pocket money for processed snack foods. 31.7% of the students turned out to throw away substandard foods, whereas 30.4% of the respondents still eat them. 60.4% of the respondent students do not check out food labels on the packages. 70.6% of those who do check out food labels do so to see expiration dates. Regarding the influence of food labelling on their dietary life, 52.7% of the students answered that it generally had an effect on their eating habits. The biggest reason they do not bother to look for ingredients or nutrition facts is because they have no interest in the labels (53.4%). When asked if they would choose foods after checking out labels in future, 45.8% of them answered, "I am not sure". Their trust in food labelling turned out to be generally low. 2. In the survey about the respondents' requiring information on the food additives, 57.4% of the ninth graders said "Yes" to the question of "Have you ever heard of a word "food additives". The ninth graders are more aware of the word than the eighth and the seventh graders. The respondents, especially the seventh graders, hear about food additives mostly from the media. 70.2% of the students responded that safety is the most important factor as far as food additives are concerned. Regarding other factors than food safety, the students showed different responses by sex. 3. When asked "Do you think food additives are safe to eat", 61.3% of the students said "No". Female students proved to be more skeptical about the safety of food additives than their male counterparts. While many male and seventh graders feel unsafe about the additives because they are chemicals, female and eighth graders feel that way because the media say they are harmful. The students see preservatives as the most worrying food additive. 4. Among those who think food additives are safe, 3.95 of them said they are necessary to produce processed foods. There are meaningful differences between the male and the female students in these responses. 3.41 of them answered that the more attractive color a food has, the more they want to eat it. Some noteworthy differences are shown according to the students' sex and school districts in the answers. 2.81 of them think food additives enhance the quality of the food. Here also are interesting differences detected by their school districts. 4.10 of those who responded that food additives are not safe said they can influence their health adversely. The students' sex, grades, school districts, and monthly pocket money affect their answers. 3.77 of them said there are too many food additives in processed foods, and 3.82 of them suspect that something harmful must be added to those foods with long period of use-by dates. Only 2.77 of them try to buy foods containing no additives even though they are a little more expensive. The students' sex and monthly pocket money also influence their decisions. 5. Regarding the level of students' awareness of the terms of condiments, sweeteners, color additives, and preservatives, 92.5% of the respondents are aware of preservatives while less than 50% of them know the names of condiments and sweeteners. The students proved to be highly concerned about the safety of food additives, however many of them do not check food labels mainly because their interest and trust in food facts labels are low. Considering the fact that they do not know much about the food additives, we should educate them about food labels and different additives. With the help of education and public promotion, students will be able to make healthy food choices. 본 연구는 중학생을 대상으로 가공식품의 구매행동을 파악하고 식품첨가물에 대한 인식을 조사하여 중학생들이 바람직한 식생활을 할 수 있는 식생활 교육을 위한 기초 자료를 제공하고자 하였다. 주요 연구 결과를 요약하면 다음과 같다. 1. 가공식품 구매행동을 조사한 결과 섭취빈도는 일주일에 3-5일 먹는다가 45.1%로 가장 많았다. 먹는 장소는 집이 가장 많았으며, 구입 장소는 편의점, 동네슈퍼마켓, 대형할인마트 순이었다. 구입 시간은 방과 후가 가장 많았다. 가공식품을 구입하는 이유는 배가고파서가 가장 많았고, 구입 시 고려하는 사항은 맛이 57.9%로 나타났다. 한 달 용돈 중 가공식품 구입비용은 절반 보다 적게 사용한다가 56%로 가장 많았다. 불량식품을 구입했을 경우 그냥 버린다와 그냥 먹는다가 각각 31.7%, 30.4%로 높은 비율을 차지하였다. 가공식품 구입할 때 식품표시 확인여부는 확인하지 않는 비율이 60.4%를 차지하였고, 확인하는 이유로는 유통기한을 확인하려고가 70.6%로 가장 높았다. 식품표시 확인이 식생활에 영향을 주는 정도는 52.7%가 대체로 영향을 준다고 했다. 확인하지 않는 이유로는 식품표시에 관심이 없어서가 53.4%로 가장 높았다. 앞으로 식품표시를 보면서 식품선택을 하겠는가에 잘 모르겠다가 45.8%로 가장 높게 나타났으며, 대체로 식품표시에 대한 신뢰도는 낮은 것으로 나타났다. 2. 성별과 학년에 따른 식품첨가물에 관한 정보 요구도에서 식품첨가물이라는 용어를 들어본 적이 있는지에 있다가 57.4%로 3학년이 가장 높아 차이를 나타냈다. 식품첨가물이라는 용어를 어디서 들어 보았는지는 주로 TV, 라디오, 신문 등의 대중매체였으며, 2학년이 가장 높아 차이를 나타냈다. 식품첨가물에 관한 가장 필요한 정보는 안전성이 70.2%로 가장 높게 나타났고, 다른 정보에 대해서는성별에 따라 차이를 타나냈다. 3. 성별과 학년에 따른 식품첨가물의 안전성 인식에서 식품첨가물이 안전하다고 생각하는지에 아니오가 61.3%로 여학생이 높아 차이를 나타냈다. 불안전한 이유는 화학물질로 인한 알 수 없는 불안감으로가 남학생 그리고 1학년이, 신문·TV에서 해롭다고 하니까는 여학생 그리고 2학년이 가장 높아 차이를 나타냈다. 안전성이 가장 우려되는 식품첨가물로 방부제가 가장 높게 나타났다. 4. 안전성인식 여부에 따른 식품첨가물에 대한 일반적 인식 차이는 안전하다고 인식한 학생들은 식품첨가물이 가공식품을 만드는데 꼭 필요하다고 생각한다가 3.95로 성별에 따라 유의한 차이를 나타냈다. 색깔이 예쁜 과자를 보면 더욱 먹고 싶은 생각이 든다가 3.41로 성별과 학교지역유형에 따라, 식품첨가물은 식품의 질을 향상 시킨다고 생각한다가 2.81로 학교지역유형에 따라 유의한 차이를 나타내었다. 안전하지 않다고 인식한 학생들은 식품첨가물은 건강에 영향을 미칠 수 있다가 4.10으로 가장 높게 나타났고, 성별과 학년, 학교지역유형, 한 달 용돈에 따라 유의한 차이를 나타내었다. 식품에 첨가된 식품첨가물의 종류가 지나치게 많다고 생각한다가 3.77로 성별에 따라 유의한 차이를 나타냈다. 유통기한이 긴 식품을 보고 식품성분이 아닌 다른 성분이 들어갔을 것이라 생각한다가 3.82로 학교지역유형에 따라 유의한 차이를 나타냈다. 조금 비싸더라도 식품첨가물이 없는 식품을 먹으려고 한다가 2.77로 가장 낮게 나타났으며, 성별과 한 달 용돈에 따라 유의한 차이를 나타내었다. 5. 조미료, 감미료, 착색료, 방부제의 용도별 명칭에 관한 인지수준은 방부제가 92.5%로 가장 높았으며, 조미료와 감미료의 용도별 명칭에 관하여 절반에도 못 미치는 학생만이 알고 있는 것으로 나타났다. 이상의 연구 결과로 볼 때, 학생들은 가공식품중의 식품첨가물의 안전성에 대한 인식은 높은 편이었지만, 실제로 식품을 구입할 때 식품표시사항에 대한 관심 및 신뢰도가 낮아 식품표시사항을 확인하는 정도가 낮았다. 또한 식품첨가물 정보에 대한 수준도 낮게 나타났다. 이를 고려하여 식품표시사항과 식품첨가물에 대한 관심과 정확한 지식을 바탕으로 가공식품 구입 시 적용할 수 있도록 실습을 통한 교육과 사회적 홍보가 함께 이루어질 때 건강한 식생활을 할 수 있을 것이다.

지능형 알고리즘을 이용한 엘리베이터의 감시 제어시스템 설계

강두영 원광대학교 대학원 2005 국내석사

외과적 완전 절제술을 시행한 비소세포폐암 환자에서 장기 생존자의 예후 인자

강두영 연세대학교 대학원 2007 국내석사

Objective: The purpose of this study was to compare the risk factors between long-term survivors and short-term survivors, and to determine the factors that have influence on recurrence and survival of long-term survivors after complete resection of their non-small cell lung cancer. Long-term survivors was defined as patients who survived more than 60 months and short-term survivors was defined as patients who survived less than 60 months after pulmonary resection. Materials and methods: From January 1990 to March 2001, 614 patients underwent complete resection of primary non-small cell lung cancer and 279 patients of those survived more than 60 months in department of Thoracic and Cardiovascular Surgery, Severance hospital, Yonsei University College of Medicine. The prognostic factors that have infuence on recurrence and survival in long-term survivors were analyzed according to histologic type, operation method, lymph node metastasis and pathologic stage. Results: Sex(p=0.02), operation method(p<0.01), lymph node metastasis(p<0.01), and pathologic stage(p<0.01) showed a statistically significant difference between long-term survivors and short-term survivors. Multivariable Cox analysis demonstrated that non-squamous cell carcinoma(p<0.01), N2 lymph node metastasis(p<0.01), and pathologic stage III(p<0.01) had influence on recurrence in long-term survivors. Univariate analysis of long-term survivors showed that lymph node metastasis(p<0.01) and pathologic stage(p<0.01) had significant influence on additional survival and multivariable analysis of those showed N2 lymph node metastasis(p<0.01) and pathologic stage III(p<0.01) had significant influence on additional survival. Conclusion: In long-term survivors, non-small cell lung cancers recurred mostly before 60 months and N2 lymph node metastasis, pathologic stage III, and non-squamous cell carcinoma was poor prognostic factors of recurrence, and N2 lymph node metastasis and pathologic stage III had significant influence on additional survival. 서론: 비소세포폐암으로 외과적 완전 절제술을 시행 받은 환자들을 생존 기간 60개월을 기준으로 장기 생존자, 단기 생존자로 구분하여 두 그룹 간 위험 인자를 비교하고 장기 생존자 군에서 사망 및 재발과 관련된 위험 인자를 분석하는 것이 이 논문의 목적이다. 대상 및 방법: 연세대학교 의과대학 세브란스병원 흉부외과에서 1990년 1월부터 2001년 4월 사이에 원발성 폐암으로 외과적 완전 절제술을 시행 받은 환자 614명 중 60개월 이상 생존한 환자 279명을 대상으로 하였고, 장기 생존자 군에서 재발 및 생존과 관계된 변수를 조직학적 분류, 수술 방법, 림프절 전이, 병리학적 병기로 나누어 조사하였다. 결과: 장기 생존자와 단기 생존자의 비교에서 성별(p=0.02), 수술방법(p<0.01), 림프절 전이(p<0.01) 및 병리학적 병기(p<0.01)는 두개의 군 간에 빈도 차이를 나타냈다. 장기 생존자에서 재발에 영향을 미치는 요인에 대한 다중 분석 결과 비편평상피세포폐암(p<0.01), N2 림프절 전이(p<0.01)와 병리학적 병기III(p<0.01)들이 장기 생존자의 전이에 영향을 미치는 것으로 나타났다. 장기 생존자군에서 이후 생존에 영향을 미치는 예후 인자는 일요인분석결과 림프절 전이(p<0.01)와 병리학적 병기(p<0.01)로 나타났고, 다중요인분석결과도 마찬가지로 N2림프절 전이(p<0.01)나 병리학적 병기III(p<0.01)로 나타났다. 결론: 장기 생존자의 대부분의 재발은 60개월 이전에 나타나고 장기 생존자군에서 N2림프절 전이, 병리학적 병기III, 비편평상피세포폐암인 경우 재발에 영향을 미치며, 이 후의 생존율에는 N2림프절 전이나 병리학적 병기III이 영향을 주는 것으로 나타났다.

쥐를 이용한 출혈성쇼크-소생술 후 폐손상 모형에서 흡입 수소가스의 보호 효과

강두영 고려대학교 2018 국내박사

1. 연구 목적 외상 환자에서 흔히 관찰되는 출혈성 쇼크에 따른 소생술은 여러 장기를 포함한 폐실질의 염증 반응을 유발하는 것으로 알려져 있고, 이로 인해 발생할 수 있는 급성 폐손상은 외상 환자의 합병증을 높이고 사망에까지 이르게 한다. 이와 관련하여 본 연구의 목적은 출혈성 쇼크와 소생술 후 발생하는 폐손상 모형에서 2% 흡입 수소가스의 보호 효과에 대한 연구로 염증 매개 인자들을 통해 수소가스의 흡입이 염증 반응 감소 효과를 보이는 지 알아보고자 하는 것이다. 2. 연구 방법 연구에 사용된 쥐를 3개의 군(Sham 군, HSR 군, H2/HSR 군)으로 나누어 실험을 진행하였다. Sham 군은 출혈성 쇼크를 유발하지 않고 실험이 진행되는 동안 대조군 기체를 투여하였고, HSR 군과 H2/HSR 군은 출혈성 쇼크 및 소생술을 시행하였으며, 정해진 시간 동안 각각 대조군 기체와 2% 수소 기체를 투여하였다. 염증 반응 감소 효과 확인을 위해 동맥혈 가스 분석 검사, 조직학적 검사, myeloperoxidase 활동성 및 염증 매개 인자로 알려진 IL-1β, IL-6, tumor necrosis factor(TNF)-α, inducible nitric oxide synthase(iNOS), intercellular adhesion molecule-1(ICAM-1), chemokine (C-C motif) ligand 2(CCL2)를 측정하여 서로 비교하였다. 3. 결과 동맥혈 가스 분석 검사 결과 PO2수치는 Sham 군 > HSR 군 = H2/HSR 군, PCO2 수치는 Sham 군 = HSR 군 = H2/HSR 군, lactate 수치는 HSR 군 > Sham 군 = H2/HSR 군 소견을 보였다. 조직 검사 상에서는 HSR 군에서 염증 세포의 침윤 소견이 많이 관찰되었고, myeloperoxidase 활동성은 HSR 군 > H2/HSR 군 > Sham 군 순서로 높게 측정되었다. 폐내의 염증 매개 인자는 IL-6를 제외하고는 HSR 군 > H2/HSR 군 > Sham 군 순서로 높아져 있었고, IL-6의 경우 HSR 군 > Sham 군 = H2/HSR 군의 소견을 보였다. 4. 결론 출혈성 쇼크와 소생술 후 폐손상 모형에서 2% 수소 기체의 흡입은 염증 세포 침윤을 줄이고, 호중구 침윤에 관여하는 myeloperoxidase 활동성을 줄이며, IL-1β, TNF-α, iNOS, ICAM-1, CCL2 등의 염증 매개 인자를 줄임으로써 폐내로의 염증 세포 이동을 억제하여 폐손상을 줄일 수 있을 것으로 예상된다.

Bayesian Test for the Equality of Gamma Means : 감마 평균의 동질성에 대한 베이지안 검정

강두영 Sangji University 2006 국내박사

이 연구의 목적은 두 확률변수 X와 Y가 서로 독립인 감마분포를 따를 때, 두 감마 평균의 동질성에 대한 베이지안 가설검정 절차를 개발하는 것으로서, 부분 베이즈 요인과 내재적 베이즈 요인을 이용하여 베이지안 가설 검정절차를 제안하는 것이다. 모의실험과 실제 자료를 이용하여 제안된 베이지안 가설검정 절차의 유용성을 조사하였다. When X and Y have independent gamma distributions, we develop Bayesian testing procedures for the equality of two gamma means. Using the reference prior, we propose a Bayesian test procedure for the equality of two gamma means using fractional Bayes factor and intrinsic Bayes factor. Simulation study results and a real data example are provided.