THE DIGITIZATION OF NETWORK ROUTING SYSTEM, ARTIFICIAL NEURAL NETWORK AND REINFORCEMENT LEARNING FOR LOGISTICS AUTOMATION

엔당 서울대학교 대학원 2023 국내박사

물류 시스템은 경제성장과 지속가능성을 위해 필수적으로 뿐만 아니라 물류 분야에서 운송 및 유통은 경제성장에 영향을 미칠 수 있다. 그러므로 배전시스템의 효율성은 차량의 수용 능력과 차량수의 이용을 최적화하기 위해 거리와 시간을 최소화하게 배전 경로를 결정함으로써 이루어질 수 있다. 심층 학습은 인간 두뇌의 작동 방식을 모방하고 경험을 통해 학습하는 일련의 신경망인 데다가 인간 두뇌의 작용이 영감을 준다. 인공 지능은 기계가 효율적으로 작동하고 문제를 해결할 수 있도록 한다. 물류 시스템은 상품의 이동 과정으로 설명할 수 있으므로 지속 가능한 경제 발전을 위해서는 효과적이고 효율적인 물류 시스템이 필수적이다. 강화 학습은 적절한 조치를 결정하고 최대 결과를 얻기 위해 상황별로 지도 제작하기로 결정될뿐더러 인간의 학습 능력을 모방하여 환경과의 상호 작용에서 장기적인 이점을 극대화하는 행동을 선택할 수 있다. 이 연구는 운송 네트워크를 구축하고 불확실성을 줄이며 효율성과 지속 가능성을 높이기 위해 전략적으로 변경하는 것을 목표로 합니다. 따라서 이 박사학위논문을 통해서 세 가지 다른 연구를 제시한다. 첫 번째 연구는 물류에서 거리, 시간 및 비용을 최소화하기 위해 유통 경로, 용량을 설정하고 운송의 불확실성을 줄이는 것을 목표로 합니다. 거리와 시간을 줄이고 가장 큰 절감 가치를 기반으로 경로를 생성하기 위해 얼마나 많은 조처를 할 수 있는지를 측정하여 절감을 결정하기 위해 수정된 절감 알고리즘을 정의하였다. 또한 본 연구에서는 트럭, 드론, 전기자동차를 이용한 배송에 대한 모델 시뮬레이션을 이용하여 거리, 시간, 비용에 따른 성능을 비교한다. 물론 이 모델의 시뮬레이션을 통해 운영 최적화를 허용하면서 구현 전에 결정의 영향을 확인할 수 있다. 결과는 운영 전략 영역에서 결정을 내릴 수 있으므로 효율성을 높일 수 있다. 두 번째 연구에서는 인공신경망을 구축하여 화물 예측 및 효율성 향상을 목표로 한다. 본 연구에서는 적재, 거리, 비용, 시간 등의 관련 요인을 고려하여 경로와 효율 예측을 결합한 계획에 따라 선적 수량을 예측하기 위한 인공신경망을 구축한다. 이 결과를 통해서 전략적 공식화 및 의사 결정을 계획하고 개발할 기회를 제공할 수 있다. 마지막으로 세 번째 연구는 운송 경로, 주문, 용량을 설정하고 불확실성을 줄이고 활용도와 효율성을 극대화하기 위해 허브의 어떤 함대가 어느 스포크에 배달해야 하는지를 목표로 합니다. 강화 학습은 역동적인 환경을 이해하고 대응하며, 예상치 못한 초과 주문에 능동적으로 대비하고, 예상되는 상황 변화에 즉시 대응하여 더 나은 결과를 수립할 수 있다. 이 연구에서 심층 강화 학습은 시스템에 대한 관찰을 기반으로 행동을 결정하므로 명령을 수행할 위치를 결정할 수 있고 다른 지점에서 명령을 수행할 수 있다. 따라서 효율성, 전략 및 의사 결정을 향상할 수 있다. 전반적으로 이 박사학위논문의 연구는 인공 지능 시뮬레이션, 인공 신경망 및 강화 학습 구축에 대한 학계 및 관리를 제공한다. 따라서 더 지시되고 집중되고 연결되는 운송 모드의 할당을 설정할 수 있으며 본 연구는 운영전략의 영역에서 의사결정을 수립함으로써 효율성을 높일 수 있을 것이다. 또한, 상품의 흐름을 효과적이고 효율적으로 합리화하면 경제 발전, 사회적 향상 및 지속 가능성을 향상할 수 있다. The logistics system is crucial for economic growth and sustainability. In the field of logistics, transportation and distribution may affect economic growth. Hence, the logistics system can be conducted through establish transportation networks, attenuate uncertainty and strategically alter them to enhance efficiency and sustainability. Deep learning is a set of neural networks that seek to mimic the workings of a human brain and learn from its experiences. The workings of the human brain inspire it, and artificial intelligence may allow machines to work efficiently and solve problems. The logistics system can be described as the process of the movement of goods. Hence, effective and efficient logistics systems are essential for sustainable economic development. Reinforcement learning is determined to decide iv on appropriate action and to map from situation to action to get the maximum results. Reinforcement learning can mimic human learning abilities to choose actions that maximize long-term benefits in their interactions with the environment. The research aims to establish transportation networks, reduce uncertainty and strategically alter them to enhance efficiency and sustainability. Hence, the dissertation establishes three different studies. The first study of this dissertation aims to establish distribution route, capacity and reduce uncertainty of shipment to minimize distance, time and cost in logistics. This research established the modified saving algorithm to determine savings as measured by how much can be done to reduce the distance and time used through linking existing nodes and making a route based on the largest saving value here the distance and time between the source and the destination node. This research establish model simulations for delivery established by truck, drone, and electric vehicles and then compares the performance based on distance, time, and cost. Hence, the model simulations may enable to see the impact of decisions before implementation while allowing for operations optimization. The results may establish decisions in operational strategies, thereby increasing efficiencies. The second study of this dissertation aims to establish artificial neural network to make forecast load of shipment and efficiency enhancement. This research established an artificial neural network for forecasting the number of shipments based on combined route and efficiency forecasting with related factors such as load, distance, cost, v and time. The results may enhance efficiency, provide opportunities for planning, strategic formulation and decision making. The third study of this dissertation aims to establish transportation routes, order, capacity, reduce uncertainty, and which fleet on hub should deliver to which spoke to maximize utilization and efficiency. Reinforcement learning may understand and respond to dynamic environments, proactively prepare for unexpected excess orders and establish better results by responding immediately to expected changes in circumstances. The deep reinforcement learning in this research determined actions based on the observations it has made on the system. Hence, it may determine where to carry the order and may carry the orders from different points. Therefore, these may enhance efficiencies, strategies, and decisions making. Overall, the study provides academia and management on establishing artificial intelligent simulations, artificial neural networks, and reinforcement learning. Hence, it may establish the allocation of transportation modes that become more directed, focused, and connected. Hence, this study may establish decisions in operational strategies, thereby enhancing efficiencies. Furthermore, streamlining the flow of goods effectively and efficiently may enhance economic development, social enhancement, and sustainability.

가속도계를 이용한 수면 품질 측정을위한 스마트 베개 설계

엔당 수완디 계명대학교 대학원 2019 국내석사

Sleep is very important for health. Lack of rest can reduce physical, emotional, and mental well-being and can cause many complications for people who suffer from chronic lack of sleep. The sleep monitoring system is important to detect sleep disturbances as early as possible to be diagnosed and treat the disease quickly. One of the advanced technologies for assessing sleep quality is polysomnography (PSG). Design of proposed system measured the quality of sleep by using nine accelerometer sensors embedded in the pillow to detect the acceleration of limb movements, e.g. head movements. To optimize the number of accelerometer sensors and identify which accelerometer sensor detected movements, group of the sensors were classified and studied. The objective of this study is to design a smart pillow that can measured the long-term quality of sleep using accelerometer on the pillow. The accelerometer used for this study is the ADXL335 accelerometer sensor from Analog Device. The proposed system used two mega Arduino boards, each of which acts as a master and slave to read accelerometer sensors. The accelerometer data was changed first to the value of vector signal magnitude, before being sent to the computer via bluetooth communication. Seven participants were involved in this study, which consisted of six men and one woman. The procedure, participants were asked to sleep using a smart pillow for five days. During sleep, participants are recorded using a camera on a computer. After awakening, participants were asked to fill out a post-sleep questionnaire. The JavaFX program was run to record participants' gross body movement during sleep and stored nine accelerometer data together with timestamp data on the computer. The accelerometer sensor data stored in a computer is processed further by using a python program. After going through the filtering process until the merger and threshold process, the gross body movement data is obtained. The proposed system used the Python program to count the peaks of gross body movement data. Spearman correlation was performed to test the correlation of gross body movement per minute rate with three post-sleep questionnaire questions, namely subjective quality, restfulness, and depth of sleep. Finally, the seven score of sleep quality parameters were tested with gross body movement. The higher gross body movement per minute during sleep represented lower sleep quality. The correlation top group sensor and left group sensor was similar, therefore it was possible to remove sensor 4, 5, and 9 to reduce cost. 수면은 건강에 매우 중요합니다. 휴식의 부족은 신체적, 정서적, 정신적 안녕을 감소시킬 수 있으며 만성적 인 수면 부족으로 고통받는 사람들에게 많은 합병증을 유발할 수 있습니다. 수면 모니터링 시스템은 가능한 빨리 수면 장애를 진단하고 질병을 신속하게 치료하는 데 중요합니다. 수면의 질을 평가하기위한 첨단 기술 중 하나는 다발성 경화증 (polysomnography, PSG)입니다. 제안 된 시스템의 설계는 팔다리 움직임의 가속도를 검출하기 위해 베개에 내장 된 9 개의 가속도계 센서를 사용하여 수면의 질을 측정했다. 머리 움직임. 가속도계 센서의 수를 최적화하고 어떤 가속도계 센서가 움직임을 감지했는지 식별하기 위해 센서 그룹을 분류하고 연구했습니다. 이 연구의 목적은 베개에 가속도계를 사용하여 수면의 장기 품질을 측정 할 수있는 스마트 베개를 설계하는 것입니다. 이 연구에 사용 된 가속도계는 아날로그 장치의 ADXL335 가속도계 센서입니다. 제안 된 시스템은 2 개의 메가 Arduino 보드를 사용했으며, 각각의 보드는 가속도계 센서를 읽는 마스터 및 슬레이브 역할을합니다. 가속도계 데이터는 블루투스 통신을 통해 컴퓨터로 전송되기 전에 먼저 벡터 신호 크기 값으로 변경되었습니다. 6 명의 남자와 1 명의 여자로 구성된이 연구에 7 명의 참가자가 참여했습니다. 절차, 참가자는 5 일 동안 똑똑한 베개를 사용하여자는 것을 요청 받았다. 수면 중에 참가자는 컴퓨터의 카메라를 사용하여 기록됩니다. 각성 후 참가자들은 수면 후 설문지를 작성하도록 요청 받았다. JavaFX 프로그램은 수면 중에 참가자의 신체 움직임을 기록하기 위해 실행되었으며 컴퓨터에 타임 스탬프 데이터와 함께 9 개의 가속도계 데이터를 저장했습니다. 컴퓨터에 저장된 가속도계 센서 데이터는 파이썬 프로그램을 사용하여 추가 처리됩니다. 합병 및 임계 값 프로세스까지 필터링 프로세스를 거친 후 총체적 신체 움직임 데이터가 얻어집니다. 제안 된 시스템은 총 신체 움직임 데이터의 피크를 계산하기 위해 Python 프로그램을 사용했습니다. 스피어 만 (Spearman) 상관 관계 분석은 세 번의 수면 후 설문지 질문, 즉 주관적 품질, 편안함 및 수면의 깊이와 분당 총 신체 운동의 상관 관계를 테스트하기 위해 수행되었습니다. 마지막으로, 수면 품질 매개 변수의 7 가지 점수는 신체의 총체적인 운동으로 검사되었습니다. 수면 중 분당 신체 움직임이 많으면 수면의 질이 낮았다. 상관 상위 그룹 센서와 왼쪽 그룹 센서는 비슷했기 때문에 비용을 줄이기 위해 센서 4, 5 및 9를 제거 할 수있었습니다.