Q-learning을 활용한 혼류 생산 라인 스케줄링 최적화

국문 초록 (Abstract)

본 연구는 혼류 생산(Mixed-Model Assembly Lines) 환경에서 제품별 공정 시간 불균형으로 인해 발생하는 설비 유휴(Idle) 및 차단(Blocking) 현상을 최소화하고 생산 효율을 향상시키기 위해 Q-learning 기반 스케줄링 최적화 기법을 제안한다. 기존 Q-learning 방식이 제품 유형만을 상태 변수로 사용하여 공정 부하 불균형을 충분히 반영하지 못하는 한계를 보완하고자, 본 연구에서는 각 공정별 잔여 공정 시간과 제품 유형을 함께 고려한 상태를 설계하였다. 이를 통해 의사결정 과정에서 공정 부하 편차를 반영하여 병목 완화와 설비 가동률 향상을 유도하였다. SPT 규칙 및 기존 Q-learning 방식과의 비교 실험 결과, 제안 기법은 최대 1.81%의 생산 리드타임 단축과 18.95%의 학습 수렴 속도 향상을 달성하였으며, t-검정을 통해 이러한 성능 향상이 통계적으로 유의함을 확인하였다.

다국어 초록 (Multilingual Abstract)

This study proposes a Q-learning-based scheduling optimization method to minimize machine Idle and Blocking states caused by process time imbalances among different product types in a Mixed-Model Assembly Lines environment, thereby improving production efficiency. Unlike conventional Q-learning approaches that use only product type as the state variable—thus insufficiently reflecting process load imbalance—the proposed method incorporates both the remaining processing time and the product type for each stage into a refined state definition. By directly embedding process load variations into decision-making, the method mitigates bottlenecks and enhances equipment utilization. Comparative experiments against the Shortest Processing Time (SPT) rule and the conventional Q-learning method show that the proposed approach achieves up to a 1.81% reduction in lead time and an 18.95% improvement in learning convergence speed. A paired t-test confirms that these performance improvements are statistically significant.

목차 (Table of Contents)

• 초록
• ABSTRACT
• 1. 서론
• 2. 관련 문헌 연구
• 3. 문제 정의
• 4. 제안 방법
• 5. 실험
• 6. 결론
• References