http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
쿠버네티스 환경에서 애플리케이션의 실행 시간 및 비용 최적화를 위한 실험계획법 기반 스케줄링 방법
윤영언(YoungEon Yoon),김미진(MiJin Kim),김정호(JeongHo Kim),최보아(BoAh Choi),배지훈(Ji-Hoon Bae),이종혁(JongHyuk Lee) 한국정보기술학회 2022 Proceedings of KIIT Conference Vol.2022 No.12
쿠버네티스 환경에서 애플리케이션 실행을 위한 파드(Pod)의 자원 크기를 사용자 경험에 기반하여 잘못 지정하면 최적의 실행 시간과 비용을 보장받을 수 없다. 따라서 애플리케이션의 최적 실행 시간과 비용을 보장받기 위해서는 데이터에 기반해 자원 크기를 결정하고 이를 파드 스케줄링에 활용하는 방법이 필요하다. 본 논문은 사용자의 경험에 의존하지 않고 실험계획법을 사용해 애플리케이션의 최적 실행 시간과 비용을 보장하는 자원 크기를 알아내고, 이를 파드 스케줄링에 적용하는 방법을 제안한다. 여러 애플리케이션을 실험한 결과, 자원 크기를 지정하지 않은 것보다 본 논문의 실험계획법 기반 스케줄링 방법을 이용한 것의 사용자 만족도가 평균적으로 약 2.43배 높았다. In a Kubernetes environment, the optimal execution time and cost cannot be guaranteed if the resource size of the pod for application execution is incorrectly specified based on user experience. Therefore, in order to ensure the optimal execution time and cost of an application, a method of determining resource size based on data and utilizing it for pod scheduling is needed. This paper proposes a method that uses experimental planning methods without relying on user experience to find out the resource size that guarantees the optimal execution time and cost of an application, and apply it to pod scheduling. Experimenting with multiple applications, on average, the user satisfaction of using the DOE-based scheduling method was about 2.43 times higher than that of not specifying the resource size.
쿠버네티스 환경에서 애플리케이션 최적 실행을 위한 사용자 정의 스케줄러 개발
김정호(JeongHo Kim),최보아(BoAh Choi),윤영언(YoungEon Yoon),김미진(MiJin Kim),배지훈(Ji-Hoon Bae),이종혁(JongHyuk Lee) 한국정보기술학회 2022 Proceedings of KIIT Conference Vol.2022 No.6
쿠버네티스 환경에서 애플리케이션을 파드로 배포하고자 할 때 사용자가 스케줄러와 리소스 크기를 명시적으로 지정해주지 않으면 기존의 스케줄러를 사용하여 리소스 제약 없이 파드를 적정 노드에 배치한다. 그리고 리소스 크기를 명시적으로 지정하더라도 이는 사용자 경험에 의한 것이기 때문에 데이터에 근거한 최적의 리소스 크기로 보기 어렵다. 이에 따라 애플리케이션의 성능을 보장할 수 없다. 본 논문은 애플리케이션의 성능을 보장하기 위해 실험계획법 기반 리소스 크기 예측 모델을 생성하고 이를 쿠버네티스 사용자 정의 스케줄러에 반영하는 방법을 제안한다. When deploying an application as a pod in the Kubernetes environment, if the user does not explicitly specify a scheduler and resource size, the existing scheduler is used to deploy the pod to the appropriate node without resource constraints. And even if the resource size is explicitly specified, it is difficult to see it as the optimal resource size based on data because it is based on user experience. Accordingly, the performance of the application cannot be guaranteed. This paper proposes a method to create a DOE-based resource size prediction model and apply it to the Kubernetes user-defined scheduler to ensure application performance.
김정호(JeongHo Kim),최보아(BoAh Choi),윤영언(YoungEon Yoon),배지훈(Ji-Hoon Bae),이종혁(JongHyuk Lee) 한국정보기술학회 2021 Proceedings of KIIT Conference Vol.2021 No.11
클라우드 네이티브 컴퓨팅 환경에서 컨테이너를 이용해 애플리케이션을 실행할 경우 자원 할당을 증가시킨다고 해서 실행 시간과 비용이 선형적으로 나타나지는 않는다. 이에 따라 사용자는 컨테이너에 자원을 얼마큼 할당해야 원하는 실행 시간과 비용을 맞출 수 있는지 예측하기 어렵다. 이를 위해 본 논문은 사용자가 설정한 시간과 비용 내에서 최적의 컨테이너 자원 크기의 예측을 위해 실험계획법에 기반한 자원 할당 방법을 제안한다. 실험계획법은 최소의 실험으로 최대의 효율을 내기 위한 실험 설계 방법으로 본 논문에서는 이 방법을 이용해 컨테이너 자원과 애플리케이션 실행 시간 및 비용 간의 최적 조건 결정문제를 해결한다. When running applications using containers in a cloud-native computing environment, increasing the resource allocation does not result in a linear execution time and cost. Accordingly, it is difficult for users to predict how many resources should be allocated to containers to meet the desired execution time and cost. To this end, this paper proposes a resource allocation method based on design of experiments to predict the optimal container resource size within the time and cost set by the user. Design of experiments is an experimental design method to achieve maximum efficiency with minimum experimentation. In this paper, we solve the problem of determining optimal conditions between container resources and application execution time and cost using this method.
Delta Lake에서의 데이터 정리와 최적화 전략: Compaction-Vacuum 연구
김동희(DongHee Kim),김부건(BuGeon Kim),남도영(DoYoung Nam),표성민(SungMin Pyo),윤영언(YoungEon Yoon),배지훈(Ji-Hoon Bae),이종혁(JongHyuk Lee) 한국정보기술학회 2024 Proceedings of KIIT Conference Vol.2024 No.5
본 논문은 Delta Lake의 Compaction과 Vacuum 기술에 대한 조사를 중점적으로 다룬다. Delta Lake는 Apache Spark를 기반으로 구축된 오픈 소스 프로젝트로, 데이터의 무결성, 일관성, 확장성을 보장하며 대용량 데이터 처리 및 데이터 웨어하우스와 같은 분석 작업을 효과적으로 지원한다. 빅데이터에서 수많은 작은 파일들은 다양한 문제의 원인이 된다. Delta Lake의 최적화 기술 중 Compaction은 작은 Parquet 파일을 더 큰 파일로 압축하여 파일 I/O 오버헤드를 줄여주는 최적화 방법으로, 성능 향상과 데이터 처리 시간 절약을 제공한다. 반면에, Vacuum은 이전 버전의 데이터 파일을 정리하여 저장 공간을 최적화여 데이터 보관 비용 절약을 제공한다. 본 연구는 Compaction과 Vacuum의 동작 원리, 활용 방안, 각 기술의 장단점을 분석하며, Delta Lake의 데이터 관리에 대한 성능 및 비용 효율성을 위한 두 가지 기술의 최적 전략을 탐색한다. This paper focuses on the investigation of Delta Lakes Compaction and Vacuum techniques. Delta Lake is an open-source project built on Apache Spark, ensuring data integrity, consistency, and scalability, effectively supporting large-scale data processing and analytical tasks such as data warehousing. In big data, numerous small files often cause various issues. Among Delta Lakes optimization techniques, Compaction compresses small Parquet files into larger ones, reducing file I/O overhead, thus providing performance improvement and saving data processing time. On the other hand, Vacuum optimizes storage space and saves data retention costs by cleaning up previous versions of data files. This study analyzes the operating principles, applications, and pros and cons of Compaction and Vacuum, exploring optimal strategies for data management in Delta Lake to enhance performance and cost-effectiveness.