도로교통법 기반 자율주행 AI 안전운전능력평가시나리오 및 평가 기준 개발에 관한 연구

정현숙(Hyeon Suk Jeong),전진숙(Jin Sook Jeon) 사단법인 한국안전문화학회 2024 안전문화연구 Vol.35 No.-

현재 전 세계적으로 자율주행차의 차량 성능 검증에 관한 연구가 활발하게 진행되고 있다. 본 연구에서는 단순한 성능 검증을 넘어 인간 운전자와의 혼재 상황에서 자율주행차가 사회적으로 수용될 수 있는 범위를 연구하고자 하였다. 이를 위해 자율주행차와 인간 운전자가 혼재된 도로상황에서 자율주행차가 일반 운전자와 동일하게 도로교통법을 준수할 수 있는지에 대한 자율주행차 안전운전능력평가를 위한 시나리오를 개발하고자 하였다. 본 연구에서 개발한 시나리오는 교통사고 발생 위험수준과 준법 및 양보운전, 인간 운전자가 혼재된 상황에서의 안전성 유지 등 현실적인 측면에서의 내용을 포함하고 있다. 시나리오 개발과정에서 도로교통법 기반의 평가항목을 도출하였으며, 이를 적용하기 위한 도로교통법 기반의 Layer를 추가한 시나리오 Layer를 새롭게 개발하였다. 그뿐만 아니라 시나리오 세부 항목별 코드화를 통해 시나리오가 간단하고 표준화된 형태로 표현될 수 있게 하였다. 본 연구에서는 총 42개의 도로교통법 기반 자율주행차 운전능력평가 시나리오를 개발하였다. 그리고 SILS(Software in the Loop Simulation) 기반 가상환경 구축 후 시나리오별 자율주행차의 법규 준수 여부를 확인하였으며, 추상적인 도로교통법의 기반 자율주행차 평가를 위해 정량적인 평가기준 및 허용범위를 도출하였다. 본 연구를 통해 자율주행차 센서의 물리적 기능 및 성능적 요소 평가에 중점을 맞춘 기존 평가체계와 달리 기본적인 도로규제 상황에서 자율주행차의 안전운전능력 평가할 수 있는 기반을 마련하였다. 이는 추후 현실적인 측면에서 자율주행차의 운전능력과 행태를 위한 시험평가 체계 구축 시 기초자료로 활용할 수 있을 것으로 판단된다. Recently, research on the verification of autonomous vehicle performance is being actively conducted worldwide. This study aimed to go beyond simple performance verification and explore the range within which autonomous vehicles can be socially accepted in mixed-traffic situations with human drivers. To this end, the study sought to develop scenarios for evaluating the safe driving capabilities of autonomous vehicles to determine whether they can comply with road traffic laws in the same manner as human drivers in such mixed-traffic environments. The scenarios developed in this study include realistic aspects such as the level of traffic accident risk, compliance with laws, yielding behavior, and maintaining safety in situations where human drivers are present. During the scenario development process, evaluation items based on the Road Traffic Law were identified, and a new scenario layer was created to apply these items by incorporating the Road Traffic Law into the layer. In addition, each scenario item was coded to ensure that the scenarios could be expressed in a simplified and standardized format. In total, 42 scenarios based on road traffic laws were developed to evaluate the driving capabilities of autonomous vehicles. After constructing a virtual environment using Software in the Loop Simulation (SILS), we verified the compliance of autonomous vehicles with the laws for each scenario. Furthermore, quantitative evaluation criteria and tolerance ranges were derived to assess autonomous vehicles based on the abstract Road Traffic Laws. Through this study, we established a foundation for evaluating the safe driving capabilities of autonomous vehicles in basic road regulation situations, which differs from the existing evaluation systems that focus on the physical functions and performance aspects of sensors. This is expected to serve as foundational data for future development of a realistic test and evaluation system for assessing the driving capabilities and behavior of autonomous vehicles.

도로교통법 기반 자율주행 AI 안전운전능력평가시나리오 및 평가 기준 개발에 관한 연구

정현숙,전진숙 사단법인 한국안전문화학회 2024 안전문화연구 Vol.- No.35

현재 전 세계적으로 자율주행차의 차량 성능 검증에 관한 연구가 활발하게 진행되고 있다. 본 연구에서는 단순한 성능 검증을 넘어 인간 운전자와의 혼재 상황에서 자율주행차가 사회적으로 수용될 수 있는 범위를 연구하고자 하였다. 이를 위해 자율주행차와 인간 운전자가 혼재된 도로상황에서 자율주행차가 일반 운전자와 동일하게 도로교통법을 준수할 수 있는지에 대한 자율주행차 안전운전능력평가를 위한 시나리오를 개발하고자 하였다. 본 연구에서 개발한 시나리오는 교통사고 발생 위험수준과 준법 및 양보운전, 인간 운전자가 혼재된 상황에서의 안전성 유지 등 현실적인 측면에서의 내용을 포함하고 있다. 시나리오 개발과정에서 도로교통법 기반의 평가항목을 도출하였으며, 이를 적용하기 위한 도로교통법 기반의 Layer를 추가한 시나리오 Layer를 새롭게 개발하였다. 그뿐만 아니라 시나리오 세부 항목별 코드화를 통해 시나리오가 간단하고 표준화된 형태로 표현될 수 있게 하였다. 본 연구에서는 총 42개의 도로교통법 기반 자율주행차 운전능력평가 시나리오를 개발하였다. 그리고 SILS(Software in the Loop Simulation) 기반 가상환경 구축 후 시나리오별 자율주행차의 법규 준수 여부를 확인하였으며, 추상적인 도로교통법의 기반 자율주행차 평가를 위해 정량적인 평가기준 및 허용범위를 도출하였다. 본 연구를 통해 자율주행차 센서의 물리적 기능 및 성능적 요소 평가에 중점을 맞춘 기존 평가체계와 달리 기본적인 도로규제 상황에서 자율주행차의 안전운전능력 평가할 수 있는 기반을 마련하였다. 이는 추후 현실적인 측면에서 자율주행차의 운전능력과 행태를 위한 시험평가 체계 구축 시 기초자료로 활용할 수 있을 것으로 판단된다. Recently, research on the verification of autonomous vehicle performance is being actively conducted worldwide. This study aimed to go beyond simple performance verification and explore the range within which autonomous vehicles can be socially accepted in mixed-traffic situations with human drivers. To this end, the study sought to develop scenarios for evaluating the safe driving capabilities of autonomous vehicles to determine whether they can comply with road traffic laws in the same manner as human drivers in such mixed-traffic environments. The scenarios developed in this study include realistic aspects such as the level of traffic accident risk, compliance with laws, yielding behavior, and maintaining safety in situations where human drivers are present. During the scenario development process, evaluation items based on the Road Traffic Law were identified, and a new scenario layer was created to apply these items by incorporating the Road Traffic Law into the layer. In addition, each scenario item was coded to ensure that the scenarios could be expressed in a simplified and standardized format. In total, 42 scenarios based on road traffic laws were developed to evaluate the driving capabilities of autonomous vehicles. After constructing a virtual environment using Software in the Loop Simulation (SILS), we verified the compliance of autonomous vehicles with the laws for each scenario. Furthermore, quantitative evaluation criteria and tolerance ranges were derived to assess autonomous vehicles based on the abstract Road Traffic Laws. Through this study, we established a foundation for evaluating the safe driving capabilities of autonomous vehicles in basic road regulation situations, which differs from the existing evaluation systems that focus on the physical functions and performance aspects of sensors. This is expected to serve as foundational data for future development of a realistic test and evaluation system for assessing the driving capabilities and behavior of autonomous vehicles.

유비쿼터스 컴퓨팅 기술을 고려한 ITSM구축을 위한 서비스 시나리오 다면평가방법론에 관한 연구

이상훈(Lee Sang Hoon),김형진(Kim Hyung Jin),권오병(Kwon Oh Byung) 한국전자거래학회 2007 한국전자거래학회지 Vol.12 No.2

본 연구의 목적은 최근 급속히 확산되고 있는 유비쿼터스 컴퓨팅 관련 기술 개발의 기준이 되고 있는 UCT(Ubiquitous Computing Technology)기반 서비스 시나리오의 실질적인 구현 가능성을 종합적으로 평가하는 다면평가방법론을 제안하는 것이다. 다면평가는 제안된UCT기반 서비스 시나리오에 대하여 기술성, 사업성, 수용성의 3차원으로 평가하여 개별시나리오의 구현 가능성 및 타당성에 대한 종합적인 평가를 가능하게 해주는 평가방법론이다. 이것은 기존 UCT기반 서비스 시나리오 관련 평가방법론의 부재를 극복하기 위해 제안되었다. 또한 기존에 제안된 기술가치 평가, 재무적 평가(ROI, ROA 등) 등 현재 구현되지 않는 UCT기반 서비스 시나리오의 특성상 도출 불가능 하거나 그 의미를 부여하기 어려운 파라미터를 이용하는 평가 방법의 한계를 극복하기 위해 제안되었다. 따라서 이는 다양한 분야에서 제안되는 UCT기반 서비스 관련 시나리오에 대한 실현 가능성을 포괄적으로 평가하여 해당 시나리오에 기반한 기술 개발에 대한 타당성과 개발 우선순위를 결정하는 평가 도구로 활용 가능할 것이다. Currently, Ubiquitous Computing Technology(UCI)-based service scenarios play an important role in estimating the potential of UCT-based service. The purpose of the study is to propose a multidimensional evaluation(ME) methodology for UCT-based service scenarios regarding their possibilities of realization for the future. Our approach contributes to extend service level management in Information Technology Service Management(ITSM) by evaluating the level of a new service in advance. ME consists of three dimensions: technological evaluations, business-oriented evaluations, and user-oriented evaluations. The three types of evaluations are mutually harmonized to check the overall possibility of realization and validity for certain UCT-based service scenarios. Theoretically, ME is developed to overcome the extant evaluation methods for UCT-based service scenarios, which are limited in the number of evaluation criterions. It is also conceived to cope with the limitation of economical evaluation methods (e.g., technological valuation, estimation of financial outcomes such as ROI, ROA, etc. that are difficult to give meaningful results because most of UCT-based services are not fully realized so far. From the practical perspectives, in addition, our approach can be applied to a variety of scenarios due to its domain-independent approach.

휠체어 사용자를 위한 고속/시외버스의 사용성평가 시나리오 및 지표 개발

황수빈 ( Hwang Su-bin ),김종배 ( Kim Jong-bae ),홍현 ( Hong Hyeon ),황모세 ( Hwang Mo-se ),장완호 ( Jang Wan-ho ),김정현 ( Kim Jeong-hyeon ),김정란 ( Kim Jeong-ran ) 대구대학교 특수교육재활과학연구소 2019 특수교육재활과학연구 Vol.58 No.2

The purpose of this study was to develop scenarios and evaluation indicators for the usability test of express/intercity buses for wheelchair users. The research methods used literature review, focus group interview, delphi technique. Through the literature survey, usability evaluation items were derived and the usability evaluation scenario draft was developed through focus group interview. Twelve experts were tested for usability evaluation scenarios and evaluation indicators through the first and second delphi surveys. As a result of the first delphi survey, two usability evaluation scenarios for wheelchair users with disabilities and bus drivers were added, and some of the definition of scenarios were more clearly modified. Sub-indicators were success, error frequency, error number, task effort, performance time, task acceptance, task difficulty, product satisfaction. The results of the second delphi survey showed that the usability evaluation indicators for wheelchair user and bus driver subject was composed of three usability upper-indicators, 12 lower-indicators and 10 detailed-indicators, respectively. The usability evaluation scenarios consisted of 2 performance areas and 8 performance tasks for the wheelchair users and 4 performance areas and 14 performance tasks for bus driver subjects. Based on the usability evaluation scenarios and indicators derived from this study, further studies are needed to evaluate the usability of express/intercity buses for wheelchair users in the future.

전문가 경험지식을 활용하는 확장성 있는 가상훈련 평가 분석 시스템

이근주(Keunjoo Lee),우재훈(Jaehoon Woo),김형신(Hyungshin Kim) 한국정보과학회 2018 정보과학회 컴퓨팅의 실제 논문지 Vol.24 No.3

실제 환경보다 더 안전하고 적은 비용으로 실제 훈련과 유사한 학습효과를 기대할 수 있는 가상훈련(Virtual Training)이 최근 주목받고 있다. 그러나 기존의 가상훈련 시스템들은 학습자의 훈련결과에 대한 평가를 평가자의 정성적인 판단에 의존해온 경우가 대부분이었다. 또한, 평가와 분석 기능이 해당 시스템에 국한이 되어 시스템마다 별도의 평가 분석 시스템이 필요했다. 본 논문에서는 가상훈련의 효과적인 평가와 분석을 위해 전문가의 경험지식을 활용하는 확장성 있는 가상훈련 평가 분석 시스템을 제안한다. 우선, 제안하는 시스템이 다양한 형태의 가상훈련 시스템과 연동될 수 있도록 Open API의 적용 방안을 다룬다. 그리고 가상훈련에 대해 전문가 경험지식을 별도로 구성하여 평가 분석 시 비교 대상과의 평가 효율성을 높였다. 구성된 전문가 경험지식은 제안된 평가 분석 절차에 따라 학습자의 훈련수행 결과와 정량적으로 비교 분석할 수 있게 했다. In recent years, virtual training has attracted a lot of attention because it is as effective as traditional in-person training and provides more cost-effective and safer learning environment. However, the existing virtual training systems rely on the evaluator’s qualitative judgement when evaluating and analyzing trainees’ performance. Additionally, evaluation and analysis functions are only available on certain systems so those functions need to be developed for each system. In this paper, we propose an extensible evaluation and analysis system for virtual training using experiential knowledge collected from experts for providing effective evaluation and analysis. Specifically, we provide a method of applying Open API so that the proposed system works with different types of virtual training system. In addition, the experiential knowledge is constructed in advance for the evaluation and analysis so that the efficiency of the evaluation with the comparison target is increased. This experiential knowledge can be quantitatively compared to trainees’ performance according to the proposed evaluation and analysis procedures.

화재 및 피난 시나리오의 요소별 중요도 분석을 통한 평가 지수화에 관한 연구

김혜진(Kim, Hye-Jin),이수호(Lee, Soo-Ho),김인한(Kim, In-Han),홍원화(Hong, Won-Hwa) 대한건축학회 2012 대한건축학회논문집 Vol.28 No.12

As a part of the performance based design, egress modelling should be conducted to check whether the architectural design and plan phase of large-scale building can be safe in case of fire. However, an egress simulation has been used to create a fire/egress scenario without the formal guideline and standard. Therefore, the safety performance of building depends on user’s own judgement. The purpose of this study is to establish the evaluation index on fire/egress scenario factors through AHP(Analytic Hierarchy Process) analysis. Prior to this, setting trend of creating fire/egress scenario was investigated in order to draw scenario factors. The survey result shows that different scenarios are set by users. Based on prior survey, specific factors are separated by fire/egress scenario and are stratified. To index stratified factors, second survey is conducted to establish objective data by experts, each evaluation index is set depending on survey results. As the results at this research, the highest index was risk factors (such as obstacle, smoke, bottleneck phenomenon and so on) and the door open & shut. On the other hand, the lowest index are egress safety zone and temperature difference between inside and outside in vertical space.

목표 시나리오를 이용한 비즈니스 프로세스 외부상황 평가 모델

백수진(Su-Jin Baek),고종원(Jong-Won Ko),송영재(Young-Jae Song) 한국콘텐츠학회 2011 한국콘텐츠학회논문지 Vol.11 No.8

초기에 예측하지 못한 환경에 대응하기 위한 핵심 요소로 비즈니스 활동 모니터링이 주목받고 있다. 그러나 기존의 이벤트 처리 기반 모니터링 시스템과 실시간 조기 경보 비즈니스 활동 모니터링은 고정된 환경을 가정하여 설계 시 룰 기반으로 표현하여 경보 여부를 결정하거나, 이벤트 속성값이 입력되는 매시점마다 측정하여 경보를 내리게 된다. 따라서, 복잡한 환경에서의 새로운 외부 상황 문제에 대한 발생 범위와 심각한 정도 등을 판별하는데 한계가 있으며, 추상화하지 못한다. 본 논문에서는 외부에서 발생하는 새로운 시나리오의 서비스 요구를 기존의 실행중인 모니터링을 통해 지속적인 서비스 제공을 보장하도록 목표 시나리오를 이용한 비즈니스 프로세스 외부상황 평가 모델을 제안하였다. 외부 상황에 따른 새로운 요구사항을 목표 시나리오 기반으로 분석을 하고, 유사 프로세스 모델을 찾아 유사도와 연관도를 합하여 파악한 뒤 프로세스를 사전에 중단 시키거나 원하는 방향으로 변경하도록 한다. The scope of the problems that could be solved by monitoring and the improvement of the recognition time is directly correlated to the performance of the management function of the business process. However, the current event-managing monitoring system and the real-time advanced alarming business monitoring system decided whether to apply warnings or not by assuming a fixed environment and showing expressions based on the design rules. Therefore, there is a limit for distinguishing the range of occurrence and the level of severity in regard to the new external problems occurring in a complicated environment. Such problems cannot be abstracted. In this paper, evaluation model of business process contextual situations using goal scenario is suggested to provide constant services through the current monitoring process in regard to the service demands of the new scenario which occurs outside. The new demands based on the outside situation are analyzed according to the target scenario for the process activities. Also, a similar process model is found and identified by combining similarity and interrelationship. The process can be stopped in advance or adjusted to the wanted direction.

주행 데이터로부터 자율주행차 평가 시나리오 도출: 상황 평가와 시나리오화

이홍석(Hongseok Lee) 한국자동차공학회 2024 한국자동차공학회 학술대회 및 전시회 Vol.2024 No.11

This study presents a methodology for deriving scenarios from driving data to evaluate the driving capabilities of autonomous vehicles. By considering the importance of scenarios that reflect various situations faced by autonomous vehicles, the aim is to develop scenario items that can assess the suitability of autonomous vehicle operations from a safety perspective using the collected driving data. The driving data was collected by logging equipment equipped with 4 cameras, 3 LiDAR sensors, and GNSS/IMU sensors during manual driving on highways and urban roads. The data was analyzed to assess whether specific situations are necessary for evaluating the safety suitability of autonomous vehicle operations, and the results were converted into scenarios.<BR/>The scenario catalog is structured in a tabular format, with fields such as scenario description, impacts on key functions of autonomous vehicles, hazard types, causes, and sub-causes. Through this structure, a concrete scenario catalog has been derived, which can evaluate various road conditions and risk factors that autonomous vehicles are likely to encounter in realworld situations.<BR/>The primary objective of this research is to develop scenario items for evaluating autonomous driving capabilities, both on real roads and in simulation environments. Additionally, the study suggests the possibility of further refining scenarios by mapping them to specific Operational Design Domains (ODDs) or functional and performance requirements of autonomous vehicles in the future. This paper contributes to systematically analyzing the situations that can assess various capabilities of autonomous vehicles and organizing them into a scenario catalog.

도로교통법 기반 자율주행차 평가 OPEN 시나리오 제작 가이드라인 개발 연구

정현숙,김태경,전진숙 한국도로교통공단 2024 교통안전연구 Vol.43 No.2

자율주행차가 운전자와 동일하게 도로교통법을 준수할 수 있도록 SILS 및 PG기반의 자율주행 AI를 학습하고 평가할수 있는 오픈 시나리오 제작 가이드라인 개발을 연구의 목적으로 하였다. 국내외 도로교통법(본 법, 동법 시행령, 시행규칙 포함)을 분석하여 자율주행차가 반드시 준수해야하는 평가항목을 도출/정의하고, 도출된 항목중 자율주행차가 동일하게 구동하는 항목을 21개 그룹(중분류)으로 정의/분류하였다. 오픈 시나리오인 PEGASUS와 ASSAM의 구성에 도로교통법 Layer를 추가생성하고 도로교통법 관련 항목을 기호화 및 세부 항목을 개발하였다. 자율주행차 AI 학습과 평가시 도로교통법 기반의 시나리오 개발이 용이하도록 사용자 입장의 편의성을 고려한 도로교통법 기반 시나리오 제작가이드라인을 개발하였다.아직까지 자율주행차의 기술수준은 운전자의 개입없이 운전자와 동일하게 완벽하게 도로교통법 준수가 불가능한 상황이나, Lv4/4+, Lv5 자율주행차가 상용화 될 경우 자율주행차는 반드시 도로교통법을 준수해야하므로 본 연구를 통해 자율주행차 제작사와 평가기관 등이 도로교통법 기반의 다양한 시나리오를 자체 생성할 수있는 기초를 마련하였다.

자율주행 자동차 임시운행 허가를 위한 안전 성능 평가 시나리오

채흥석(Heungseok Chae),정용환(Yonghwan Jeong),이경수(Kyongsu Yi),최인성(Inseong Choi),민경찬(Kyongchan Min) 한국자동차공학회 2016 한국 자동차공학회논문집 Vol.24 No.5

Regulation for the testing and operation of autonomous vehicles on public roadways has been recently developed all over the world. For example, the licensing standards and the evaluation technology for autonomous vehicles have been proposed in California, Nevada and EU. But specific safety evaluation scenarios for autonomous vehicles have not been proposed yet. This paper presents safety evaluation scenarios for extraordinary service permission of autonomous vehicles on highways. A total of five scenarios are selected in consideration of safety priority and real traffic situation. These scenarios are developed based on existing ADAS evaluation and simulation of autonomous vehicle algorithm. Also, Safety evaluation factors are developed based on ISO requirements, other papers and the current traffic regulations. These scenarios are investigated via computer simulation.