Analysis of ODD and Evaluation Indicators for Autonomous Vehicle Driving Performance Based on Traffic Simulation in Mixed Traffic Environments

Hoseon Kim; Jieun Ko; Minkyung Kim; Cheol Oh

doi:10.7470/jkst.2024.42.2.196

Preview

Article

Journal of Korean Society of Transportation. 30 April 2024. 196-211
https://doi.org/10.7470/jkst.2024.42.2.196

Analysis of ODD and Evaluation Indicators for Autonomous Vehicle Driving Performance Based on Traffic Simulation in Mixed Traffic Environments

혼재교통상황에서 자율주행 운전능력 평가를 위한 시뮬레이션 기반 ODD 및 평가지표 분석

Hoseon KIM¹

Jieun KO²

Minkyung KIM³

Cheol OH⁴^*

김 호선¹

고 지은²

김 민경³

오 철⁴^*

¹Ph.D. Student, Department of Smart City Engineering, Hanyang University, Ansan 15588, Korea

²Postdoctoral Researcher, Department of Transportation and Logistics Engineering, Hanyang University, Ansan 15588, Korea

³M.S. Student, Department of Smart City Engineering, Hanyang University, Ansan 15588, Korea

⁴Professor, Department of Transportation and Logistics Engineering, Hanyang University, Ansan 15588, Korea

¹한양대학교 스마트시티공학과 박사과정

²한양대학교 교통·물류공학과 박사후연구원

³한양대학교 스마트시티공학과 석사과정

⁴한양대학교 교통·물류공학과 교수

^{*Corresponding Author}

ABSTRACT

This study derived effective driving behavior indicators to assess the driving performance of autonomous vehicles (AV). A variety of operation design domains (ODD) in urban road networks, which include intersections, illegal parking, bus stop, bicycle lanes, and pedestrian crossings, were taken into consideration in traffic simulation analyses. Both longitudinal and lateral driving indicators were investigated to identify the driving performance of AVs in terms of traffic safety in mixed traffic stream based on simulation experiments. With regard to ODDs related to intersection types, it was found that indicators based on vehicles speed is useful for the evaluation. On the other hand, spacing and headway representing the vehicle interactions were found to be effective in identifying the deterioration of driving safety of AV in situations where AV maneuvering was disturbed by illegal parking and bus stops. In addition, this study prioritized the importance of ODDs based on derived evaluation indicators. The results of this study would be valuable in establishing a guideline for driving performance evaluation of AVs.

Keywords

a recommended indicator

autonomous vehicles

operational design domain

promising indicators

safety performance evaluation

본 연구는 autonomous vehicle(AV)의 운전능력을 평가하기 위해 operation design domain (ODD)의 특성을 고려한 적정 평가지표를 도출하고 평가 중요도 우선순위를 도출하였다. 교차로, 불법주정차, 버스 정류장, 자전거 도로 및 mid-block 횡단보도 등에 해당하는 ODD를 교통 시뮬레이션 환경에 구축하였으며, 실제 AV 주행 데이터 분석을 통해 시뮬레이션 환경에서 차량 거동을 구현하였다. 종방향 평가지표와 차량간 상호작용 평가지표를 활용하여 주행안전성 분석을 수행하였으며, 분석 결과를 기반으로 ODD별 요인분석을 통한 적정 평가지표를 도출하였다. 본 연구에서 도출한 적정 평가지표는 ODD별 AV의 운전능력을 평가하는데 있어 중요하게 작용된다. 특히, 교차로 유형과 관계된 ODD의 경우 속도의 변화량과 관계된 평가지표가 AV의 운전능력 평가에 효과적인 것으로 확인되었다. 불법주정차, 버스정류장과 같이 다른 차량으로 인해 AV가 정상적인 주행을 방해받는 구간의 경우, 차두시간과 차간거리와 같은 차량간 상호작용 측면의 평가지표가 AV의 운전능력을 평가하는데 적합한 평가지표로 도출되었다. 추가로 본 연구에서는 도출된 운전능력 평가지표를 활용하여 ODD의 평가 중요도 우선순위를 결정하였다. 교차로 횡단보도, 불법주정차, mid-block 횡단보도 ODD가 높은 평가 우선순위로 도출되었으며, 교차로 및 mid-block 횡단보도의 경우 보행자와의 상충이 빈번하게 발생하는 구간인 것에 영향을 받은 결과로 판단된다. 본 연구의 결과는 향후 AV의 운전능력 평가 방법론 개발에 중요한 기준을 제공하며, 교통 안전 및 관련 정책 결정에 있어 중요한 기초자료로 활용될 것으로 기대된다.

키워드

맞춤형 평가지표

자율주행차

운행 설계 영역

우수 평가지표

안전 성능 평가

MAIN

서론
선행연구
방법론
1. ODD별 우수 평가지표 도출 방법론
2. 평가대상 ODD 중요도 우선순위 결정 방법론
3. 실도로 기반 시뮬레이션 환경 구현
4. 평가지표 선정 및 운전능력 평가 수행
분석 결과
1. ODD별 요인분석 결과
2. 평가대상 ODD 중요도 우선순위 도출 결과
결론

서론

NHTSA(National Traffic Safety Administration)에 따르면 교통사고의 94%가 사람의 실수로 인해 발생하며, 사망자 중 약 30%가 음주와 관련되어 있으나 autonomous vehicle(AV)은 이를 효과적으로 감소시킬 수 있는 잠재력을 가지고 있다(NHTSA, 2018). 즉, 자율주행차의 도입은 운전자의 실수로 인해 발생하는 교통사고를 제거함으로써 교통안전을 근본적으로 향상시킬 수 있다. 그러나, 불완전한 autonomous driving system(ADS)이 장착된 AV는 교통사고 예방에 한계가 존재한다. 또한, 도로상에 다양한 ADS 수준의 차량과 일반차량이 혼재된 혼합교통류가 상당 기간 지속될 것이며, 혼합교통류 환경에서는 불안정한 교통흐름이 발생할 수 있다(Gu et al., 2022; Yao et al., 2020). 또한, 불안정한 교통흐름은 자율주행차와 상호작용하는 실제 도로의 정적, 동적 operation design domain(ODD)에서 AV와 manually driven vehicle (MV)의 인지 및 판단 능력에 의해서도 발생할 수 있다(Jin et al., 2020). ODD는 자율주행차의 주행안전성에 영향을 미치는 모든 요소가 해당될 수 있으며, 혼합교통류에서 AV의 운전능력에 영향을 미칠 수 있다.

Liu et al.(2024)가 검토한 캘리포니아 AV 관련 사고 보고서에 따르면 도로 종류별 사고 건수의 경우 다른 도로 유형에 비해 도시부 도로에서 사고 발생률이 높은 것으로 나타났다. 이러한 결과는 고속도로 및 자동차 전용도로 등의 도로에 비해 도심부 도로는 상대적으로 다양한 ODD가 복합적으로 작용하여 AV의 주행안전성을 저하시킬 가능성이 높기 때문이다(Patel et al., 2023). 따라서, AV의 주행안전성에 영향을 미치는 ODD를 분석하고 미치는 영향의 정도를 파악하는 것은 중요하다. 그러나 AV의 주행안전성과 성능 측면의 연구는 다수 진행되었으나(Parekh et al., 2022; Li et al., 2022; Wang et al., 2020; Kang et al., 2023), ODD를 요소별로 정의하고 AV의 주행안전성에 미치는 영향 수준을 분석한 연구는 미비한 실정이다. 또한, ODD의 특성에 따라 자율주행차에 미치는 영향의 요인이 다르므로 ODD에 따라 AV의 운전능력을 분석하는데 적절한 평가지표를 선정하는 것이 필요하다.

현재까지의 연구는 주로 특정 조건하에서 AV의 성능에 초점을 맞추었으나, 현실 세계에서 AV가 직면하게 될 다양한 상황과 복잡한 도로 기하구조 및 교통 인프라 등을 충분히 반영하지 못하고 있다. 예를 들어, AV와 MV의 상호작용, 다양한 기상 조건에서의 AV의 센서 인지 능력, 예기치 못한 도로 상황에 대한 AV의 반응, 횡단보도, 자전거 도로 등과 같은 차량 외 도로 이용자와의 상호작용 등의 혼합교통류 환경에서 AV를 평가하기 위해 적절한 평가방법을 도출하는 것은 중요하지만 간과되고 있다. 본 연구의 목적은 ODD별 AV의 운전능력을 평가하기 위한 평가지표를 도출하고 그에 따른 평가 우선순위를 도출하는 것이다.

본 연구에서는 AV가 목적지까지 주행하는데 마주하는 다양한 ODD 조건을 통과함에 있어 주행안전성 측면에서 위험이 없어야 한다는 전제조건을 AV의 운전능력 평가로 정의한다. AV에 영향을 미치는 ODD의 특성과 ODD 내 차량의 거동 특성을 고려하여 ODD별 혼재 교통상황에서 운전능력을 평가하기 위한 평가지표를 선정하는 방법론을 제시하였다. AV의 운전능력을 평가하기 위해 본 연구에서는 특정 ODD 환경에서 자율주행차의 성능과 안전성을 일관되고 정확하게 평가할 수 있는 범용적 평가지표를 우수 평가지표로 정의하였다. 또한, 특정 ODD의 운영 환경의 독특한 특성과 요구사항에 최적화되어 AV의 운전능력을 가장 효과적으로 평가할 수 있는 평가지표를 ODD 맞춤형 평가지표로 정의하였다. 우수 평가지표는 다양한 도로 환경과 교통상황에서 AV의 성능을 보다 정확하게 평가할 수 있게 하며, 이를 통해 AV의 안전성을 평가하고 개선하는 데 기여할 것으로 판단된다.

본 연구의 구성은 다음과 같다. 2장에서는 AV의 성능을 평가하기 위한 방법과 주행안전성을 평가하기 위해 수행된 연구를 고찰하고 본 연구의 차별점을 제시하였다. 3장에서는 real-world data를 통해 시뮬레이션 환경에서 AV의 거동을 구현하고 요인분석을 통해 ODD별 우수 평가지표 및 맞춤형 평가지표를 도출하는 방법론에 대해 기술하였다. 4장에서는 분석을 통해 도출된 우수 및 맞춤형 평가지표와 ODD의 평가 중요도 우선순위 분석 결과에 대해 제시하였으며, 5장에서는 본 연구의 결과를 요약하고 활용방안 및 본 연구의 한계점에 대해 기술하였다.

선행연구

AV가 주행하는 다양한 도로의 기하구조 및 교통 인프라가 존재하는 구간에서 주행안전성 분석 결과 기반 요인분석을 통해 ODD별 우수 평가지표를 도출하고 AV 운전능력 평가를 위한 ODD 중요도 우선순위를 도출하였다. 따라서, AV 운전능력의 평가 방법과 AV의 주행안전성 분석을 중점적으로 고찰하였다. 고찰한 내용을 통해 본 연구의 차별점과 의의를 제시하였다.

AV는 ADS에 의해 주행한다는 점에 기반하여 센서 및 차량 거동제어 성능 측면의 연구가 다수 진행되었다. 미국 California department of motor vehicle(CA DMV)에서는 실제 도로에서의 자율주행차 관련 사고 데이터를 오픈소스 데이터로 제공하고 있으며, 자율주행차의 고장 원인과 누적 주행 거리당 사고 발생률을 가공하여 제공한다. 이를 활용하여 자율주행차의 신뢰성 향상을 위해 필요한 최소 주행거리 추정 모델과 심층 신경망을 통해 자율주행차의 결함 원인을 분석하는 연구가 진행되었다(Favarò et al., 2018). 또한, 제어권 전환을 위한 반응 시간 등에 관한 연구도 다수 진행되었다(Banerjee et al., 2018; Khattak et al., 2020; Dixit et al., 2016). Leledakis et al.(2021)은 자율주행차의 충돌성 평가를 위해 충돌 회피 기술의 효과를 추정하는 연구를 진행하였다. 분석을 위해 실제 교통사고 데이터를 기반으로 model-in-the-loop(MIL) 시뮬레이션을 수행하였으며, 자율주행차에 탑재된 advanced emergency braking system(AEBS)의 사고 회피율을 분석하였다. 분석 결과 단속류의 경우 autonomous emergency braking(AEB) 기능으로 인해 61-92%, 연속류에서 56%의 사고를 예방할 수 있는 것으로 분석되었다. Hou(2023)는 악천후 상황에서 connected and autonomous vehicles(CAVs)와 human driven vehicle(HDV)이 혼재된 도로의 교통효율성과 안전성에 대해 연구를 수행하였다. 기상상태는 맑음, 강우, 강설로 구분하고 market penetration rate(MPR)에 따른 주행안전성 변화를 분석하였다. 분석결과 MPR이 증가할수록 세 가지 기상 조건 모두에서 교통량이 증가하는 것으로 분석되었으며, MPR이 100%일 시 모든 기상 조건에서 충돌 위험이 없는 것으로 도출되었다.

안전성 측면에서 진행된 연구의 경우 혼합교통류 환경에서 AV 측면 안전성과 AV에 의해 영향을 받은 MV 측면에서의 안전성을 분석한 연구로 구분된다. AV의 주행안전성 분석을 목적으로 연구를 진행한 Niroumand et al.(2022)는 AV와 MV가 혼재된 상태에서 AV의 주행행태가 교차로의 성능과 안전성에 미치는 영향에 대해 연구를 수행하였다. 12대의 AV로부터 수집된 데이터를 활용하여 AV의 운전 행동 모델을 개발하였으며, 주행행태에 따른 교차로 안전성 변화를 분석하였다. 분석 결과 AV가 교차로 진입 시점에서 급정거를 수행하는 경우 교차로의 성능과 안전성이 저하될 수 있으며, AV가 공격적인 주행행태를 보일 경우 time-to-collision(TTC)이 감소하고 가속도의 변동이 큰 것으로 도출되었다. Sinha et al.(2020)는 VISSIM을 활용하여 4방향 신호교차로의 CAV 영향을 연구하기 위해 선행차량이 CAV인 CAV-MV pair, CAV-CAV pair와 선행차량이 MV인 MV-CAV pair, MV-MV pair로 구분하여 분석을 수행하였다. 신호교차로에서 CAV의 MPR이 60%에 도달하기 전까지 상충률이 증가하며 그 이후 감소하는 것으로 나타났다.

MV의 주행안전성 평가를 진행한 Lee et al.(2023)는 SCANeR^TM STUDIO 프로그램 기반 multi-agent driving simulator(MADS)를 이용하여 선행-후행 차량 pair인 AV pair(AV-AV), Mixed pair(AV-MV, MV-AV), MV pair(MV-MV)에 대한 단속류 도로에서의 주행안전성 분석을 수행하였다. 곡선구간이 길고, 회전교차로 및 U턴 구간에서 횡방향 주행안전성이 취약한 것으로 분석되었으며, AV pair와 Mixed pair의 경우 회전교차로, MV pair의 경우 U턴 구간에서 종방향 주행안전성이 낮아지는 것으로 분석되었다. Jung et al.(2023)은 MADS를 이용하여 연속류에서 4개의 선행-후행 차량 pair별 주행안전성 분석을 수행하였다. 분석 결과 우커브 곡선부와 내리막 구간에서 횡방향 안전성 취약구간으로 도출되었으며, 종방향 안전성 취약구간의 경우 곡선부 길이가 짧은 구간으로 분석되었다. Wen et al.(2022)는 waymo open dataset을 활용하여 선행-후행 추종 상황에서 MV 운전자에 대한 주행행태 변화를 분석하였다. 분석 결과 MV 운전자가 AV를 추종하는 상황에서 MV 운전자의 주행 변동성이 낮고 주행시간이 짧으며, TTC가 높아지는 것으로 분석되었다. 이는 교통류 내 AV가 존재할 경우 속도 편차가 감소하기 때문에 안전성이 증가하는 것을 의미한다. Zhao et al.(2020)은 총 연장이 2.4km에 해당하는 Weishui campus CAV 테스트 트랙에서 수집된 AV data set을 활용하여 AV를 추종하는 human vehicle(HV) 운전자와 HV를 추종하는 HV 운전자의 종방향 주행행태 특성 차이를 분석하였다. 총 10명의 피실험자를 대상으로 테스트 트랙에서 현장 실험을 수행하였으며, ADS를 신뢰하는 운전자와 그렇지 않은 운전자 그룹으로 구분하여 연구를 진행하였다. 활용한 평가지표는 speed, distance between cars, time headway, standard deviation of speed이다. ADS를 신뢰하는 운전자 그룹의 경우 AV를 추종할 때 차간간격을 줄이는 경향을 보이며, 이동시간이 감소하고 다른 차량의 끼어들기를 방지하는 것으로 도출하였다. 반대로 ADS를 신뢰하지 않는 운전자 그룹은 AV를 추종할 때 차간간격을 늘리는 것으로 분석되었다. 이는 MV-MV 추종행태와는 다르게 AV-MV 추종의 경우 후행차량인 MV 운전자의 주행 특성이 ADS에 대한 운전자의 주관적인 신뢰에 영향을 받는 것을 의미한다.

최근에는 도심부 도로에서 자율주행차와 보행자, 자전거 이용자간의 상충 분석과 ODD를 설정하는 연구가 진행되었다. Alozi and Hussein(2023)은 자율주행차와 도로 이용자 간 상호작용에서 안전성을 평가하기 위해 연구를 수행하였다. 캐나다, 미국 및 싱가포르에서 수집된 AV 센서 데이터를 활용하여 AV와 도로 이용자 간의 충돌 상황을 추출하였으며, post-encroachment time(PET)을 활용하여 정량화하였다. 보행자 관련 상황 1,255건과 자전거 이용자 관련 434건의 충돌 상황을 분석한 결과 우회전을 수행하는 AV와 보행자 상충 상황에서 위험성이 가장 높았으며, 자전거 이용자의 경우 AV 좌회전과의 상충에서 가장 높은 위험성이 있는 것으로 도출되었다. Kim et al.(2020)는 NHTSA에서 제시하는 ODD 영역을 기반으로 국내 도로의 실정을 반영한 ODD 영역을 정의하고 도심부 도로에서 자율주행 운행 가능여부 등 운행설계영역 평가를 수행하였다. 노드별 인프라 지원 여부, 교통량, 기상 등에 따라 자율주행차의 주행가능 여부를 판단함으로써 국내 자율주행셔틀 실증테스트를 위한 기준을 설정하였다.

AV의 운전능력을 평가하기 위해 다양한 방법들을 제시하고 평가한 연구는 다수 수행되었으나, 기존의 연구는 ADS에 탑재되어있는 센서 및 차량 거동제어 성능을 중점적으로 다루었다. 다양한 조건하에서 ADS의 성능을 검증하는 것은 중요하나, 인지 및 성능에 따라 혼합교통류에 미치는 영향을 분석하여 교통류 측면의 안전성을 검증하는 것은 대단히 중요하다. 특히, 연속류와 달리 단속류의 경우 다양한 ODD의 특성에 영향을 받는 혼재교통류의 안전성을 고려하여 AV의 운전능력을 평가할 수 있는 평가지표를 도출해야 한다. 또한, AV의 주행안전성 측면을 분석한 연구의 경우 특정 ODD를 대상으로 분석하였으며, 분석에 활용한 평가지표의 검증이나 타당성을 제시한 연구는 미비한 실정이다. 따라서, 본 연구에서는 다양한 ODD를 구현한 교통 시뮬레이션 환경에서 AV의 운전능력을 검증하는 방법론을 개발하였으며, 이를 통해 ODD별 AV의 운전능력을 평가하는데 적합한 우수 평가지표를 선정하였다. 또한, 도출된 우수 평가지표를 기반으로 ODD간 위험성을 비교하여 AV의 운전능력을 평가하는데 우선적으로 고려할 필요가 있는 ODD의 평가 중요도 우선순위를 도출하였다는 데 의의가 있다.

방법론

본 연구는 AV의 운전능력을 평가하기 위해 ODD별 AV의 주행안전성 분석을 수행하였으며, 요인분석을 통해 특정 ODD 특성에 따른 우수 평가지표를 도출하고 ODD의 평가 중요도 우선순위를 제시하였다. 이를 위해 총 3단계로 구분하여 분석을 수행하였으며, 분석 흐름도를 Figure 1에 제시하였다. 1단계는 실도로 기반 시뮬레이션 환경을 구축하는 것으로 실제 도로에서 자율주행차가 주행하고 있는 서울 상암 자율주행차 시범운행지구를 분석 대상 구간으로 설정하여 교통 시뮬레이션인 VISSIM 환경에서 도로 네트워크를 구축하였다. 또한, 교통량 및 차종의 경우 한국 국토교통부에서 관리하는 국가교통 DB 기반 교통량 측정 시스템인 View-T에서 제공하는 교통량 자료를 활용하였다. 본 연구에서는 자율주행차와 비자율주행차의 거동행태를 구현하기 위해 분석대상 구간을 주행하는 자율주행차로부터 수집된 automated vehicle data(AVD)를 활용하였다. AVD에 포함된 주행모드 정보를 autonomous driving mode(AD mode)와 manual driving mode(MD mode)로 구분하여 속도, 가속도, 감속도를 산출하여 파라미터를 조정함으로써 VISSIM 환경에서 주행모드별 거동을 구현하였다. 2단계는 주행안전성 분석을 위한 평가지표 선정 및 AV의 운전능력 평가를 수행하였으며, 평가지표는 주체차량 종방향 평가지표 6개와 차량간 상호작용 측면 평가지표 6개를 활용하였다. 3단계에서는 주요 요인 식별, 변수 축소 및 구조화에 사용되는 요인분석 기법을 활용하여 ODD별 우수 평가지표를 도출하는 방법론을 제시하였다. 본 연구에서는 요인분석 기법을 통해 각 ODD에 적용 가능한 평가지표 중 AV의 운전능력을 가장 효과적으로 평가할 수 있는 지표들을 식별하여 우수 평가지표로 도출하였다. 또한, ODD별 도출된 우수 평가지표의 결과를 정규화하고 risk score를 산출하여 ODD의 평가 중요도 우선순위를 결정하였다.

https://cdn.apub.kr/journalsite/sites/kst/2024-042-02/N0210420206/images/kst_2024_422_196_F1.jpg

Figure 1.

Analysis flowchart

1. ODD별 우수 평가지표 도출 방법론

ODD내 AV의 운전능력은 ODD 자체의 특성과 AV의 거동특성에 의해 결정된다. 이러한 특성들을 반영할 수 있는 평가지표가 다수 존재할 수 있다. 본 연구에서는 요인분석 기법을 적용하여 운전능력을 계량화할 수 있으며, 변별력 있는 평가지표를 선정하는 방법을 고안하였다. 요인분석의 경우 복잡한 데이터 셋 내에서 중요한 정보를 보다 쉽게 식별하기 위해 활용하는 변수축소 및 구조화, 데이터 내에서 가장 중요한 요인을 식별하여 패턴이나 관계를 도출하기 위한 주요 요인 식별을 위해 활용된다.

요인분석 수행 알고리즘과 우수 및 맞춤형 평가지표를 도출하는 과정을 Figure 2에 제시하였다. 특정 ODD A가 존재하는 구간에서 산출된 주행안전성 평가지표 결과값에 대해 요인분석 수행이 가능한지 검증하기 위해 kaiser-meyer-olkin(KMO) 측도와 Bartlett 구형성 검정 값을 확인하였다. KMO 측도가 0.6 이상이고 Bartlett의 구형성 검정 p-value가 0.05 미만일 경우 요인분석 수행이 가능한 것으로 판단한다(Howard and Henderson, 2023). 또한, 요인분석에서 공통성이란 관측변수와 잠재변수가 공유하는 분산을 의미하며, 공통성이 0.5 이상일 경우 중요한 변수로 가정할 수 있다(Willgoss et al., 2013; Salehimanesh et al., 2020). 따라서, 주행안전성 평가지표의 공통성 값이 0.5 미만인 평가지표를 분석에서 제외하였다. 다양한 평가지표들을 ODD 평가를 위한 핵심 평가지표로 축소 및 구조화하고 설명된 총분산이 가장 높은 주성분에 포함된 평가지표를 통해 우수 평가지표를 도출하였다. 또한 요인분석에서 도출되는 성분점수 계수는 각 요인에 대한 데이터 세트 내 변동성의 설명량을 의미하며, 점수가 높을수록 요인의 중요도가 높다는 것을 의미한다. 따라서, 우수 평가지표 중 성분점수 계수가 가장 높은 평가지표를 해당 ODD에 가장 적합하고 중요한 평가지표로 결정함으로써 ODD 맞춤형 평가지표를 선정하였다.

https://cdn.apub.kr/journalsite/sites/kst/2024-042-02/N0210420206/images/kst_2024_422_196_F2.jpg

Figure 2.

Flowchart for deriving superior and customized evaluation indicators based on factor analysis

2. 평가대상 ODD 중요도 우선순위 결정 방법론

본 연구에서는 혼재교통상황의 교통안전이란 측면에서 운전능력이 저하되는 ODD는 AV의 운전능력 평가 시 높은 중요도를 가진다는 전제조건하에서 도출된 우수 평가지표를 활용하여 우선적으로 평가가 필요한 ODD의 평가 우선순위를 도출하였다. ODD별 우수 평가지표로 선정된 평가지표를 Equation 1에 제시한 수식을 사용하여 정규화하고 Equation 2에 제시한 수식과 같이 정규화된 우수 평가지표 값의 평균으로 risk score를 산출하였다. 교통안전이란 관점에서 risk score의 값이 클수록 높은 평가 중요도 우선순위를 가지는 ODD로 해석할 수 있다.

(1)

X_{n} = \frac{x - x_{\min}}{x_{\max} - x_{\min}}

여기서, $X_{n}$ : Normalized value of evaluation indicator n

$x$ : Value of evaluation indicator

$x_{\max}$ : Maximum value of evaluation indicator

$x_{\min}$ : Minimum value of evaluation indicator

(2)

R i s k S c o r e_{i} = \frac{X_{1}^{i} + X_{2}^{i} + \dots + X_{n}^{i}}{n}

여기서, $X_{n}^{i}$ : Normalized value of superior evaluation indicator $n$ for ODD $i$

3. 실도로 기반 시뮬레이션 환경 구현

서울 상암 자율주행차 시범운행지구를 분석 구간으로 설정하였으며, VISSIM 환경을 구축하기 위해 AV 및 MV의 주행행태, 도로 네트워크, 교통량 및 차종을 구현하였다. AD mode와 MD mode의 거동을 구현하기 위해 본 연구에서는 AVD를 활용하여 주행모드별 주행행태를 분석하고 도출된 결과를 통해 거동 파라미터 조정 및 통행속도 분포를 도출하였다. AVD는 Table 1에 제시한 바와 같이 2022년 2월 10일부터 2022년 10월 31일 동안 총 5대의 AV로부터 수집되었다. AVD 세부 정보는 서비스 운영 차량 ID, 수집 시간, 수집 위치, 속도 및 주행모드 상태이며, 주행모드의 경우 AD mode와 MD mode를 의미한다. 본 연구에서는 주행모드별 교차로 영향권, 교차로 비 영향권에서의 속도, 가속도, 감속도의 분포를 도출하였으며, Table 2에 제시한 바와 같이 주행행태 분석을 통해 distribution 파라미터를 조정하였다. 조정한 파라미터는 desired speed distribution, desired acceleration functions, desired deceleration functions에 해당한다. 교차로 영향권의 경우 교차로 영향권 산정기준에 따라 정지선이 위치한 지점으로부터 30m 상류부 지점까지로 설정하였으며, 그 외의 구간을 교차로 비영향권으로 설정하였다. 또한, AVD 기반 차량의 거동 구현이 불가능한 파라미터의 경우 기존연구 검토를 통해 단속류에 적합한 차량 거동 모델인 wiedemann 74모형에 포함되어있는 파라미터를 조정함으로써 AD mode와 MD mode를 구현하였다. 이때, 검토한 기존연구의 경우 자율주행차가 비자율주행차에 비해 인지반응시간이 빠르고 차량간 안전거리 유지에 보수적으로 주행한다는 전제조건을 인용하였다.

상암 자율주행차의 교통량의 경우 내비게이션, 모바일, 교통카드와 같은 개인 모빌리티 데이터를 기반으로 교통량을 제공하는 View-T 3.0을 활용하였다. View-T에서 제공하는 오전 첨두 교통량을 기준으로 교통량을 설정하였으며, 주도로 교통량을 1,180vph 설정 후 좌우회전 비율 조정을 통해 부도로 교통량을 조정하였다. 자율주행차의 경우 실제 도로를 주행하고 있는 5대(A노선 2대, B노선 3대)로 구현하였으며, 분석 구간의 화물차 교통량은 거의 존재하지 않으므로 비자율주행차의 경우 시내버스를 제외한 모든 차종을 승용차로 설정하였다. Real-world에 존재하는 버스 정류장별 버스의 도착시간 간격을 조사하였으며 평균 180초에 1대가 도착하는 것으로 산출됨에 따라 시뮬레이션 환경에서 시내버스 도착 간격을 120-210초로 구현하였다.

Table 1.

Characteristics of the AVD

Route	Number of AVs	Operating time		Number of AD mode data	Number of MD mode data		Total
A	3	Mon.-Sat. 09:00-16:00		2,119,706	2,047,418		4,167,124
B	2	Mon.-Fri. 09:30-17:00		1,119,177	957,571		2,076,748
Total				3,238,883	3,004,989		6,243,872
AVD sample
Terminal_id			9272			6075
Gps_dt [yyyymmddhhmmss]			20220210103000			20220210093001
Latitude			37.57634458			37.57647618
Longitude			126.8938359			126.8989613
Speed [km/h]			30.7			35.4
Driving_mode [1 : MD mode / 2 : AD mode]			2			1

Table 2.

Parameter adjustment for each driving mode

AVD-based parameter adjustment for each driving mode

Parameter adjustment for each driving mode based on existing research review
Division	Parameter		Value
Division	Parameter		MD mode	AD mode
Wiedemann 74 Car-following	Average standstill distance	m	2.0	2.0
	Additive part of safety distance	m	2.0	1.5
	Multiplic. part of safety distance	m	3.0	2.5
Lane change	Waiting time before diffusion	s	60.0	60.0
	Min. headway (front/rear)	m	0.5	0.2
	Safety distance reduction factor	m	0.6	0.3
	Maximum deceleration for cooperative braking	m/s²	-3.0	-3.0

도로 네트워크의 경우 시범운행지구 내 자율주행차가 주행하는 2개의 노선을 구축하였으며, Figure 3에 제시하였다. 각각의 노선 연장은 5.3km와 4.0km에 해당하며, 두 노선이 중복되는 구간은 1.9km에 해당한다. 본 연구에서는 「도로와 다른 도로 등과의 연결에 관한 규칙」제6조 제3항에 명시된 교차로 영향권 산정기준에 따라 30m를 기준으로 구간을 구분하여 총 219개의 구간으로 분류하였다(Road Act., 2014). 본 연구에서는 도로 기하조건 및 시설 특성 중 자율주행차의 주행안전성에 영향을 미칠 것으로 판단가능하고 시뮬레이션 환경에 구현이 가능한 ODD를 분석대상 ODD로 선정하였다. 현장조사를 통해 조사된 분석대상 ODD는 신호교차로 직진좌회전우회전, 비신호교차로 직진, 추가차로, 불법주정차, 버스정류장, 교차로 횡단보도 등 총 10개가 존재한다. 불법주정차의 경우 10번의 현장조사를 통해 80% 이상 동일한 지점에 불법주정차가 존재하는 구간을 불법주정차 존재 구간으로 정의하였다. 불법주정차가 존재하는 구간에 parking lot을 설정하고 파라미터 중 ‘duration for the parking lot’을 조정하여 시뮬레이션 환경에 불법주정차를 구현하였다. 보행자 및 자전거 이용자의 경우 현장조사를 통해 30분 통행량을 수집하였으며, 자전거의 경우 시간당 80대, 보행자의 경우 시간당 180명이 통행하도록 구현하였다.

https://cdn.apub.kr/journalsite/sites/kst/2024-042-02/N0210420206/images/kst_2024_422_196_F3.jpg

Figure 3.

VISSIM road network based on sangam autonomous driving testbed in Seoul

4. 평가지표 선정 및 운전능력 평가 수행

교통 시뮬레이션 환경에서 구축한 도로 네트워크에 차량이 충분히 분포할 수 있도록 분석 시 처음 30분 동안을 warm-up time으로 설정하였으며, 30분이 지난 이후 2시간을 분석 시간으로 설정하였다. 시뮬레이션 결과의 신뢰도를 높이기 위하여 동일 시나리오당 random seed를 다르게 적용하여 10번 반복수행한 데이터를 활용하였다. 본 연구에서는 자율주행차의 운전능력을 평가하기 위해 종방향 평가지표 6개와 차량간 상호작용 평가지표 6개를 활용하였으며, 평가지표별 수식을 Table 3에 제시하였다. 종방향 및 차량간 상호작용 측면의 주행안전성 평가지표는 개별차량의 주행행태 변화를 정량적으로 산정할 수 있는 표준편차와 변동성(volatility, VF)을 기반으로 선정하였다. 또한, 차량간 상호작용 기반 주행안전성 평가지표는 후미추돌 사고개연성을 정량적으로 나타낼 수 있는 surrogate safety measure(SSM) 기반 상충건수 중 TTC와 stopping distance index(SDI)를 활용하였다. TTC는 두 차량이 현재 주행상태와 같은 방향 및 속도로 주행할 경우 충돌이 발생하기까지 남은 잔여시간으로 1.5초 미만일 경우 심각한 상충이 발생한 것으로 판단한다(FHWA, 2003). SDI는 선후행차량의 최소 정지거리 차이에 따라 상충을 판단하는 지표로 선행차량보다 후행차량의 정지거리가 긴 경우 위험상황이 발생한 것으로 간주한다(Oh et al., 2006). 따라서, 종방향 평가지표는 속도 표준편차, 가속도 표준편차, peak-to-peak jerk, VF 기반 속도, 가속도, jerk를 선정하였다. 종방향 평가지표는 값이 클수록 사고개연성이 증가하는 것으로 해석할 수 있다(Ko et al., 2021). 또한, 차량간 상호작용 기반 평가지표는 spacing 표준편차, headway 표준편차, SDI 상충건수, TTC 상충건수, VF 기반 spacing, headway로 선정하였다.

Table 3.

Lists of driving safety indicators

No	Variable	Indicator		Equation
1	STD_spd.	Standard deviation	Speed ( $v$ ) Acceleration ( $a$ ) Spacing ( $s$ ) Headway ( $h$ )	$σ (x) = \sqrt{\frac{\sum_{t = 1}^{T} (x_{t} - x)^{2}}{n}}$
2	STD_acc.
				$x$	: Measurement	$T$	: Analysis time unit
3	STD_spc.
				$x_{t}$	rowspan="2"> : $x$ at time $t$	$t$	: Sampling interval
4	STD_hdwy.
				$x$	: Average $x$	$n$	: Number of data
5	VF_spd.	Time-varying stochastic volatility	Speed ( $v$ ) Acceleration ( $a$ ) Jerk ( $j$ ) Spacing ( $s$ ) Headway ( $h$ )	$V F_{x} = \sqrt{\frac{1}{n - 1} \sum_{t = 1}^{T} (r_{t} - r)^{2}}$
6	VF_acc.
				$r_{t} = \ln (\frac{x_{t}}{x_{t - 1}}) \times 100 %$
7	VF_jerk
				$x$	: measurement	$T$	: Analysis time unit
8	VF_spc.
				$x_{t}$	: $x$ at time $t$	$t$	: Sampling interval
				$x_{t - 1}$	: $x$ at time $t$ -1	$n$	: Number of data
9	VF_hdwy.
				$r_{t}$	: Relative change at time $t$ (%)
10	NC_SDI	Number of conflicts by SDI		$d_{t}^{L V} - d_{t}^{F V} I f S D I P < 0, t h e n c o n f l i c t$
11	NC_TTC	Number of conflicts by TTC		$\frac{s_{t}}{v_{t}^{L V} - v_{t}^{F V}} I f T T C < 1.5 s, t h e n c o n f l i c t$
12	P2Pjerk	Peak to peak jerk ( $j$ )		$P 2 P j e r k = M a x (j) - M i n (j)$

분석 결과

1. ODD별 요인분석 결과

종방향 및 차량간 상호작용 평가지표를 활용하여 구간별 운전능력 평가를 수행하였으며, 특정 ODD가 포함된 구간의 운전능력 평가 결과로 요인분석을 수행하였다. ODD별 요인분석에 활용가능한 평가지표를 선정하기 위해 KMO 측도, Bartlett 구형성 검정을 수행하고 요인분석에 적합할 시 공통성 값을 확인하였다. 공통성 값이 0.5 미만인 평가지표가 존재할 시 해당 평가지표를 분석에서 제거하였으며, 도출된 ODD별 요인분석 결과는 Table 4에 제시하였다.

Table 4.

Results of the derivation of promising and recommended evaluation indicators by ODD

Total variance explained			Rotated component matrix		Component score
ODD name	Total	Variance (%)	Indicator	Component matrix coefficient	Component score
Signalized intersection left turn	3.39	42.32	VF_spd.	0.91	0.26
			STD_hdwy.	0.87	0.24
			STD_spd.	0.84	0.24
			P2P jerk	0.75	0.36
			STD_spc.	0.68	0.17
Signalized intersection right turn	3.28	36.42	VF_spd.	0.93	0.31
			STD_hdwy.	0.88	0.40
			P2P jerk	0.83	0.23
			STD_spd.	0.71	0.14
Signalized intersection through	2.40	34.26	VF_spd.	0.91	0.39
			STD_hdwy.	0.79	0.34
			STD_spd.	0.78	0.32
			STD_acc.	0.56	0.22
Unsignalized intersection through	3.44	34.39	VF_spd.	0.94	0.33
			STD_hdwy.	0.87	0.32
			P2P jerk	0.79	0.22
			STD_acc.	0.79	0.19
			STD_std.	0.66	0.14
Additional lane	2.32	25.80	VF_spd.	0.92	0.42
Additional lane	2.32	25.80	STD_hdwy.	0.91	0.44
Illegal parking	2.86	31.81	VF_spc.	0.91	0.36
			VF_hdwy.	0.89	0.29
			STD_acc.	0.86	0.35
Bus stop	2.99	33.25	VF_spc.	0.90	0.30
			VF_hdwy.	0.89	0.29
			SDI	0.71	0.29
			P2P jerk	0.66	0.20
			STD_acc.	0.65	0.20
Bicycle lane	2.68	26.81	VF_spd.	0.92	0.36
			STD_hdwy.	0.85	0.34
			STD_spd.	0.77	0.27
			STD_acc.	0.68	0.27
Intersection crosswalk	2.97	49.47	STD_acc	0.91	0.34
			VF_spd.	0.89	0.29
			P2P jerk	0.85	0.29
			STD_spd.	0.78	0.25
Mid-block crosswalk	3.40	42.55	VF_hdwy.	0.96	0.32
			VF_spc.	0.96	0.31
			STD_acc.	0.90	0.30
			VF_acc	0.71	0.16

신호교차로 좌회전의 우수 평가지표는 VF 속도(0.26), 차두시간 표준편차(0.24), 속도 표준편차(0.24), P2P jerk(0.36), 차간거리 표준편차(0.17)로 선정되었으며, 맞춤형 평가지표는 P2P jerk로 도출되었다. 분석구간에서 자율주행차가 좌회전을 수행하는 구간의 경우 대향차로의 우회전 비율이 높고 보행자의 통행량이 많아 차량의 움직임이 급격하게 변할 수 있으며, P2P jerk는 이러한 급격한 가속도의 변화를 측정하여 운전능력을 평가하기에 적합하다. 신호교차로 우회전의 경우 VF 속도(0.31), 차두시간 표준편차(0.40), P2P jerk(0.23), 속도 표준편차(0.17)가 우수 평가지표로 선정되었으며, 이 중 차두시간 표준편차가 맞춤형 평가지표로 도출되었다. 분석구간에서 우회전을 수행하는 경우 가속차로가 존재하지 않는 구간이 많아 주도로를 주행하는 차량과 상호작용이 빈번하게 발생하는 구간이다. 따라서, 선행 차량과 안전한 거리 유지가 중요하고 주도로를 주행하는 차량의 주행안전성에 영향을 미치지 않고 합류하는지에 대한 평가가 요구된다. 신호교차로 직진 ODD의 우수 평가지표는 VF 속도(0.39), 차두시간 표준편차(0.34), 속도 표준편차(0.32), 가속도 표준편차(0.22)로 선정되었으며, 맞춤형 평가지표로는 VF 속도로 도출되었다. 비신호교차로 또한 VF 속도의 성분점수 계수가 0.33으로 가장 높아 맞춤형 평가지표로 도출되었으며, 이는 차량이 교통상황의 변화에 얼마나 민첩하게 반응하고 일관된 속도를 유지하는지를 평가하는 지표이므로 적절한 평가지표인 것으로 판단된다. 교차로 유형에 해당하는 ODD의 경우 전체적으로 속도의 변화량과 관계된 평가지표가 맞춤형 평가지표로 도출되었다. 교차로 관련 ODD의 경우 신호와 인접한 차량의 영향으로 인해 stop and go 발생 가능성이 증가함에 기인한 결과로 판단된다.

추가차로의 경우 VF 속도(0.42)와 차두시간 표준편차(0.44)가 우수 평가지표로 선정되었으며, 맞춤형 평가지표의 경우 차두시간 표준편차가 도출되었다. 추가차로가 존재하는 구간의 경우 인접한 차량의 차로변경 빈도가 증가하므로 해당 ODD를 주행하는 AV는 선행차량과의 시간적 거리를 일정하게 유지하여 안전성을 확보할 수 있는지에 대한 평가가 요구된다. 특히, 분석 구간의 경우 추가차로가 짧은 거리에 반복적으로 형성되고 제거되는 구간이 존재하여 공격적인 cut-in 상황이 빈번하게 발생할 수 있다. 불법주정차가 존재하는 ODD의 경우 VF 차간거리(0.36), VF 차두시간(0.29), 가속도 표준편차(0.35)가 우수 평가지표로 선정되었으며, 이 중 VF 차간거리의 성분점수 계수가 0.36으로 가장 높아 맞춤형 평가지표로 도출되었다. 분석 구간의 경우 우회전 직후 가속을 위한 차로에 불법주정차가 존재하는 경우가 다수 있다. 가속도 표준편차의 경우 AV가 도로 주행 중에 마주하는 예기치 않은 상황에서 가속 또는 감속을 적절하고 안정적으로 수행하는지 평가할 수 있다. 버스정류장 ODD는 VF 차간거리(0.30), VF 차두시간(0.29), SDI기반 상충건수(0.29), P2P jerk(0.20), 가속도 표준편차(0.20)가 우수 평가지표로 선정되었으며, VF 차간거리가 맞춤형 평가지표로 도출되었다. 버스정류장이 존재하는 구간에서는 대형차량의 버스정류장 진출입 시 움직임에 적절하게 반응하여 인접한 차량이 속도 조절 및 차로 변경을 수행하여야 한다. AV가 이를 적절하게 반응하여 안전거리를 유지하는 능력이 있는지 평가하여야 한다. 추가차로, 불법주정차, 버스정류장에 해당하는 ODD의 경우 공통적으로 다른 차량과의 상호작용에 의해 강제적인 감속과 차로변경을 수행할 가능성이 높은 ODD이다. 따라서, 차량간 상호작용 측면의 평가지표가 해당 ODD를 평가하는데 적합한 평가지표로 도출된 것으로 판단된다.

자전거 도로가 존재하는 ODD의 경우 VF 속도(0.36), 차두시간 표준편차(0.34), 속도 표준편차(0.27), 가속도 표준편차(0.27)가 우수 평가지표로 선정되었으며, 맞춤형 평가지표는 VF 속도로 도출되었다. 분석 구간에 존재하는 자전거 도로는 차도의 일정 부분을 자전거 등만 통행하도록 규정된 자전거 전용차로와 차량과 자전거가 도로를 공유하는 자전거 우선도로가 존재한다. 따라서, 물리적으로 도로가 구분된 자전거 전용도로에 비해 자전거 이용자의 불규칙한 움직임에 반응하여 AV가 잦은 속도 조절을 수행하여야 한다. 속도 변동성은 AV가 자전거 이용자와 상호작용 시 안전하고 효과적인 속도 조절을 평가할 수 있다. 또한, 우수 평가지표로 선정된 차두시간 표준편차는 자전거 이용자와의 안전한 거리 유지를 평가할 수 있으며, 가속도 표준편차는 자율주행차의 반응성을 평가하는데 적합한 것으로 판단된다. 교차로 횡단보도 ODD는 가속도 표준편차(0.34), VF 속도(0.29), P2P jerk(0.29), 속도 표준편차(0.25)가 우수 평가지표로 선정되었으며, 맞춤형 평가지표의 경우 가속도 표준편차로 도출되었다. 해당 ODD에서 AV는 보행자 및 인접한 차량의 움직임을 지속적으로 인지하고 적절한 반응을 하여야 한다. 특히, 분석구간은 교통섬이 존재하는 구간이 다수 존재하여 교통섬으로 횡단하는 보행자와 상충이 자주 발생한다. 보행자는 AV에게 예측하기 어려운 동적 객체이며, 보행자의 안전을 위해 신속하고 정확하게 AV가 반응할 수 있는지에 대한 평가가 필요하다. Mid-block 횡단보도의 경우 VF 차두시간(0.32), VF 차간거리(0.31), 가속도 표준편차(0.30), VF 가속도(0.16)가 우수 평가지표로 선정되었으며, 이 중 VF 차두시간이 맞춤형 평가지표로 도출되었다. Mid-block 횡단보도는 도로 중간에 위치하여 신호등이나 다른 교통 제어 장치가 없는 곳에서 보행자가 도로를 횡단할 수 있는 구간이다. 이러한 환경은 갑작스러운 보행자의 출현과 같은 예측 불가능한 상황을 높은 빈도로 발생시키며, AV에게 높은 수준의 인지 능력과 반응성을 요구한다. 또한, 선행차량이 보행자를 인지하고 급정지할 시 사고를 회피하기 위한 적절한 차두시간을 유지하는지에 대한 능력을 평가하여야 한다. 자전거 도로, 교차로 및 Mid-block 횡단보도의 경우 자전거 이용자 또는 보행자와 같은 차량 외 도로 이용자와의 상호작용을 중점적으로 평가가 수행되어야 한다.

2. 평가대상 ODD 중요도 우선순위 도출 결과

본 연구는 교통안전이란 관점에서 운전능력이 저하되는 ODD를 AV 운전능력 평가 시 우선적으로 평가를 진행하여야 하는 ODD로 정의하고 risk score 산출을 통해 평가대상 ODD의 중요도 우선순위를 도출하였다. ODD별 risk score 산출을 통한 평가 중요도 우선순위 도출 결과는 Table 5에 제시하였다. 교차로 횡단보도, 불법주정차, mid-block 횡단보도의 risk score가 각각 0.555, 0.475, 0.414로 높은 평가 우선순위로 분석되었다. 교차로 및 mid-block 횡단보도의 경우 보행자와의 상충이 빈번하게 발생하는 구간이며, 보행자와의 상충은 차량과의 상충에 비해 급감속을 발생시킬 가능성이 높아 운전능력이 저하되는 것으로 판단된다. 이러한 구간에서 자율주행차는 보행자를 인지하고 보행자에게 위협이 되지 않도록 주행하는지에 대한 평가가 필요하며, 갑작스런 보행자의 도로 난입에도 사고를 회피할 수 있는지에 대한 평가가 수반되어야 한다. 또한, 불법주정차의 경우 AV의 정상적인 주행을 방해하여 감속과 차로변경을 요구하는 ODD이며, AV는 상대적으로 높은 속도로 주행중인 차로로 차로변경을 강요받음으로써 운전능력이 저하될 수 있다. 해당 ODD에서 AV의 운전능력을 평가할 시 좌측차로의 후미에서 접근하는 차량의 주행안전성을 저하시키지 않는 차로변경을 수행할 수 있는지 평가가 필요하다.

Table 5.

Results of the priority derivation for the ODD importance to be evaluated

ODD Importance Priority	Superior Evaluation Indicators												Risk score
ODD Importance Priority	STD spd.	STD acc.	P2P jerk.	VF spd.	VF acc.	VF jerk	STD spc.	STD hdwy.	SDI	VF spc.	VF hdwy.	TTC	Risk score
Intersection crosswalk	0.559	0.703	0.468	0.471	-	-	-	-	-	-	-	-	0.555
Illegal parking	-	0.688	-	-	-	-	-	-	-	0.305	0.433	-	0.475
Mid-block crosswalk	-	0.657	-	-	0.600	-	-	-	-	0.172	0.227	-	0.414
Signalized intersection through	0.485	0.479	-	0.241	-	-	-	0.208	-	-	-	-	0.353
Signalized intersection right turn	-	-	0.305	0.343	-	-	0.282	0.264	-	-	-	-	0.334
Bicycle lane	0.382	0.515	-	0.225	-	-	-	0.149	-	-	-	-	0.318
Signalized intersection left turn	0.363	-	0.164	0.301	-	-	0.206	0.175	-	-	-	-	0.302
Bus stop	-	0.515	0.345	-	-	-	-	-	0.139	0.204	0.180	-	0.297
Unsignalized intersection through	0.391	0.446	0.281	0.162	-	-	-	0.167	-	-	-	-	0.290
Additional lane	-	-	-	0.177	-	-	-	0.163	-	-	-	-	0.170

신호교차로 직진, 우회전, 좌회전 ODD의 risk score는 각각 0.353, 0.318, 0.302로 분석되었다. 해당 ODD는 신호에 의해 교통흐름이 통제됨에 따라 딜레마존과 같이 선후행차량의 급정지가 발생할 가능성이 높다. 선행차량의 급정지는 후행차량의 주행안전성에 큰 영향을 미치며 나아가 사고를 야기할 수 있다. 따라서, AV의 운전능력을 평가할 시 선행차량과 적절한 안전거리를 유지하여 갑작스런 상황에 대비할 수 있는지에 대한 평가가 필요하며, AV의 급정지를 예방함으로써 후행차량의 주행안전성에 영향을 미치지 않는지 평가가 수행되어야 한다. 또한, 버스정류장, 비신호교차로 직진, 추가차로의 risk score는 각각 0.297, 0.290, 0.170으로 분석됨에 따라 낮은 우선순위로 선정되었다. 다른 ODD에 비해 AV의 운전능력에 영향을 미칠 수 있는 상황 발생 빈도가 낮기 때문에 도출된 결과로 판단된다. 특히, 비신호교차로의 경우 일반적으로 교통량이 현저히 낮은 구간에 존재하는 ODD로 교통량의 변화에 가장 큰 영향을 받을 것으로 판단된다.

결론

본 연구에서는 AV가 설정한 목적지까지 주행함에 있어 마주하는 다양한 ODD를 통과할 시 AV의 주행안전성 측면에서 위험이 없어야 한다는 전제조건을 AV의 운전능력으로 정의하였다. AV의 운전능력을 평가하기 위해 ODD 자체의 특성과 ODD 내 차량의 거동 특성을 고려하여 ODD별 우수 및 맞춤형 평가지표를 도출하는 방법론을 개발하고 ODD 평가 중요도 우선순위를 제시하였다. 교통 시뮬레이션을 활용하여 분석을 수행하였으며, 상암 자율주행차 시범운행지구를 기반으로 시뮬레이션 환경을 구축하고 실제 도로를 주행한 AV 주행 데이터인 AVD를 통해 시뮬레이션 내 AD mode와 MD mode의 거동을 구현하였다. AV의 운전능력 평가에 활용된 평가지표는 주체차량 종방향 주행안전성 및 차량간 상호작용 주행안전성을 평가할 수 있는 12개 평가지표로 구성되어있으며, ODD가 포함된 구간에 해당하는 운전능력 평가 결과를 활용하여 요인분석을 수행하였다. 설명된 총분산이 가장 큰 성분에 포함된 평가지표를 우수 평가지표로 선정하였으며, 우수 평가지표 중 성분점수 계수가 가장 큰 평가지표를 ODD 맞춤형 평가지표로 도출하였다. 도출된 ODD별 우수 평가지표간 비교가 가능하도록 정규화를 수행하였으며, 우수 평가지표 정규화 값의 평균을 산출하여 risk score를 산출하였다. risk score가 높을수록 AV의 운전능력에 많은 영향을 주는 것으로 판단하였다.

분석 결과 교차로 유형과 관계된 ODD의 경우 속도의 변화량과 관계된 평가지표가 맞춤형 평가지표로 도출되었으며, 이는 교차로의 경우 신호에 의한 stop and go 또는 다른 차량을 인지하여 감속이나 가속을 빈번하게 반복할 가능성이 있기 때문으로 판단된다. 또한, 불법주정차, 버스정류장과 같이 다른 차량으로 인해 AV가 정상적인 주행을 방해받고 강제적인 차로변경을 요구받는 구간의 경우 차량간 상호작용 측면의 평가지표가 AV의 운전능력을 평가하는데 적합한 평가지표로 도출되었다. AV가 선행차량의 영향을 많이 받을 수 있는 구간 특성이 존재하는 경우 선행차량과의 안전거리 유지 및 적절한 감속에 대한 평가가 요구된다. 자전거 도로, 교차로 및 Mid-block 횡단보도의 경우 상대적으로 차량에 비해 예측 불가능한 행태를 보이는 도로 이용자와 상호작용이 빈번하게 발생할 수 있는 구간이다. 이와 같은 구간에서 AV는 보행자 및 자전거 이용자의 지속적으로 인지하고 적절한 반응을 보이는지에 대한 평가가 필요하므로 속도 변화량 기반의 평가지표가 적절한 평가지표로 판단된다. 추가로 본 연구에서는 우수 평가지표를 활용하여 ODD의 평가 중요도 우선순위를 결정하였다. 교차로 횡단보도, 불법주정차, mid-block 횡단보도 ODD가 높은 평가 중요도 우선순위로 도출되었으며, 교차로 및 mid-block 횡단보도의 경우 보행자와의 상충이 빈번하게 발생하는 구간이다. 보행자와의 상충은 차량과 상충에 비해 예측하는데 어려움이 존재하므로 운전능력이 저하될 가능성이 높다. 이러한 구간에서 자율주행차는 보행자를 인지하고 보행자에게 위협이 되지 않도록 주행하는지에 대한 평가가 필요하며, 보행자의 도로 난입과 같은 돌발상황에도 사고를 회피할 수 있는지에 대한 평가가 함께 수행되어야 한다.

본 연구에서 도출한 결과는 AV 기술의 개발 및 정책 결정에 중요한 기준을 제공할 수 있을 것으로 기대된다. 기술 개발 측면으로 운전능력이 특히 저하되는 ODD에 특화된 센서 또는 알고리즘 개발을 촉진하여 AV의 인식 능력을 고도화할 수 있다. 교통안전 및 규제 정책 개선 측면으로 AV의 운전능력에 크게 영향을 미치는 ODD를 중점적으로 모니터링함으로써 효과적인 비상 상황 대응이 가능토록 한다. 도로 인프라 및 설계 관점에서 도로 설계 표준 검토 시 기초자료로 활용할 수 있으며, AV에 적합한 인프라 설계 및 개선을 통해 혼합교통류 환경의 교통사고를 효과적으로 감소시킬 수 있다. 또한, 교통 시스템 관리 측면으로 실시간 데이터 분석과 ODD별 AV 운전능력 평가를 통해 교통 관리 시스템을 혼합교통류 환경에 최적화할 수 있으며, 교통흐름을 안정적으로 개선하기 위한 전략적 의사결정에 기초자료로 활용될 수 있다. 본 연구에서 도출한 ODD 평가 중요도 우선순위 및 risk score를 기반으로 향후 AV의 운전능력 평가 항목 설정과 평가 환경을 구축하는데 근거자료로 활용될 수 있다.

본 연구는 AV의 운전능력을 평가하는데 있어 ODD별 특성을 종합적으로 분석하는 새로운 접근 방식을 제시한다. 연구 결과는 교통 안전, 도로 인프라 설계, 교통 시스템 관리 등 다양한 분야에서 기초자료로 활용 가능하지만 향후 추가적인 연구 수행을 통해 본 연구의 한계점 보완도 필요하다. 첫 번째로 본 연구에서는 실제 도로를 기반으로 시뮬레이션 환경을 구축하였으나, 실제 도로 상황은 예상치 못한 변수들이 더 많이 존재한다. 따라서, 다양한 평가지표를 산출할 수 있는 자율주행차 주행데이터를 통해 본 연구의 결과를 검증하고 보완하는 연구가 수행되어야 한다. 두 번째로, AV의 운전능력 평가의 관점에서 AV의 주행안전성 측면만을 고려하였다는 한계가 존재한다. 실제 AV에게 요구되는 운전능력은 개별적인 주행안전성 뿐만 아니라 인접한 차량과 보행자 및 자전거 이용자 측면의 안전성도 고려되어야 한다. 향후 통제 가능한 실험 환경이 구축될 시 AV의 주행 알고리즘에 따른 도로이용자의 안전성을 분석하는 연구가 수행되어야 한다. 마지막으로 본 연구에서 분석에 활용한 ODD는 실제 AV에 영향을 미칠 수 있는 ODD 일부에 국한되어 있으며, 상암 자율주행차 시범운행지구라는 특수한 교통상황에서 분석된 결과이다. 따라서, 교통량과 차종 등 추가적인 ODD 구현 및 분석을 통해 다양한 ODD 환경에 대해 본 연구와 동일한 분석을 수행할 필요가 있다.

Funding

This work was supported by Korea Institute of Police Technology(KIPoT) grant funded by the Korea government(KNPA) (Project Name: Development of Lv.4 Driving Ability Evaluation Technology for Autonomous Vehicles Based on Real Roads / Project Number: RS-2023-00238253).

References

Alozi A. R., Hussein M. (2023), Active Road User Interactions With Autonomous Vehicles: Proactive Safety Assessment, Transportation Research Record, 2677(7), 74-89.

10.1177/03611981221151032

Banerjee S. S., Jha S., Cyriac J., Kalbarczyk Z. T., Iyer R. K. (2018), Hands off the wheel in Autonomous vehicles?: A Systems Perspective on over a Million Miles of Field Data, In 2018 48th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN), 586-597, IEEE.

10.1109/DSN.2018.00066

Dixit V. V., Chand S., Nair D. J. (2016), Autonomous Vehicles: Disengagements, Accidents and Reaction Times, PLoS one, 11(12), e0168054.

10.1371/journal.pone.016805427997566PMC5173339

Favarò F. M., Eurich S. O., Nader N. (2018), Analysis of Disengagements in Autonomous Vehicle Technology, In 2018 Annual Reliability and Maintainability Symposium (RAMS), 1-7, IEEE.

10.1109/RAM.2018.8463123

FHWA (2003), Surrogate Safety Measures from Traffic Simulation Models, Federal Highway Administration Report FHWA-RD-03-050. McLean, VA.

Gu Z., Wang Z., Liu Z., Saberi M. (2022), Network Traffic Instability with Automated Driving and Cooperative Merging, Transportation Research Part C: Emerging Technologies, 138, 103626.

10.1016/j.trc.2022.103626

Hou G. (2023), Evaluating Efficiency and Safety of Mixed Traffic with Connected and Autonomous Vehicles in Adverse Weather, Sustainability, 15(4), 3138.

10.3390/su15043138

Jin S., Sun D. H., Zhao M., Li Y., Chen J. (2020), Modeling and Stability Analysis of Mixed Traffic with Conventional and Connected Automated Vehicles from Cyber Physical Perspective, Physica A: Statistical Mechanics and its Applications, 551, 124217.

10.1016/j.physa.2020.124217

Jung A. R., Jo Y., Oh C., Park J. H., Yun D. G. (2023), Evaluating Driving Behavior of Mixed Car-Following Situations Consisting of Autonomous and Manual Vehicles by Road Alignment Conditions, Presented at 102nd Annual Meeting of the Transportation Research Board, Washington, D.C.

Kang L., Shen H., Li Y., Xu S. (2023), A Data-driven Control Policy based Driving Safety Analysis System for Autonomous Vehicles. IEEE Internet of Things Journal.

10.1109/JIOT.2023.3244756

Khattak Z. H., Fontaine M. D., Smith B. L. (2020), Exploratory Investigation of Disengagements and Crashes in Autonomous Vehicles Under Mixed Traffic: An Endogenous Switching Regime Framework, IEEE Transactions on Intelligent Transportation Systems, 22(12), 7485-7495.

10.1109/TITS.2020.3003527

Kim H. J., Lim K. I., Kim J. W., Son W. B. (2020), Operational Design Domain for Testing of Autonomous Shuttle on Arterial Road, The Journal of The Korea Institute of Intelligent Transport Systems, 19(2), 135-148.

10.12815/kits.2020.19.2.135

Ko J. E., Jang J. Y., Oh C. (2021), A Multi-agent Driving Simulation Approach for Evaluating the Safety Benefits of Connected Vehicles, IEEE Transactions on Intelligent Transportation Systems, 23(5), 4512-4524.

10.1109/TITS.2020.3045675

Lee S. J., Jo Y., Kim H. J., Park J., Oh C. (2023), Driving Safety Evaluation of Mixed Car-Following Situations by Autonomous and Manual Vehicles at Urban Interrupted Road Facilities, Presented at 102nd Annual Meeting of the Transportation Research Board, Washington, D.C.

10.1177/03611981231222237

Leledakis A., Lindman M., Östh J., Wågström L., Davidsson J., Jakobsson L. (2021), A method for predicting crash configurations using counterfactual simulations and real-world data, Accident Analysis & Prevention, 150, 105932.

10.1016/j.aap.2020.10593233341681

Li G., Yang Y., Li S., Qu X., Lyu N., Li S. E. (2022), Decision Making of Autonomous Vehicles in Lane Change Scenarios: Deep Reinforcement Learning Approaches with Risk Awareness, Transportation Research Part C: Emerging Technologies, 134, 103452.

10.1016/j.trc.2021.103452

Liu Q., Wang X., Liu S., Yu C., Glaser Y. (2024), Analysis of Pre-crash Scenarios and Contributing Factors for Autonomous Vehicle Crashes at Intersections, Accident Analysis & Prevention, 195, 107383.

10.1016/j.aap.2023.10738337984113

NHTSA (2018), Critical Reasons for Crashes Investigated in the National Motor Vehicle Crash Causation Survey, DOT HS 812 115, Washington, DC: National Highway Traffic Safety Administration (NHTSA), US Department of Transportation.

Niroumand R., Hajibabai L., Hajbabaie A., Tajalli M. (2022), Effects of Autonomous Driving Behavior on Intersection Performance and Safety in the Presence of White Phase for Mixed-autonomy Traffic Stream, Transportation Research Record, 2676(8), 112-130.

10.1177/03611981221082580

Oh C., Park S. R., Ritchie S. G. (2006), A Method for Identifying Rear-end Collision Risks Using Inductive Loop Detectors, Accident Analysis & Prevention, 38(2), 295-301.

10.1016/j.aap.2005.09.00916246286

Parekh D., Poddar N., Rajpurkar A., Chahal M., Kumar N., Joshi G. P., Cho W. (2022), A review on autonomous vehicles: Progress, methods and challenges, Electronics, 11(14), 2162.

10.3390/electronics11142162

Patel R. K., Channamallu S. S., Khan M. A., Kermanshachi S., Pamidimukkala A. (2023), An Exploratory Analysis of Temporal and Spatial Patterns of Autonomous Vehicle Collisions, Public Works Management & Policy, 1.

10.1177/1087724X231217677

Road Act. (2014), Rule on the Connection of Roads and Other Roads, Article 6, Paragraph 3, Table 4.

Salehimanesh F., Soltani M., Dastoorpoor M., Moradi N. (2020), Factor Analysis of the Persian Version of the Voice Disability Coping Questionnaire, Journal of Voice, 34(6), 965-e11.

10.1016/j.jvoice.2019.06.00131324431

Sinha A., Chand S., Wijayaratna K. P., Virdi N., Dixit V. (2020), Comprehensive Safety Assessment in Mixed Fleets with Connected and Automated Vehicles: A Crash Severity and Rate Evaluation of Conventional Vehicles, Accident Analysis & Prevention, 142, 105567.

10.1016/j.aap.2020.10556732361477

Wang J., Zhang L., Huang Y., Zhao J., Bella F. (2020), Safety of Autonomous Vehicles, Journal of Advanced Transportation, 2020, 1-13.

10.1155/2020/8867757

Wen X., Cui Z., Jian S. (2022), Characterizing Car-following Behaviors of Human Drivers When Following Automated Vehicles using The real-world Dataset, Accident Analysis & Prevention, 172, 106689.

10.1016/j.aap.2022.10668935569279

Willgoss T. G., Goldbart J., Fatoye F., Yohannes A. M. (2013), The Development and Validation of the Anxiety Inventory for Respiratory Disease, Chest, 144(5), 1587-1596.

10.1378/chest.13-016823907347

Yao Z., Hu R., Jiang Y., Xu T. (2020), Stability and Safety Evaluation of Mixed Traffic Flow with Connected Automated Vehicles on Expressways, Journal of Safety Research, 75, 262-274.

10.1016/j.jsr.2020.09.01233334485

Zhao X., Wang Z., Xu Z., Wang Y., Li X., Qu X. (2020), Field Experiments on Longitudinal Characteristics of Human Driver Behavior Following an Autonomous Vehicle, Transportation Research Part C: Emerging Technologies, 114, 205-224.

10.1016/j.trc.2020.02.018

Journal of Korean Society of Transportation 대한교통학회지 ISSN:1229-1366(Print) 2234-4217(Online)

Preview

Analysis of ODD and Evaluation Indicators for Autonomous Vehicle Driving Performance Based on Traffic Simulation in Mixed Traffic Environments

ABSTRACT

MAIN

Figure 1.

Analysis flowchart

Figure 2.

Flowchart for deriving superior and customized evaluation indicators based on factor analysis

(1)

(2)

Table 1.

Characteristics of the AVD

Table 2.

Parameter adjustment for each driving mode

Figure 3.

VISSIM road network based on sangam autonomous driving testbed in Seoul

Table 3.

Lists of driving safety indicators

Table 4.

Results of the derivation of promising and recommended evaluation indicators by ODD

Table 5.

Results of the priority derivation for the ODD importance to be evaluated

Funding

References