Development of Autonomous Vehicle Critical Situation Scenarios in Urban Areas Based on Kinetic 3D-LiDAR PCD with Triggered Vehicle Detection

Minhee Kang; Saeyan Eom; Keeyeon Hwang

doi:10.7470/jkst.2023.41.3.353

Preview

Article

Journal of Korean Society of Transportation. 30 June 2023. 353-374
https://doi.org/10.7470/jkst.2023.41.3.353

Development of Autonomous Vehicle Critical Situation Scenarios in Urban Areas Based on Kinetic 3D-LiDAR PCD with Triggered Vehicle Detection

3D-LiDAR PCD 및 사고유발차량 분류 기반 자율주행차 도심부 사고 취약 시나리오 개발

Minhee KANG¹

Saeyan EOM²

Keeyeon HWANG³^*

강 민희¹

엄 새얀²

황 기연³^*

¹Ph.D. Candidate, Industrial Convergence Interdepartmental Program, Smartcity, Hongik University, Seoul 04066, Korea

²BE, Department of Urban Design & Planning, Hongik University, Seoul 04066, Korea

³Professor, Department of Urban Design & Planning, Hongik University, Seoul 04066, Korea

¹홍익대학교 스마트도시전공 박사수료

²홍익대학교 도시공학과 학사

³홍익대학교 도시공학과 교수

^{*Corresponding Author}

ABSTRACT

The commercialization of Autonomous Vehicle(AV) is rapidly approaching with the technical progress of Advanced Driver Assistance Systems (ADAS). However, ensuring AV safety through a robust framework is crucial, given the escalating safety concern. To address this issue, we propose a scenario-based approach method for AV safety assessment. We generated logical scenarios based on a data-driven approach method using 3D-LiDAR PCD by extracting kinetic features, such as distance, velocity, and acceleration, to complement the lack of a knowledge-based approach. For generating logical scenarios, we detected critical situation-triggered vehicles and identified the importance of kinetic features. As a result, the detection model showed 96% accuracy by DNN model, and location, distance, and velocity were ranked as the top factors by RandomForeast model (RF). Beyond simply presenting scenarios using data and AI, our study is significant in offering practical variables that can be utilized for actual AV safety assessment.

Keywords

3D-LiDAR PCD

artificial intelligence

kinetic value

logical scenario

safety assessment

자율주행시스템의 기술적 진보로 자율주행차 상용화가 가시화되고 있으나, 안전성 이슈가 계속하여 제시되어 이를 보장할 수 있는 체계가 요구된다. 이에 따라 자율주행차 안전성 평가를 위한 시나리오 접근법이 제시되고 있으며, 지식 기반 접근법과 데이터 기반 접근법으로 구분되어 연구되고 있다. 본 연구에서는 지식 기반 접근법의 한계를 보완하고자 데이터 기반 접근법으로 3D-LiDAR PCD를 활용하여 거리, 속도, 가속도 등 운동학적 속성을 추출하여 시나리오를 제시하였다. Logical 시나리오 제시를 위해 사고 유발 객체를 검출하였으며, 사고를 유발시키는 요인의 중요도를 파악하여 logical 시나리오의 제시되어야 하는 변수를 제안하였다.

키워드

3D-LiDAR PCD

인공지능

운동학 변수

Logical scenario

자율주행차 안전성 평가

MAIN

서론
선행연구
1. 교통사고 요인 분석 연구
2. 이미지·LiDAR 데이터 기반 인공지능 활용 교통안전 연구
3. 데이터 기반 시나리오 생성 연구
4. 연구 차별성
자율주행차 도심부 사고 시나리오 생성 방법론
1. 사고 취약상황 정의
2. 프로브 차량 실주행 데이터 수집 및 3D-LiDAR PCD 운동학적 속성 추출
3. 사고 유발 물체 검출 및 변수 중요도 추출 모델
분석 결과
1. 심층 인공 신경망 학습 및 결과
2. 랜덤 포레스트 학습 및 결과
자율주행차 도심부 시나리오 생성 및 토의
1. Logical 시나리오 생성
2. 토의
결론 및 향후 연구

서론

자율주행자동차(이하 자율주행차)는 부분적으로 또는 완전히 네비게이션, 제어 및 위험 상황 회피가 가능한 차량으로 정의된다. SAE(Society of Automotive Engineers, 이하 SAE)에 따르면 자율주행차는 자율주행시스템이 없는 0단계부터 완전 자율주행시스템이 탑재된 5단계까지 총 여섯 가지 단계로 구분되며, 3단계부터 인간 운전자의 개입이 최소화되고 단계가 높아질수록 자율주행차 스스로 다양한 상황을 대처할 수 있어야 한다. 자율주행차는 속도를 유지하면서 차량 간 거리를 줄일 수 있어 도로 용량 증대 및 이동성 향상 효과가 기대되며, 인적요인으로 인한 사고의 90%를 예방할 수 있을 것으로 예측된다(Lee et al., 2019; Singh, 2015; Wagner, 2016; Liu et al., 2018; Khattak et al., 2020; Kang et al., 2019; Kang et al., 2020; Kang et al., 2022a; Kang et al., 2022b). 그러나 이러한 긍정적인 효과는 자율주행차 도입이 일정 수준 이상을 넘어 자율주행차가 일부 상용화 되었을 경우에 발생할 수 있다(Liu et al., 2018; Ye et al., 2018; Amirgholy et al., 2020). 자율주행차 도입 초창기의 경우, 일반자동차와의 혼재상황으로 예상치 못한 사고 상황들이 발생할 가능성이 존재한다(Goodall, 2014). 이처럼 다양한 기술적 진보가 자율주행차 상용화를 앞당기고 있으나, 단순히 기술만으로 새로운 모빌리티를 도입하는 것에는 한계가 존재하여 자율주행차의 안전성을 보장할 수 있는 체계가 요구된다.

자율주행차의 안전성을 보장하기 위해 기존 자동차 안전도 평가에 자율주행차가 포함되어 자율주행 시스템(Autonomous Driving System, 이하 ADS)이 평가받기 시작하였다. 자동차 안전도 평가(New Car Assessment Program, 이하 NCAP)는 일반자동차의 충돌실험을 통해 안전도를 측정하고 이를 소비자에게 해당 자동차의 안전도에 관한 정보를 제공하는 제도로, 자율주행차의 경우 전방 충돌 방지 보조 시스템(Forward Collision-Avoidance Assist, 이하 FCA), 차로 유지 보조 시스템(Lane Following Assist, 이하 LFA) 등을 평가하고 있다. 그러나, 자율주행차는 인간이 운전하는 일반차량과 달리 복잡한 환경에서 특정 상황을 스스로 대응할 필요가 있어 다양한 환경에서의 평가가 요구되어 단순한 환경에서 기술을 평가하는 것에는 한계가 존재한다. 이에 따라 실제 도로 운행 및 시뮬레이션 등을 통해 다양한 환경을 고려할 수 있는 시나리오 접근법이 제시되고 있다. 시나리오 접근법은 지식 기반 접근법(Knowledge-based extraction)과 데이터 기반 접근법(Data-driven extraction)으로 구분된다(Riedmaier et al., 2020). 지식 기반 접근법의 경우, 온톨로지 방식을 활용하여 전문가 지식을 통해 빠르게 시나리오 카탈로그를 생성할 수 있으나 실재하는 데이터가 아닌 지식만으로 구성되어 시나리오 자체에 대한 대표성의 문제가 제기될 수 있다. 반면, 데이터 기반 접근법은 실제 사고 데이터 및 머신러닝 등을 활용하여 시나리오를 생성하여 시나리오 대표성의 문제를 극복할 수 있으나, 데이터 정제 및 인공지능 등의 요건을 충족하지 못할 경우 시나리오를 생성할 수 없다는 전제조건이 존재한다. 또한 자율주행차는 고속도로 및 도심도로 환경에서 ODD(Operational Design Domain)가 상이하기 때문에 고속도로와 도심도로를 나누어 시나리오를 제시할 필요가 있다. 특히 도심도로의 경우. 상대적으로 인지해야하는 객체(차량, 보행자, 표지판 등)가 많으며 객체 간 상호작용이 발생하여 사고 빈도가 높아 자율주행차 도심부 상용화를 위한 시나리오가 필수적으로 요구된다(Son et al., 2021).

이에 본 연구는 도심부 대상의 자율주행차 평가 시나리오를 제시하기 위해 데이터 기반 접근법을 토대로 시나리오를 제시하고자 한다. 특히, 3D-LiDAR PCD를 활용하여 주변 차량의 운동학적 데이터를 추출하여 사고유발차량 검출 및 변수 중요도 파악을 통해 자율주행차 안전성을 평가할 수 있는 시나리오 개발하고자 한다.

본 연구는 다음과 같이 진행된다; 2장에서 사고 요인 및 인공지능, 시나리오 연구를 고찰하여 본 연구의 차별성을 제시한다. 3장에서는 logical 시나리오를 개발하기 위한 데이터 수집 및 운동학적 속성 추출, 인공지능 활용 방안, 안전성 평가 시나리오 작성 방식을 제시한다. 4장은 제시한 방법론을 통해 인공지능 학습을 진행하고 이를 토대로 도심부 자율주행차 logical 시나리오를 5장에서 제시한다. 종합적으로 6장에서 결론을 짓는다.

선행연구

1. 교통사고 요인 분석 연구

일반적으로 교통사고 연구는 도로 교통사고를 발생시키는 요인들을 추출하는 연구로 이루어져 있으며, 대부분 인적(운전자), 도로 상태 및 환경 요인으로 구분된다(Chen et al., 2020; Theofilatos et al., 2012; Park et al., 2007; Lee and Ahn, 2006; Lee and Lee, 2017; Eboli et al., 2020; Harith et al., 2019). 인적 요인에는 운전자의 연령, 운전 습관 및 운전자의 행동이 포함되며, 도로 요인은 교차로, 평균 차선 수 및 도로 폭, 평균 일일 교통량, 교통 신호 및 도로 시설물 등이 포함되고, 환경 요인에는 날씨, 시간 및 조명 등이 포함된다. 이러한 요인들이 다양한 교통사고를 설명할 수는 있으나, 사실 교통사고에서 가장 지배적인 요인은 차량이다. 즉, 가장 중요한 요인은 특정 변수에 영향을 받았는지 여부에 관계없이 차량 그 자체인 것이다. 따라서 실제 주행 차량의 운동학적 변수인 거리, 속도, 가속도에 초점을 맞출 필요가 있다.

운동학적 변수에 중점을 둔 여러 연구에서는 거리, 속도, 가속도가 교통사고를 일으키는 주요 요인임을 확인하였으며, 이를 활용하여 다양한 연구를 수행하였다 (Eboli et al., 2016; John et al., 2019; Watanabe et al., 2012; Bauernschuster and Rekers, 2022; Eshetu, 2019; Gota et al., 2019; Wang et al., 2006; Ali et al., 2021; Lee et al., 2021). 속도와 가속도가 차량의 운동을 설명하는 가장 필수적인 매개변수임을 확인하고, 운전자의 위험한 운전행동을 분류하기 위한 방안을 제안하였으며(Eboli et al., 2016), 정확한 차량 간 거리 및 속도, 가속도 측정이 FCA 성능을 향상시킬 수 있는 방안임을 제시하였다(Wang et al., 2020) 또한, 도로 위 차종 및 차량 크기(Watanabe et al., 2012; Bumrungsup and Kanitpong, 2022), 도로 위 사고 유발 차량의 상대적 위치(Hussain et al., 2018; Ilić et al., 2019) 등이 사고 유발 및 심각도에 영향을 미치는 요인인 것으로 나타났다.

2. 이미지·LiDAR 데이터 기반 인공지능 활용 교통안전 연구

최근 다양한 분야에서 인공지능을 접목하여 활용하고 있으며, 교통분야에서도 사고 예방 및 교통 흐름 예측 등으로 인공지능을 활용하고 있다. 대부분 이미지 데이터를 활용하여 사고 상황을 사전에 예측하는 연구로(Thakurdesai and Aghav, 2020; Hsu et al., 2020; Yu et al., 2020; Rahman et al., 2020; Choi et al., 2021), YOLO(Hsu et al., 2020), Mask R-CNN(Hsu et al., 2020), CNN-LSTM(Yu et al., 2020)등의 방법론을 활용하고 있다. 그러나 단순 이미지 데이터의 경우 사각지대가 존재하고 시공간을 동시에 고려하지 못하여 LiDAR(Light Detection and Ranging) 데이터를 활용하여 이를 보완하고 있다. LiDAR 데이터는 Point Cloud Data(이하 PCD)로 이루어져 있으며, PCD 내 개별적인 점들의 집합을 통해 특정 물체를 식별할 수 있다. LiDAR를 활용한 연구에서는 3D-LiDAR 데이터를 2D로 투영하여 이미지 데이터화하여 사용하는 연구가 존재하며, 이들은 YOLO 및 CNN(Ponnaganti et al., 2021; Lee et al., 2020) 방식을 통해 물체를 식별하고 있다. 나아가 3D-LiDAR 데이터 자체를 활용하는 연구에서는 공간적 특징을 명확하게 확인하여 정확도를 향상시켰다(Wang et al., 2020; Yuan et al., 2021; Yahya et al., 2020). 또한 단순 이미지 데이터에 3D-LiDAR 데이터를 퓨전하여 물체 식별 정확도를 향상시키는 연구도 제시되고 있다(Sakic et al., 2020; Pang et al., 2022; Choi and Kim, 2021). 이처럼 3D-LiDAR PCD를 활용하여 물체를 식별하는 시스템은 카메라 데이터를 보완할 수 있어 실제 자율주행 상용화에 필수적인 기술이다.

3. 데이터 기반 시나리오 생성 연구

데이터 기반 시나리오 생성 연구를 살펴보기 이전에, 자율주행차 안전성 평가 시나리오를 집중적으로 고려한 PEGASUS 프로젝트의 안전성 평가 시나리오를 검토하였다(PEGASUS project, 2019). PEGASUS 프로젝트는 독일 연방에서 BMW, Audi 등과 함께 자율주행 기능의 안전성에 대한 체계적인 방식과 요구사항을 개발하였다. 이는 실험(Test) 시나리오를 생성하기 위한 6개의 정보 레이어를 정의하고, 각 레이어에는 기능 요구사항, 교통 흐름, 위치, 위험 상황 설명, 도로 선형, 객체 이동 등을 제시할 수 있는 항목이 존재한다. 이를 통해 교통 사고 중 발생할 수 있는 사고 상황에 대해 자율주행차의 안전성을 평가할 수 있는 Functional, Logical, Concrete Scenario를 정의하였다.

Functional 시나리오는 도로 네트워크, 차선 폭, 속도 제한, 정지 및 이동 객체, 날씨 조건, 차량 동작 등과 같은 가장 높은 추상화 수준의 정보를 포함하며, logical 시나리오는 functional 시나리오에서 기술된 요소에 대한 정확한 값 범위를 설정해야한다. 특히, logical 시나리오의 4번째 레이어는 위험 상황에 관여하는 목표차량(Ego), 대상 차량(Actor), 인접 차량(Neighboring), 보행자와 같은 행위자들의 이동을 기술해야하며, 해당 레이어에서 행위자들의 거리, 차종, 초기 차선 및 위험 상황 동안 행위자의 움직이는 속도 범위를 제시해야한다. Logical 시나리오는 실험 시나리오를 제시하기 위한 중요 단계로 실제 거리, 속도 등의 변수 범위를 필수적으로 파악할 필요가 있다. Concrete 시나리오는 최종적인 자율주행차 안전성 평가를 하기 위한 실험 시나리오를 제시하기 위해 logical 시나리오에서 설정된 범위값들 내에서 값들의 조합을 통해 특정 변수값을 지정해야 한다(Figure 1).

https://cdn.apub.kr/journalsite/sites/kst/2023-041-03/N0210410307/images/kst_2023_413_353_F1.jpg

Figure 1.

The Six-Layers and Scenario Description of Pegasus Project

PEGASUS 프로젝트와 같이 자율주행차 안전성을 보장할 수 있는 체계가 요구되어 세계적으로 자율주행차 안전성 평가가 진행되고 있으며(Euro NCAP, KNCAP, CNCAP), 특히, 다양한 평가 방식 중 환경요소의 변화를 효과적으로 반영할 수 있는 시나리오 접근법이 주목받고 있다(Riedmaier et al., 2020). 이에 따라 다양한 시나리오 연구가 제시되고 있으며, 그 중 시나리오 대표성을 확보할 수 있는 데이터 및 인공지능을 활용한 데이터 기반 시나리오 접근 연구가 제안되고 있다. 시나리오를 제시하기 위해 활용하는 데이터는 자율주행차 데이터와 일반차량 데이터가 존재한다. 자율주행차 데이터의 경우, 실제 주행에 대한 데이터를 제공하고 있는 기관이 존재하지 않기 때문에 대부분 캘리포니아 교통관리국(California Department of Motor Vehicles, 이하 CA DMV)에서 제공하는 자율주행차 사고 보고서 데이터를 활용하고 있다. 자율주행차 사고 보고서를 기반으로 토픽 모델링을 통해 사고를 분석하고 시나리오를 제시하였으며(Alambeigi et al., 2020), 시퀀스 및 클러스터링 분석을 통해 자율주행차 사고 특징을 추출하고 시나리오를 제시하였다(Song et al., 2021). 또한 CA DMV에서 제공하는 제어권 해제 보고서(Disengagement report)를 결합하여 시나리오를 제시한 연구도 확인되었다(Favarò et al., 2017). 그러나, CA DMV 데이터를 활용한 대다수의 연구에서 보고서 내 추출할 활용 변수에 대한 한계와 충분한 데이터셋의 누적(300건)을 한계로 지적하고 있다. 이에 따라 기존 일반차량 데이터를 활용하여 시나리오를 제시하는 연구가 제안되고 있다. Yuan et al.(2020)은 일반 차량의 사고 데이터를 기반으로 ANN(Artificial Neural Network)을 활용하여 4,320개의 시나리오를 제시하였으며, 5개의 고위험 시나리오를 도출하였다. 사고 시나리오를 도출하기 위해 시간, 날씨, 도로 유형, 속도 제한 등 사고 요인을 다양하게 활용하였으며, 추출된 시나리오를 기반에서 사고 빈도와 확률분포를 고려하여 5개의 고위험 시나리오를 제시하였다. Kang et al.(2022a)은 일반 차량 사고 데이터를 기반으로 Vision Transformer(이하 ViT)를 활용하여 사고 취약상황을 분류하고 사고 취약상황 시나리오를 제시하였다. 사고 상황을 TTC(Time-To-Collision, 이하 TTC)로 4가지(Normal, Pre-collision, Collision, Post-collision) 상황으로 분류하고 ViT 학습을 통해 94%의 분류 정확도를 도출하여 사고 취약상황의 functional 시나리오를 제시하였다.

4. 연구 차별성

선행연구는 대부분 교통사고 요인을 인적, 도로, 환경적 요인으로 분석하는 것이 주된 연구였으며 차량 요인을 분석한 연구라도 기존에 수집된 데이터나 자차 데이터만을 활용하여 주변 차량의 행동을 고려할 수 없는 한계가 존재하였다. 본 연구는 실제 프로브 차량을 통해 자체적으로 데이터를 수집하였으며, 자차 데이터와 함께 주변 차량 데이터를 추출하여 활용하였다. 또한 인공지능을 활용한 연구에서도 단순 이미지 데이터를 활용하거나 3D-LiDAR를 활용하여도 단순 물체(점 집합)를 검출하는 연구에 그쳐있다. 본 연구는 3D-LiDAR PCD 내 존재하는 점들의 특성에 주목하고, 이를 통해 물체로 추정되는 객체의 운동학적 특성을 추출하여 활용하였다. 시나리오 생성 선행연구는 시나리오 생성 목적보다 데이터/모델 정확도에 초점이 맞추어져 있었으며, 특정 시나리오 포맷없이 고속도로/도심부 환경의 단순한 시나리오만을 제시하는 것에 그쳐 있다. 본 연구는 상대적으로 인지해야하는 주변 객체가 많이 존재하는 도심부 환경에서 자율주행차 안전성 평가에 실질적으로 적용될 수 있는 시나리오를 개발하고자 실질적인 변수값을 포함하고 있는 구체적인 시나리오를 제시하였다.

본 연구는 실제 수집한 자차 및 주변 차량 데이터 중 3D-LiDAR PCD를 활용하여 운동학적 데이터(거리, 속도, 가속도)를 추출하고, 이를 기반으로 사고유발 차량을 탐지하여 보다 상세한 값을 제공하는 도심부 시나리오를 제시하는 것에 차별성을 가진다.

자율주행차 도심부 사고 시나리오 생성 방법론

Figure 2과 같이, 3D-LiDAR PCD 기반 운동학적 속성을 활용한 자율주행차 안전성 평가 시나리오 생성을 위한 전체적인 프레임워크는 4가지로 구성된다.

https://cdn.apub.kr/journalsite/sites/kst/2023-041-03/N0210410307/images/kst_2023_413_353_F2.jpg

Figure 2.

Overall Procedure of AV Safety Assessment Scenario Derivation

1. 자율주행차 센서 탑재 프로브 차량을 통한 데이터 수집

2. 3D-LiDAR PCD를 활용한 점들의 운동학적 속성 추출

3. 사고 유발 객체 검출을 위한 심층인공신경망 활용 및 변수 중요도 추출을 위한 랜덤포레스트 활용

4. Step 3 기반 자율주행차 안전성 평가 변수 값 제공 범위 시나리오 제시

1. 사고 취약상황 정의

교통사고 데이터는 개인정보 등의 문제로 접근이 제한되어 있으며, 일반 주행 상황에 비해 매우 희소한 데이터이기 때문에 데이터 불균형 문제가 발생한다. 또한 이전 연구들은 교통사고 환경에 초점을 맞추어 분석하였으나, 대부분의 교통사고 데이터는 사고 이후의 데이터(Post accident)이기 때문에 사고 발생 시점의 속성을 파악하는 것에는 한계가 존재한다. 이에 따라 사고 상황이 아닌 사고로 이어질 수 있는 상황에 집중하는 연구가 제시되고 있다. Talebpour et al.(2014)는 ‘Near-crash’라는 용어를 사용하였으며, 이는 다른 차량의 비정상적인 행동이나 움직임에 대응하거나 충돌을 회피하기 위해 운전자가 대응을 할 필요가 있는 상황으로 정의하였다. Wu et al.(2018) 또한 ‘Near-crash’ 용어를 사용하였으며, 마찬가지로 운전자가 잠재적인 위협에 직면할 때 급격하게 회피하는 기동(긴급 제동 및 조향제어)을 수행하는 상황으로 정의하였다.

본 연구는 실제 교통사고가 발생하기 전에 사고로 이어질 가능성이 높은 상황에서 사고를 사전에 예방하기 위한 자율주행차 안전성 평가 시나리오를 제시하고자, 사고 취약상황을 정의하고 이에 초점을 맞추었다. 이에 따라 사고 취약상황(Critical situation)은 일반 주행상황에서 운전자가 주변 객체에 의해 회피가 필요하다 판단하여 급감속, 급제동, 정지 등의 운행행태로 변화하는 위축된 상황(Flinched)으로 정의하였다(Table 1).

Table 1.

Definition of Critical Situation Level

Level	Description
Normal	No conflict objects and potential crash exist
Pre-Crash	Where a driver felt the need to take evasive action to respond to other vehicles’ unusual behavior or maneuvers to avoid a collision
Critical	Flinched events, in which drivers take evasive actions such as sudden braking or stopped, to respond to or avoid a collision

2. 프로브 차량 실주행 데이터 수집 및 3D-LiDAR PCD 운동학적 속성 추출

본 연구에서는 실제 자율주행차에 탑재되어 있는 센서를 프로브 차량에 탑재하여 실주행 데이터를 수집하였다(Table 2). 프로브 차량을 운전하는 운전자가 도로를 주행 중에 주변 차량 및 환경으로부터 회피해야하는 상황이 발생하면 버튼을 눌러 해당 상황을 표기하도록 설정하였다(Figure 3). 이러한 데이터는 60초의 영상으로 600 프레임으로 구성되어 있으며(10fps), 특정 회피 상황이 포함되어 있는 데이터는 300번째 프레임에 저장되어 있다.

Table 2.

The Sensor of the Probe Vehicle

Sensor	Specification	Installation Position
GNSS	Applanix LV 125, DMI	wheel
CAMERA	FHD Global Shutter Camera [97° FOV]	1 front cam, 1 rear cam, 2 side cams
LiDAR	Hesai XT 32 / Velodyne HDL 32E	2 side mirrors, 1 center roof

https://cdn.apub.kr/journalsite/sites/kst/2023-041-03/N0210410307/images/kst_2023_413_353_F3.jpg

Figure 3.

Probe Vehicle for Critical Situation Collection

본 연구에서는 수집한 실주행 데이터를 모두 스크리닝하여 데이터를 선별하는 작업을 진행하였다. 2022년 9월까지 총 8,200여개 데이터셋(4,930,000 프레임)을 수집하였으며, 취약상황 정의에 따라 프로브 차량이 주변 차량 및 환경에 영향을 받아 감속, 급제동, 정지하는 상황의 데이터를 선별하여 추출하였다(Table 3). 카메라 데이터를 통해 상황을 확인한 결과, 프로브 차량이 감속하는 상황은 대부분 주변 차량이 계속하여 프로브 차량 주행 차로 위로 컷인하거나 컷 아웃하는 상황이었으며, 급제동 및 정지 상황은 교통량이 많은 상황에서 프로브 차량 주행 차로 위로 급작스럽게 컷인하는 상황으로 확인되었다.

Table 3.

The Collected Dataset and Composition

Driving Behavior	Data (%)
Constant Speed	7,670 (92.54%)
Decelerating	483 (5.83%)
Sudden Brake	72 (0.86%)
Stopped	63 (0.76%)
Total	8,288 (100%)

취약상황 데이터를 기반으로 운동학적 속성을 추출하기 위해 연구 설계 시, 점들의 개별적 속성에 집중하고자 t 프레임과 다음 프레임(t+1) 간의 점의 위치를 벡터화하고자 하였으나, 프로브 차량에 탑재되어있는 LiDAR 센서는 회전하며 빛을 쏘는 형태로 프레임 간 점들이 일대일 대응하지 않는 것으로 확인되었다. 이에 따라 개별적인 점들을 전처리를 하지 않을 경우, 유의미한 속성을 파악하는 것에 한계가 존재하였다. 이에 따라 물체로 추정되는 점들을 클러스터링하여 프로브 차량 주변 객체로 인식하여 해당 객체의 운동학적 속성을 추출하고자 하였다. 주변 객체의 운동학적 속성을 추출하는 단계는 Figure 4과 같이 3단계로 구분된다.

1. 불필요한 연산 및 정확한 클러스터링을 위한 3D-LiDAR PCD 관찰 공간 설정

2. 정확한 클러스터링 및 운동학적 속성 추출을 위한 Plan Segmentation

3. 프로브 차량 주변 객체를 클러스터링을 통한 객체의 운동학적 속성 추출

https://cdn.apub.kr/journalsite/sites/kst/2023-041-03/N0210410307/images/kst_2023_413_353_F4.jpg

Figure 4.

The Procedure of Kinetic Values Extraction

도로교통법 시행규칙 제 15조에 따르면 차로의 폭원은 최소 2.75m, 최대 3.5m로 규정되어있어, 본 연구에서는 차로 변경 등 다양한 도로 상황을 고려하여 한 차로 당 4.0m로 가정하여 범위를 설정하였다. 이에 따라 프로브 차량의 주행차로와 각 양쪽 2차로를 포함할 수 있도록 원점을 기준으로 20m를 관찰공간으로 설정하였으며(5차로), 도심도로 환경은 고속환경이 아니므로 전후방 범위 또한 20m의 범위로 제한하였다(40m × 40m).

LiDAR는 프로브 차량 주변 객체의 점들을 수집하기 때문에 원하는 객체만 정확히 클러스터링하는 것은 한계가 존재한다. 이에 본 연구는 클러스터링 오차를 최소화하기 위해 차량이 주행하는 도로 지면에서 나오는 점들을 제거하고자 Plane Segmentation(이하 PS)을 진행하였다. PS 기법은 3D PCD를 분석하여 데이터의 의미있는 평면으로 분리하는 과정으로 도로, 건물, 지면 등 원하지 않는 평면을 제거하여 관심 대상에 집중할 때 효과적으로 활용될 수 있다. 본 연구에서는 PS 기법 중 평면을 찾는 것에 효과적인 Hough Transform 기법을 활용하였다. 각 점 P(x, y, z)와 해당 점의 법선 벡터 N(a, b, c)를 사용하여 Hough 공간에서 평면의 매개변수 (d)를 계산하고 누적시켜 해당 평면을 찾고 해당 평면 속에 해당하는 포인트들을 제거한다(Equation 1).

(1)

d = - a x - b y - c z

여기서,

공간 D의 평면을 $a x + b y + c z + d = 0$ 의 형태로 표현할 때,

$(a, b, c, d)$ : 평면의 매개변수

$(a, b, c)$ : 평면의 법선 벡터

$d$ : 원점으로부터 평면까지의 거리

도로 지면의 점들을 제거하고 대상 객체를 클러스터링하기 위해 DBSCAN(Density-Based Spatial Clustering of Applications with Noise) 기법을 활용하였다. DBSCAN 기법은 밀도 기반의 공간 클러스터링 알고리즘으로 데이터 점들 간의 거리와 밀도를 기반으로 클러스터를 찾는 기법이다. DBSCAN은 노이즈를 효과적으로 구분할 수 있으며 클러스터의 모양과 개수에 상관없이 작동하는 장점이 존재한다. DBSCAN은 클러스터를 결정하기 위해 Equation 2와 같이 최소거리 $ε$ (eps)가 결정 기준으로 작용하고 클러스터를 구성하기 위해 클러스터 내 점의 개수는 Equation 3과 같이 필요한 최소 개수(Minpts) 이상 존재하여야 한다. 본 연구에서 활용하는 3D-LiDAR의 경우 주변 유사한 객체들을 클러스터하고, 대부분 클러스터 되는 점들의 밀도가 유사하여 객체들을 분류하는 것에 적합할 것으로 판단하였다(Ester et al., 1996).

(2)

N_{e p s i l o n} (p) = {q \in D | d i s t (p, q) \leq ε}

(3)

p \in N_{ε} (q) and | N_{ε} (q) | \geq M i n p t s

여기서,

$N_{ε}$ : 포인트 p의 $ε - 이웃$ (Neighborhood)

$D$ : 데이터 집합

$|N_{ε} (q)|$ : $ε - 이웃$ (Neighborhood)에 포함된 포인트 개수

운동학적 속성을 추출하기 위해 클러스터링된 객체들을 구성하는 점들을 대표할 수 있는 대푯값으로 무게중심(Centroid, Center of Gravity)을 활용하였다. 무게중심을 활용하여 추출한 운동학적 속성은 사고 요인분석 연구 등에서 요인으로 고려되는 차량 간 거리, 상대 속도, 실제 속도, 가속도, TTC(Time-to-Collision), 차량 위치, 차종으로 선정하였다.

해당 객체를 대표할 수 있는 무게중심은 Equation 4를 통해 계산하였다(Figure 5).

(4)

C_{o b j e c t} = [C (x_{t}^{i d}), C (y_{t}^{i d}), C (z_{t}^{i d})] = [\frac{1}{P} \sum_{i}^{P} (x_{t}^{i d} (i)), \frac{1}{P} \sum_{i}^{P} (y_{t}^{i d} (i)), \frac{1}{P} \sum_{i}^{P} (z_{t}^{i d} (i))]

여기서,

$i d$ : Ego vehicle 주변 객체

$t$ : 프레임(상황)

$(x_{t}^{i d} (i), y_{t}^{i d} (i), z_{t}^{i d} (i))$ : t 프레임 내 해당 객체(id)를 구성하는 점(x, y, z) 좌표값

$C (x_{t}^{i d}, y_{t}^{i d}, z_{t}^{i d})$ : t 프레임 내 해당 객체(id)의 무게중심

$P$ : 해당 객체의 모든 점의 개수

무게중심을 활용하여 객체의 상대속도를 추출하였다. LiDAR 센서가 프로브차량 중앙루프에 탑재되어있어 객체의 상대속도는 LiDAR 데이터에서의 객체 속도이다. 이를 위해 t 프레임에서 해당 객체의 위치와 이전 프레임( $t - δ$ )에서 객체의 위치를 통해 상대 거리를 계산하였으며 z값은 무시하였다. 계산된 상대거리는 절댓값으로 계산되므로 운행 방향에 따라 부호를 고려해야하며, 상대 속도는 상대 거리와 프레임 간격(시간)을 통해 계산하였다(Equation 5).

(5)

V e l o c i t y_{r e l_{t}}^{i d} = \frac{\sqrt{(C (x_{t}^{i d}) - C (x_{t - δ}^{i d}))^{2} + (C (y_{t}^{i d}) - C (y_{t - δ}^{i d}))^{2}}}{t - (t - δ)}

여기서,

$V e l o c i t y_{r e l_{t}}^{i d}$ : t 프레임에서의 해당 객체 상대 속도

차량 간 실제 거리를 추출하기 위해 프로브 차량의 위치와 해당 객체의 거리를 계산하였다(Equation 6). 무게중심이 객체들을 대표하는 점이지만, 실제 거리를 산정하기 위해서 무게중심이 아닌 실제 차량의 제원을 고려하였다. 이에 따라, 본 연구에서는 차량에서 튀어나온 범퍼 부분을 고려하여 프로브 차량과 해당 객체가 지닌 점 간의 최단 거리를 실제 거리로 산정하였다. 이를 위해 z좌표(차량 높이)가 LiDAR가 탑재되어있는 중앙 루프보다 낮은 값부터 계산하였다(Figure 6).

(6)

D i s t a n c e_{r e a l_{t}}^{i d} = \sqrt{(x_{t}^{i d} (i) - O (x))^{2} + (y_{t}^{i d} (i) - O (y)) L S U P 2} 1 \leq i \leq P and z \leq - 1

여기서,

$D i s t a n c e_{r e a l_{t}}^{i d}$ : t 프레임에서의 해당 객체와 프로브 차량 간 실제 거리

$(x_{t}^{i d} (i), y_{t}^{i d} (i), z_{t}^{i d} (i))$ : t 프레임 내 해당 객체(id)를 구성하는 점

$(O (x), O (y), O (z))$ : 프로브 차량 위치(Origin)

https://cdn.apub.kr/journalsite/sites/kst/2023-041-03/N0210410307/images/kst_2023_413_353_F5.jpg

Figure 5.

The Calculation of Centroid and Result

https://cdn.apub.kr/journalsite/sites/kst/2023-041-03/N0210410307/images/kst_2023_413_353_F6.jpg

Figure 6.

The Calculation of Real Distance Between Ego Vehicle and Neighboring Objects

TTC는 운행 차량이 주변 차량과 충돌하는 시간을 의미하며(Kiefer et al., 2006), 충돌 위험 또는 현재 상황이 계속될 경우 충돌 전까지 시간을 측정한다. TTC는 차량 간 거리를 상대속도로 나눈 값으로 정의되며, 교통사고 유발 차량을 감지하기 위해 TTC를 고려할 필요가 있다. 이에 따라 앞서 구한 상대속도(Equation 5)와 실제 차량 간 거리(Equation 6)를 활용하여 TTC를 계산하였다(Equation 7).

(7)

T T C = \frac{V e l o c i t y_{r e l_{t}}^{i d}}{D i s t a n c e_{r e a l_{t}}^{i d}} = \frac{\frac{\sqrt{(C (x_{t}^{i d}) - C (x_{t - δ}^{i d}))^{2} + (C (y_{t}^{i d}) - C (y_{t - δ}^{i d}))^{2}}}{t - (t - δ)}}{\sqrt{(x_{t}^{i d} (i) - O (x))^{2} + (y_{t}^{i d} (i) - O (y)) L S U P 2}}

상대 속도와 함께 주변 차량의 실제 주행 속도를 계산하기 위해 LiDAR 데이터와 함께 수집되는 프로브 차량의 GPS를 활용하였다. 프로브 차량이 주행 중일 때, 주변 객체의 실제 속도는 프로브 차량의 실제속도에 상대속도(방향 포함)를 더한 값으로 계산할 수 있다(Equation 8).

(8)

V e l o c i t y_{r e l_{t}}^{i d} = V e l o c i t y_{r e a l_{t}}^{i d} - V e l o c i t y_{p r o b e_{t}} V e l o c i t y_{r e a l_{t}}^{i d} = V e l o c i t y_{r e l_{t}}^{i d} + V e l o c i t y_{p r o b e_{t}}

여기서,

$V e l o c i t y_{r e a l_{t}}^{i d}$ : 해당 객체의 실제 속도

$V e l o c i t y_{r e l_{t}}^{i d}$ : 해당 객체의 상대 속도(Equation 5)

$V e l o c i t y_{p r o b e_{t}}$ : 프로브 차량의 실제 속도(GPS)

실제 속도를 기반으로 해당 객체의 가속도를 계산하였다(Equation 9). 가속도 계산을 위해 t 프레임에서 해당 객체의 실제 속도와 이전 프레임( $t - δ$ )에서 객체의 실제 속도를 통해 해당 객체의 가속도를 계산하였다.

(9)

A c c e l e r t a i o n_{t}^{i d} = \frac{V e l o c i t y_{r e a l_{t}}^{i d} - V e l o c i t y_{r e a l_{t - δ}^{}}^{i d}}{t - (t - δ)}

사고 예방하기 위한 ADAS의 기술은 주변 객체의 위치를 필수적으로 식별할 필요가 있다(Hussain et al., 2018). 이에 따라 주변 객체의 위치 속성을 추출하고자 프로브 차량을 기준으로 객체의 무게중심을 활용하였다. 프로브 차량의 규격이 폭 1.5m-2.0m, 전장이 3.5m-5.0m임을 감안하여 폭을 1.8m, 전장을 4.0m로 가정하였다. 프로브 차량을 기준으로 객체의 중심점이 프로브 차량보다 앞에 있을 경우 Ahead 등으로 구분하여, 총 8가지의 위치로 제시하였다. 예를 들어 해당 객체의 무게중심의 좌표가(-5, 3, 1)일 경우, Figure 7에 따라 Ahead-Right로 판단할 수 있다.

또한, 운동학적 속성과 더불어 교통사고와 차종의 상관관계를 고려하여(Bumrungsup and Kanitpong, 2022), 군집화된 각 객체의 형태를 식별하여 차종을 추가적으로 확인하였다(Figure 8). 활용하는 데이터에서 확인된 차량의 형태로는 승용차(Figure 7-Left), 버스(Figure 7-Mid), 화물차(Figure 7-Right)가 존재한다.

https://cdn.apub.kr/journalsite/sites/kst/2023-041-03/N0210410307/images/kst_2023_413_353_F7.jpg

Figure 7.

The Position of Neighboring Object

https://cdn.apub.kr/journalsite/sites/kst/2023-041-03/N0210410307/images/kst_2023_413_353_F8.jpg

Figure 8.

The Vehicle Type of Neighboring Object

추출한 운동학적 속성을 종합하여 인공지능 학습을 위한 입력 데이터는 Table 4와 같다. 범주형 데이터의 경우 one-hot 인코딩을 진행하였으며, 실제 속도 계산을 위해 생성한 상대 속도의 실제 값을 입력 데이터로 사용하는 것이 아닌 상대 속도의 절댓값과 부호로 구분하여 입력 데이터로 활용하였다. 또한 주행 상황에서 대부분 사고유발차량 뿐만 아닌 다른 객체들이 다양하게 존재하므로 앞서 산정한 범위 내 객체를 모두 확인하였으며, 데이터 수집 시 해당 상황 및 사고유발차량을 표기해 놓은 상황설명서를 기반으로 일반차량과 사고유발차량을 라벨링하여 학습을 진행하였다.

Table 4.

The Input Dataset of Preprocessed Kinetic 3D-LiDAR PCD Set for Learning and Sample

Class	Variable	Type	Detail
Input Layer	Absolute Value of Relative Velocity	Float	Unit : km/h
	Sign of Relative Velocity	Category	0 : Positive		1: Negative
	Real Distance	Float	Unit : m
	TTC	Float	s
	Real Velocity	Float	Unit : km/h
	Acceleration	Float	Unit : m/ $s^{2}$
	Location	Category	0: Ahead-Left 1: Ahead-Center 2: Ahead-Right 3: Side-Left		4 : Side-Center 5: Side-Right 6: Behind-Left 7: Behind-Center 8: Behind-Right:
	Car Type	Category	0 : Passesnger Car	1 : Bus		2 : Truck
Output Layer	Triggered Vehicle	Category	0 : Normal Vehicle		1 : Triggered Vehicle

3. 사고 유발 물체 검출 및 변수 중요도 추출 모델

본 연구에서는 운동학적 요소를 학습시켜 사고유발차량을 추출하고, 운동학적 요소 중 큰 영향력을 가진 요소를 추출하여 시나리오를 수립하고자 DNN(Deep Neural Network) 모델과 RF(Random Forest) 모델을 활용하였다. DNN 모델은 여러 개의 은닉층(Hidden layer)을 포함한 인공신경망(Artificial Neural Network, ANN) 구조를 가진 알고리즘이다. 기본적인 구조는 입력층(Input layer), 은닉층, 출력층(Output layer)으로 이루어져 있으며, 각 층은 여러 개의 뉴런(Neuron)으로 구성된다. 입력층은 입력 데이터를 받아들이고, 출력층은 최종 예측값을 출력하며, 은닉층은 입력 데이터에서 복잡한 특징(feature)을 추출하고, 이를 토대로 최종 예측값을 결정한다. DNN 모델은 기본적인 요소들을 계층적으로 구성하고, 상위 층에서는 하위 층들의 특성들을 수렴시킴으로써 복잡한 비선형 관계들을 모델링할 수 있다. 또한 입력 변수들 간의 비선형적인 결합은 연속형 또는 범주형 변수에 관계없이 쉽게 분석할 수 있으며, 자동 특징 추출 기능을 통해 변수 선택에 대한 고려사항을 최소화할 수 있다(Kang et al., 2020).

RF 모델은 의사결정나무(Decision Tree)를 여러개 모아 결합한 앙상블(Ensemble) 학습 모델이다(Breiman, 2001). 랜덤 포레스트는 각 의사결정나무 모델이 학습 데이터의 일부를 무작위로 선택하여, 서로 다른 하위 데이터셋(subset)을 이용해 학습한다. 이는 각각의 의사결정나무들이 서로 다른 특징(feature)들을 고려하여 모델링을 수행하게 되므로, 전체 모델의 예측 성능이 향상될 수 있다. RF 모델은 모델의 예측 결과를 결합하여 최종 예측값을 도출하며, 이 때, 각 의사결정나무의 예측값에 가중치를 부여하거나 다수결 방식으로 예측값을 결정할 수 있다. RF 모델은 다양한 종류의 데이터에 대해서 높은 성능을 보이며, 모델 학습 시간도 짧아서 대용량 데이터에도 적합한 장점이 존재한다. 또한, 변수의 중요도를 계산하여 모델 학습에 사용된 변수들의 영향력을 파악할 수 있으며, Mean Decrease Impurity(MDI), Mean Decrease Accuracy, Permutation Importance 등의 변수 중요도 방식이 존재한다. 그 중 Permutation Importance 기법은 각 변수를 무작위로 섞어서 모델을 재학습하고, 이를 토대로 나머지 데이터셋을 예측하는 방식이다. 이는 각 변수가 모델의 성능 개선에 얼마나 기여하는지를 측정할 수 있으며, 변수가 해당 모델에 어느 정도의 영향을 미치는지 확인할 수 있다.

본 연구에서는 추출한 주변 객체들의 운동학적 속성을 활용하여 DNN 모델학습 및 RF 모델학습을 통해 사고유발차량을 검출하고, 사고유발차량 검출에 중요하게 활용되는 변수의 중요도를 파악하여 자율주행차 안전성 평가 시나리오를 제시하고자 한다. 특히, 단순 functional 시나리오를 제시하는 것을 넘어 거리, 속도, 가속도를 파악하여 logical 시나리오를 제시하고자 한다.

분석 결과

본 연구에서 활용한 DNN 모델은 역전파 알고리즘(Rumelhart et al., 1986)과 SGD(Stochastic Gradient Descent)를 기반으로 사고 유발 차량 모델을 학습시켰다. 학습 및 테스트 데이터의 비율은 8:2로 설정하였으며, Sigmoid 함수(Bridle,1990)를 사용할 때 기울기 소실을 방지하기 위해 ReLU(Rectified Linear Unit) 함수(Nair and Hinton, 2010)를 사용하였다. 안정적인 학습을 위해 배치 크기는 64로 설정하였으며 과적합을 최소화하기 위해, 검증 데이터의 정확도가 100 epoch 이내에 수렴하는 지점에서 Early stopping을 설정하였다. 또한, DNN 모델은 사용 데이터, 은닉 층의 수, 은닉 층 유닛 개수에 따라 상이하기 때문에 본 연구에서는 최적의 모델을 선정하고자 다양하게 변형하여 학습을 진행하였다.

DNN 모델 및 RF 모델의 평가를 위해 4가지 지표를 사용하였으며, 이를 기반으로 혼동행렬을 제시하고 테스트 데이터 샘플을 확인하였다; Accuracy(Equation 9), (2) Precision(Equation 10), Recall(Equation 11), f1-score(Equation 12). True Positive(TP)은 모델이 positive 클래스를 정확하게 예측한 결과이며, True Negative(TN)은 모델이 negative 클래스를 정확하게 예측한 결과이다. False Positive(FP)은 모델이 positive 클래스를 잘못 예측한 결과이며, False Negative(FN)은 모델이 negative 클래스를 잘못 예측한 결과이다.

(10)

A c c u r a c y = \frac{T P + T N}{T P + T N + F P + F N}

(11)

P r e c i s i o n = \frac{T P}{T P + F P}

(12)

R e c a l l = \frac{T P}{T P + F N}

(13)

F 1 - s c o r e = \frac{2 \times P r e i s i o n + R e c a l l}{P r e i s i o n + R e c a l l}

1. 심층 인공 신경망 학습 및 결과

실험적으로 은닉층 및 해당 unit 수를(128, 64, 32)로 설정했을 때 가장 높은 예측 성능을 확인하였으며, 다른 은닉층 및 유닛 설정은 93-95%의 정확도가 확인되었다. Kang et al.(2020)은 DNN을 사용하여 교통 사고 가해자와 피해자의 심각도를 예측하고 최대 85%의 정확도를 도출하였다. Yu et al.(2020)은 CNN-LSTM을 사용하여 고위험, 비충돌 상황을 예측하고 78%의 Recall을 보였으며, Yuan et al.(2020)은 ANN을 사용하여 사고 시나리오를 예측하고 해당 시나리오 발생 확률을 82.4%의 정확도로 예측했다. 본 연구와 같이 사고 유발 차량을 분류/예측하는 연구는 확인되지 않았으나 유사한 사고 상황에서 분류 연구 결과, 운동학적 3D-LiDAR PCD를 사용할 경우 보다 정확한 예측이 가능함을 확인할 수 있다.

가장 높은 정확도를 나타낸 모델의 혼동 행렬 확인 결과(Table 5), 사고 유발 차량은 81.4%의 정확도로 분류될 수 있으며 사고와 무관한 차량은 98.5%의 정확도로 분류될 수 있음을 확인하였다. 또한, 사고유발차량이 아닌 것으로 오인한 FN이 사고유발차량으로 오인한 FP보다 많은 것으로 나타나 이를 추가적으로 분석하기 위해 정상적인 분류 상황(TP와 TN)과 비정상적인 분류 상황(FP와 FN)에 해당하는 데이터를 검토하였다.

Table 5.

The Result of Highest Model (128, 64, 32) and Confusion Matrix

Metric	Highest Model Result (128, 64, 32) (%)
Precision	90.60
Recall	81.41
F1-score	85.76
Accuracy	96.13

정상적으로 사고유발차량을 분류한 상황은 Figure 9과 같다. 프로브 차량이 두 번째 차선을 주행하던 중, 트럭이 첫 번째 차선에서 갑자기 차선 변경을 시도하는 상황이다. 233번째 프레임에서 프로브 차량은 48km/h의 평균 속도로 정상 주행하며, 세 번째 차선에서 주행 중인 인접 차량(normal vehicle)을 주시하고 있다. 254번째 프레임에서, 프로브 차량은 갑자기 차선 변경을 시도하는 사고 유발 차량(트럭)을 인식하였다. 트럭은 45km/h의 도로 평균 속도 상황에서 11km/h 속도로 주행하고 있으며 이에 따라 TTC가 1.0초인 상황을 유발시켰다. 260번째 프레임에서 TTC는 0.47초로 급감하였으며 이에 대응하기 위해 프로브 차량은 세 번째 차선으로 급변경을 시도하였다. 그러나, 일반적인 주행 상황에서 세 번째 차선에서 인접 차량이 주행하고 있어 프로브 차량은 2차선에 급정지하였다. 이 때, 인접 차량도 속도가 48km/h에서 39.6km/h로 감소하였으며 TTC는 2.7에서 0.7로 급감하여 사고를 유발할 수 있는 취약 상황이었다. 결과적으로 갑작스럽게 차선을 변경하는 트럭이 사고로 이어질 수 있는 상황을 유발하는 사고 유발 차량으로 분류되었다. 사고 유발 차량의 움직임으로 인해 프로브 차량과 인접 차량의 속도, TTC, 위치 등이 급격하게 변화되는 것을 확인할 수 있다.

https://cdn.apub.kr/journalsite/sites/kst/2023-041-03/N0210410307/images/kst_2023_413_353_F9.jpg

Figure 9.

The Examples of Prediction

FP로 분류된 상황은 프로브차량이 정상 주행 상황(273번째 프레임)에서 좌측 인접 차량을 주시하며 45km/h의 속도로 주행하고 있다. 300번째 프레임에서 프로브 차량이 사고 유발 차량을 인식하였으며 프로브 차량 주행 차선으로 변경하였다. 303번째 프레임에서 사고 유발 차량의 속도가 65km/h에서 25km/h로 급감하였으나 TTC는 1.1에서 2.0으로 증가하고 위치는 Ahead-left에서 Ahead-center로 변경되었다. 이처럼 속도가 급격히 감소하고 TTC가 증가하면서 빠르게 위치 변경을 완료한 경우, 모델은 취약한 상황에서 사고 유발 차량을 일반 차량을 혼동한 것으로 나타났다.

FN로 분류된 상황은 233번째 프레임에서 첫 번째 사고 유발 차량(1st)이 우측 인접 차량으로 인식되었고, 2.7km/h 및 TTC 2.8 상황에서 차선 변경을 시도하고 있었다. 277번째 프레임에서 인접 차량은 11km/h 및 TTC 1.6초 상황에서 차선을 변경하는 것이 확인되었으며, 모델은 이를 두 번째 사고 유발차량으로 판단하였다. 296번째 프레임에서 첫 번 째 사고 유발차량의 위치가 Right에서 Ahead-center로 이동하였으며, 해당 상황은 301번째 프레임에서 7.5km/h 및 TTC 2.5초에서 종료되었다. 이는 빠른 속도와 낮은 TTC를 가진 주변 인접차량 또한 추가적인 사고유발 차량으로 인식될 수 있음을 의미하며, 이는 인간이 고려하지 못한 객체를 AI의 활용을 통해 확인할 수 있음을 의미한다.

2. 랜덤 포레스트 학습 및 결과

RF 모델을 사용하여 사고 유발 차량 검출을 수행한 결과, 전반적인 측정치 DNN 모델과 유사한 것으로 나타났다. 전체적인 지표에서 약 1-2%정도 차이가 존재하나 84%의 F1-score 및 95%의 정확도가 확인되었다(Table 6). 유사한 사고 상황 분류 연구 결과, Gao et al.(2018)은 운동학적 변수를 사용하여 RF 모델의 사고 위험 상황을 분류하였으며 76%의 Recall 값을 보였다. Gao의 경우 단순 속도, 가속도에 집중한 입력 데이터를 활용하여 그 외 변수를 고려하지 않은 차이로 본 연구에서의 결과값이 5% 정도 높은 것으로 나타났다. 본 연구와 같이 사고 유발차량을 분류/예측하는 연구는 확인되지 않았으나, 유사한 사고 상황 분류 연구와 같이 운동학적 속성 중 속도와 가속도 뿐만 아니라 거리, 상대 속도, TTC 등 그 외 운동학적 속성이 결과에 영향을 미치는 요인일 수 있음을 의미하며, 해당 데이터에서 DNN 성능 대비 RF 모델 성능이 떨어지지 않음을 확인하였다.

Table 6.

The Accuracy of Random Forest Model

Metric	Result (%)
Precision	91.19
Recall	78.37
F1-score	84.12
Accuracy	95.24

https://cdn.apub.kr/journalsite/sites/kst/2023-041-03/N0210410307/images/kst_2023_413_353_F10.jpg

Figure 10.

Feature Importance

추가적으로 RF 모델 결과를 통해 가장 영향력 있는 요소를 Feature Impotrance 기법(이하 FI)을 활용하여 추출하였다(Figure 10). 사고 유발 차량을 분류하는 것에 가장 중요한 요소는 Location(차량 위치), Real Distance(실제 거리), Real/Relative Velocity(실제, 상대 속도), TTC로 확인되었다. 특히, 사고 유발 차량의 상대적 위치 요소 중요도가 30%에 근접하였다. 이는 주변 차량의 주행 행동을 예측할 때 활용되는 기준으로 작용하며, 이를 통해 차량의 행태 및 경로를 예측할 수 있기 때문으로 판단된다(Mozaffari et al., 2020; Hubmann et al., 2017). 차량 간의 상호작용이 발생하는 범위는 주변 차량의 위치에 따라 변화하며, 차량 간의 거리, 속도 등이 이어지는 매개변수로 나타난다. 이는 주변 차량의 주행 행태에 따라 실시간으로 변화하는 지표이기 때문에 안전성 평가에 필수적으로 제시될 필요가 있다.

자율주행차 도심부 시나리오 생성 및 토의

1. Logical 시나리오 생성

DNN 및 RF 모델 결과에서 확인된 TP 샘플 및 FI 결과를 토대로 logical 시나리오를 생성하였으며, 다음과 같은 과정을 따른다.

1. 사고유발차량으로 잘 분류된 TP 및 TN 차량이 존재하는 사고취약상황을 선정한다.

2. FI 결과를 확인하고 해당 속성값 logical 시나리오 요소로 활용한다.

3. 실제 데이터에서 선정된 시나리오 요소를 추출하여 시나리오를 작성한다.

본 연구에서는 차량 간 상호작용이 가장 활발하게 발생하고 사고로 이어질 수 있는 cut-in 상황을 선정하였으며, 이는 앞서 확인한 TP/TN 샘플로 이를 통해 logical 시나리오를 생성하였다. FI 확인 결과, 위치, 거리, 속도, TTC가 가장 중요한 요소로 확인되었으며 이를 logical 시나리오에 필수적으로 포함하였다. Logical 시나리오는 PEGASUS 프로젝트에서 제시한 바와 같이 여섯 개의 레이어로 구성되어 있으며, 특히 레이어 4인 시나리오 참여자 데이터에는 목표 차량, 대상차량(사고유발차량), 인접차량이 핵심 요소로 위치해있다. 이는 차량 유형, 초기 주행 차선 위치 및 취약 상황에서의 움직임, 속도 등과 같은 세부정보를 지정해주어야 하며, 해당 요소의 범위값을 표시해야 한다(Ko et al., 2022).

시나리오 해당 상황 및 범위 값에 대한 추출은 다음과 같다 : 자율주행차가 2차선을 주행 중일 때, 1차선으로 갑자기 사고 유발 차량(트럭)이 cut-in을 시도하였다. 갑작스러운 cut-in에 대응하기 위해 자율주행차는 3차선으로 방향을 전환하고 차선을 변경하려 했으나, 3차선에서 지나가는 근접 차량으로 인해 급정지하였다. 자율주행차는 40km/h로 주행하고 있었으며 트럭이 갑자기 cut-in을 시도하는 것을 인식하고 속도를 16km/h로 낮추었다. 이때 트럭은 5-11km/h 속도로 주행하고 있었으며, 자율주행차와의 거리는 최대 9m, 최소 5m였다. 자율주행차 순간적인 차선변경 상황에서의 주변 차량은 45km/h의 평균 속도로 주행하다 38km/h로 속도를 줄여 지나갔으며, 자율주행차는 그 자리에 정지하였다. 해당 상황의 자율주행차 안전성 평가를 위한 logical 시나리오는 Figure 11과 같이 제시할 수 있다.

https://cdn.apub.kr/journalsite/sites/kst/2023-041-03/N0210410307/images/kst_2023_413_353_F11.jpg

Figure 11.

The Logical Scenario for AV Safety Assessment Sample; The RED is the range of values we set for Assessment

2. 토의

자율주행차 도입을 위해 안전성 평가 시나리오 연구와 프로젝트가 진행되고 있다. 기존 시나리오 연구는 사고 후 데이터를 기반으로 전문가들이 개입하여 빠르게 카탈로그를 확보할 수 있으나 대표성이 부족하며, 예측할 수 없는 무수한 시나리오를 몇 명의 전문가로 보완하기 어렵다는 한계가 존재하였다(Kang et al., 2022c; Erdogan et al., 2019). 이에 따라, AI 기술을 도입하여 실제 운전 데이터를 기반으로 대표성을 확보하고 무수한 시나리오를 생성하기 위한 연구가 이어지고 있다(Jenkins et al., 2018). 이러한 추세를 따라, 본 연구에서는 AI 기법을 활용하여 실주행 3D-LiDAR PCD를 확보하고, 운동학적 변수를 추출하여 logical 시나리오를 제시하여 실질적인 값을 제시하였다. 그러나 AI의 도입으로 특정 영역을 설명할 수 없는 블랙박스 문제가 발생하는 등 설명 가능성에 대한 결점이 여전히 존재하며, 이는 신뢰성과 이어질 수 있어 필수적으로 보완이 요구된다. 이에 따라, XAI(eXplainable Artificial Intelligence)를 활용하여 설명력을 보완할 수 있는 시나리오 작성 방안을 고려해야 할 필요가 있으므로 사항이 충족되어야 한다.

1. 실제 주행 데이터(3D-LiDAR PCD)를 활용하여 신뢰성과 구체성 확보

2. AI 도입을 통한 무수한 시나리오 생성

3. XAI 도입을 통한 설명 가능성 확보

본 연구에서는 이러한 요구사항을 충족시키기 위해 두 조건을 고려하였으나, 설명 가능성을 확보하지 못해 추가적인 방법론을 고려하였다. 추가 연구에서는 사용한 학습 모델 및 데이터에 대한 설명력을 확보하기 위해 XAI 연구에서 활발하게 사용되는 LIME(Local Interpretable Model-agnostic Explanations, Ribeiro et al., 2016) 및 SHAP(Shapley Additive exPlanations, Lundberg and Lee, 2017) 알고리즘 등을 도입할 필요가 있다. XAI를 도입할 경우, 본 연구에서 활용한 FI 방법을 넘어 데이터 속성이 미치는 음/양의 영향(Negative and positive impact)을 확인할 수 있으며 데이터 속성 간의 상관관계를 보다 자세하게 설명할 수 있어 기존 인공지능 연구에서 결여된 시나리오의 설명가능성을 보장할 수 있을 것으로 기대된다.

결론 및 향후 연구

본 연구는 사고 취약 상황을 유발하는 차량을 분류하고 자율주행차 안전성 평가를 위한 logical 시나리오를 제시하였다. 3D-LiDAR PCD를 활용하여 단순 프로브 차량의 속성만을 추출하지 않고, 주변 차량의 운동학적 속성을 추출하여 활용하였다. 운동학적 속성을 입력 데이터로 활용하여 DNN 및 RF 모델에 적용하였으며, 학습 결과를 토대로 logical 시나리오의 중요 변수를 제시하고 이에 대한 실질적인 범위 값을 제시하였다.

이에 따라 본 논문의 주요 기여점은 다음과 같다. 첫째, 3D-LiDAR PCD 및 운동학적 데이터 추출의 중요성을 파악하였다. 기존 사고 관련 연구에서는 주변 환경에서 중요한 요인을 추출하고 결과를 제시하였으나, 교통사고는 차량 간 상호작용의 부정적인 결과이기 때문에 차량 자체를 고려하는 것이 필수적이다. 이에 따라 자차뿐만 아니라 주변 차량의 속성도 추가적으로 활용할 수 있어야 한다. 따라서, LiDAR의 개별적인 점에 초점을 맞추어 운동학적 속성을 추출하는 것이 중요하다. 둘째, 실제 주행 데이터에 기반한 logical 시나리오를 제시하였다. 시나리오란 고차원적이며 명확한 평가를 요하는 상황을 전달하기 위한 것으로, 추상도가 높은 functional 시나리오는 구체적이지 않기 때문에 실질적인 안전성 평가에 중요한 역할을 하지 않는다. 이에 따라 자율주행차 상용화를 위해서는 신뢰성과 구체적인 요소 값이 포함된 logical 시나리오로 필수적으로 제시해야한다. 이전 AI 기반 시나리오 연구 대부분은 단순히 functional 시나리오만 제시하거나, 시나리오 제시를 위한 간단한 프레임워크만을 제시한 경우가 대부분이다. 따라서 본 연구는 실주행 데이터와 AI를 활용하여 실제값을 제시한 logical 시나리오를 제시한 것에 의의가 있다.

반면, 본 연구에서 고려하지 못한 것은 활용한 실주행 데이터 자체가 자율주행차 센서를 탑재한 ‘일반차량’ 데이터라는 것이다. 현재 자율주행차 실운행 데이터의 접근성은 매우 제한되어 있어 캘리포니아 차량관리국(CA DMV)에서 제공되는 자율주행차 사고 보고서에 한정된다. 이를 활용한 연구가 다양하게 진행되고는 있으나, 현재 데이터의 개수가 충분하지 못한 한계가 존재하여 본 연구에서는 해당 데이터를 사용하지 않았다. 향후 자율주행차 운행 데이터를 확보하여 본 연구의 흐름과 동일하게 진행하여 본 연구 결과와 비교할 수 있을 것으로 판단된다. 더불어 토의에서 제시한 바와 같이, 자율주행차의 신뢰성 향상 및 수용성 증진을 위해서는 시나리오를 통한 안전성 확보가 필수적으로 요구되지만, 시나리오 그 자체의 신뢰성 이슈가 존재할 수 있으므로 이를 자세하게 설명할 수 있는 설명가능한 인공지능을 추가적으로 도입할 필요가 있다. 향후 연구에서는 SHAP 방법론을 도입하여 logical 시나리오를 넘어 구체적인 변수값을 지정할 수 있는 concrete 시나리오를 제시하고자 할 수 있을 것으로 기대된다.

본 연구에 기반하여 향후 연구로 logical 시나리오 생성 연구들의 방법론 및 프레임워크를 비교분석할 수 있으며, 앞서 제시한 XAI 기법을 활용하여 보다 설명력 높은 시나리오를 생성하는 연구를 수행할 수 있다. 더 나아가, logical 시나리오를 넘어 특정값을 지정해야하는 concrete 시나리오를 선별하기 위해 TTC 등 KPI(Key Performence Indicator)를 설정하는 surrogate measure를 선정하는 연구를 추가적으로 수행할 수 있을 것으로 기대된다.

Funding

This work was supported by the Korea Agency for Infrastructure Technology Advancement (KAIA) grant funded by the Ministry of Land, Infrastructure and Transport (Grant 22AMDP-C161754-02).

알림

본 연구는 2022 한국 ITS학회 2022년도 추계학술대회에서 발표한 내용을 수정·보완하였습니다.

References

Alambeigi H., McDonald A. D., Tankasala S. R. (2020), Crash Themes in Automated Vehicles: A Topic Modeling Analysis of the California Department of Motor Vehicles Automated Vehicle Crash Database, arXiv Preprint arXiv:2001, 11087.

Ali G., McLaughlin S., Ahmadian M. (2021), Quantifying the Effect of Roadway, Driver, Vehicle, and Location Characteristics on the Frequency of Longitudinal and Lateral Accelerations, Accident Analysis & Prevention, 161, 106356. 10.1016/j.aap.2021.10635634455341

Amirgholy M., Shahabi M., Oliver Gao H. (2020), Traffic Automation and Lane Management for Communicant, Autonomous, and Human-driven Vehicles, Transport. Res. Part C Emerg. Technol., 111, 477-495. 10.1016/j.trc.2019.12.009

Bauernschuster S., Rekers R. (2022), Speed Limit Enforcement and Road Safety, Journal of Public Economics, 210, 104663. 10.1016/j.jpubeco.2022.104663

Breiman L. (2001) Random Forests, Machine Learning, 45(1), 5-32. 10.1023/A:1010933404324

Bridle J.S. (1990), Training Stochastic Model Recognition Algorithms as Networks Can Lead to Maximum Mutual Information Estimation of Parameters, In Advances in Neural Information Processing Systems 2; Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 211-217.

Bumrungsup L., Kanitpong K. (2022), Analysis of Rear-end Crash Potential and Driver Contributing Factors Based on Car-following Driving Simulation, Traffic Injury Prevention, 1-6. 10.1080/15389588.2022.206233435522546

Chen H., Zhao Y., Ma X. (2020), Critical Factors Analysis of Severe Traffic Accidents Based on Bayesian Network in China, Journal of Advanced Transportation. 10.1155/2020/8878265

Choi J. D., Kim M. Y. (2021), A Sensor Fusion System with Thermal Infrared Camera and LiDAR for Autonomous Vehicles: Its Calibration and Application, In 2021 Twelfth International Conference on Ubiquitous and Future Networks (ICUFN), 361-365, IEEE. 10.1109/ICUFN49451.2021.9528609

Choi J. G., Kong C. W., Kim G., Lim S. (2021), Car Crash Detection Using Ensemble Deep Learning and Multimodal Data from Dashboard Cameras, Expert Systems with Applications, 183, 115400. 10.1016/j.eswa.2021.115400

Eboli L., Forciniti C., Mazzulla G. (2020), Factors Influencing Accident Severity: An Analysis by Road Accident Type, Transportation Research Procedia, 47, 449-456. 10.1016/j.trpro.2020.03.120

Eboli L., Mazzulla G., Pungillo G. (2016), Combining Speed and Acceleration to Define Car Users’ Safe or Unsafe Driving Behaviour, Transportation Research Part C: Emerging Technologies, 68, 113-125. 10.1016/j.trc.2016.04.002

Erdogan A., Ugranli B., Adali E., Sentas A., Mungan E., Kaplan E., Leitner A. (2019), Real-world Maneuver Extraction for Autonomous Vehicle Validation: A Comparative Study, In 2019 IEEE Intelligent Vehicles Symposium (IV), 267-272, IEEE. 10.1109/IVS.2019.8814254

Eshetu B. (2019), Analysis of the Regulation of Key Risk Factors to Road Traffic Accident in Ethiopia and Challenges for Enforcement, Bahir Dar UJL, 10, 201.

Ester M., Kriegel H. P., Sander J., Xu X. (1996), A Density-based Algorithm for Discovering Clusters in Large Spatial Databases with Noise, In kdd, 96(34), 226-231.

Favarò F. M., Nader N., Eurich S. O., Tripp M., Varadaraju N. (2017), Examining Accident Reports Involving Autonomous Vehicles in California, PLoS one, 12(9), e0184952. 10.1371/journal.pone.018495228931022PMC5607180

Gao Z., Liu Y., Zheng J. Y., Yu R., Wang X., Sun P. (2018), Predicting Hazardous Driving Events Using Multi-modal Deep Learning Based on Video Motion Profile and Kinematics Data, In 2018 21st International Conference on Intelligent Transportation Systems (ITSC), 3352-3357, IEEE. 10.1109/ITSC.2018.8569659

Goodall N. J. (2014), Ethical Decision Making During Automated Vehicle Crashes, Transportation Research Record, 2424(1), 58-65. 10.3141/2424-07

Gota D. I., Fanca A., Puscasiu A., Valean H., Miclea L. (2019), Driving Evaluation Based on Acceleration, Speed and Road Signs, In 2019 23rd International Conference on System Theory, Control and Computing (ICSTCC), 554-559, IEEE. 10.1109/ICSTCC.2019.8885678

Harith S. H., Mahmud N., Doulatabadi M. (2019), Environmental Factor and Road Accident: A Review Paper, In Proceedings of the International Conference on Industrial Engineering and Operations Management, 3409-3418.

Hsu H. H., Huang N. F., Han C. H. (2020), Collision Analysis to Motor Dashcam Videos with Yolo and Mask R-cnn for Auto Insurance, In 2020 International Conference on Intelligent Engineering and Management (ICIEM), 311-315, IEEE. 10.1109/ICIEM48762.2020.916026331125166

http://www.kncap.org/

http://www.ncap-cn.com/

https://www.euroncap.com/en

Hubmann C., Becker M., Althoff D., Lenz D., Stiller C. (2017), Decision Making for Autonomous Driving Considering Interaction and Uncertain Prediction of Surrounding Vehicles, In 2017 IEEE Intelligent Vehicles Symposium (IV), 1671-1678, IEEE. 10.1109/IVS.2017.7995949

Hussain S., Faizan M., Hayee M. I. (2018), Real-time Relative Lane and Position Identification of Surrounding Vehicles Using GPS and DSRC Based Vehicle-to-vehicle Communication, In 2018 IEEE International Conference on Communications (ICC), 1-7, IEEE. 10.1109/ICC.2018.8422980

Ilić V., Kukolj D., Marijan M., Teslić N. (2019), Predicting Positions and Velocities of Surrounding Vehicles Using Deep Neural Networks, In 2019 Zooming Innovation in Consumer Technologies Conference (ZINC), 126-129, IEEE. 10.1109/ZINC.2019.8769429

Jenkins I. R., Gee L. O., Knauss A., Yin H., Schroeder J. (2018), Accident Scenario Generation with Recurrent Neural Networks, In 2018 21st International Conference on Intelligent Transportation Systems (ITSC), 3340-3345, IEEE. 10.1109/ITSC.2018.8569661

John S. N., Noma-Osaghae E., Okokpujie K., Okereke C., Ananaba J., Omoruyi O. (2019), Vehicle Collision Avoidance System Using Localization Algorithm and Predictive Analysis, In 2019 International Conference on Computational Science and Computational Intelligence (CSCI), 744-749, IEEE.

Kang M., Lee W., Hwang K., Yoon Y. (2022a), Vision Transformer for Detecting Critical Situations and Extracting Functional Scenario for Automated Vehicle Safety Assessment, Sustainability, 14(15), 9680. 10.3390/su14159680

Kang M., Im I. J., Song J., Hwang K. (2022b), Is Only the Dedicated Lane for Automated Vehicles Essential in the Future? The Dedicated Lanes Optimal Operating System Evaluation, Sustainability, 14(18), 11490. 10.3390/su141811490

Kang M., Song J., Hwang K. (2022c), The Extraction of Automated Vehicles Traffic Accident Factors and Scenarios Using Real-World Data, In Congress on Intelligent Systems; Springer: Singapore, 1-15. 10.1007/978-981-16-9416-5_1

Kang M., Song J., Hwang K. (2020), For Preventative Automated Driving System (PADS): Traffic Accident Context Analysis Based on Deep Neural Networks, Electronics, 9, 1829. 10.3390/electronics9111829

Kang M.H., Lm I.J., Song J.I., Hwang K.Y. (2019), Analyzing Traffic Impacts of Auto-mated Vehicles on Expressway Weaving Sections, J. Transp. Res., 26, 33-47.

Khattak Z.H., Smith B.L., Park H., Fontaine M.D. (2020), Cooperative Lane Control Application for Fully Connected and Automated Vehicles at Multilane Freeways, Transp. Res. Part C Emerg. Technol., 111, 294-317. 10.1016/j.trc.2019.11.007

Kiefer R. J., Flannagan C. A., Jerome C. J. (2006), Time-to-collision Judgments under Realistic Driving Conditions, Human Factors, 48(2), 334-345. 10.1518/00187200677772449916884053

Ko W., Park S., Yun J., Park,S., Yun I. (2022), Development of a Framework for Generating Driving Safety Assessment Scenarios for Automated Vehicles, Sensors, 22(16), 6031. 10.3390/s2216603136015798PMC9412556

Lee G. H., Choi J. D., Lee J. H., Kim M. Y. (2020), Object Detection Using Vision and Lidar Sensor Fusion for Multi-channel V2X System, In 2020 International Conference on Artificial Intelligence in Information and Communication (ICAIIC), 1-5, IEEE. 10.1109/ICAIIC48513.2020.9065243

Lee H.S, Ahn B.J (2006), A Factor Analysis of Traffic Accidents Through Traffic Safety Diagnosis Results - Driver Factor, The Korean Society of Safety, 21(2), 128-137

Lee K., Jeon S., Kim H., Kum D. (2019), Optimal Path Tracking Control of Autonomous Vehicle: Adaptive Full-state Linear Quadratic Gaussian (LQG) Control, IEEE, 7, 109120-109133. 10.1109/ACCESS.2019.2933895

Lee S.H., Lee J.B (2017), An Analysis on Vehicle Accident Factors of Intersections Using Random Effects Tobit Regression Model, he Journal of The Korea Institute of Intelligent Transportation Systems, 16(1), 26-37. 10.12815/kits.2017.16.1.26

Lee W., Kang M. H., Song J., Hwang K. (2021), The Design of Preventive Automated Driving Systems Based on Convolutional Neural Network, Electronics, 10(14), 1737. 10.3390/electronics10141737

Liu H., Kan X.D., Shladover S.E., Lu X.Y., Ferlis R.E. (2018), Modeling Impacts of Co-operative Adaptive Cruise Control on Mixed Traffic Flow in Multi-lane Freeway Facilities, Transport. Res. Part C Emerg. Technol., 95, 261-279. 10.1016/j.trc.2018.07.027

Lundberg S. M., Lee S. I. (2017), A Unified Approach to Interpreting Model Predictions, Advances in Neural Information Processing Systems, 30.

Mozaffari S., Al-Jarrah O. Y., Dianati M., Jennings P., Mouzakitis A. (2020), Deep Learning-based Vehicle Behavior Prediction for Autonomous Driving Applications: A Review, IEEE Transactions on Intelligent Transportation Systems, 23(1), 33-47. 10.1109/TITS.2020.3012034

Nair V., Hinton G.E. (2010), Rectified Linear Units Improve Restricted Boltzmann Machines, In Proceedings of the 27th International Conference on Machine Learning (ICML-10), Haifa, Israel, 21-24, 807-814.

Pang S., Morris D., Radha H. (2022), Fast-CLOCs: Fast Camera-LiDAR Object Candidates Fusion for 3D Object Detection, In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 187-196. 10.1109/WACV51458.2022.00380

Park K.S., Kim T.Y., Yoo D.S. (2007), Correlation Analysis and Estimation Modeling Between Road Environmental Factors and Traffic Accidents, J. Korean Soc. Transp., 25(2), Korean Society of Transportation, 63-72.

PEGASUS Project Consortium (2019), PEGASUS Method: An Overview, Available: https://www.pegasusprojekt.de /files/tmpl/Pegasus Abschlussveranstaltung/PEGASUSGesamtmethode.pdf

Ponnaganti V., Moh M., Moh T. S. (2021), Utilizing CNNs for Object Detection with LiDAR Data for Autonomous Driving, In 2021 15th International Conference on Ubiquitous Information Management and Communication (IMCOM), 1-6, IEEE. 10.1109/IMCOM51814.2021.9377361

Rahman Z., Ami A. M., Ullah M. A. (2020), A Real-time Wrong-way Vehicle Detection Based on YOLO and Centroid Tracking, In 2020 IEEE Region 10 Symposium (TENSYMP), 916-920, IEEE. 10.1109/TENSYMP50017.2020.9230463PMC8271187

Ribeiro M. T., Singh S., Guestrin C. (2016), “Why Should I Trust You?” Explaining the Predictions of Any Classifier, In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 1135-1144. 10.1145/2939672.2939778

Riedmaier S., Ponn T., Ludwig D., Schick B., Diermeyer F. (2020), Survey on Scenario-based Safety Assessment of Automated Vehicles, IEEE, 8, 87456-87477. 10.1109/ACCESS.2020.2993730

Rumelhart D.E., Hinton G.E., Williams R.J. (1986), Learning Representations by Back-propagating Errors, Nature, 323, 533. 10.1038/323533a0

Sakic N., Krunic M., Stevic S., Dragojevic M. (2020), Camera-LIDAR Object Detection and Distance Estimation with Application in Collision Avoidance System, In 2020 IEEE 10th International Conference on Consumer Electronics (ICCE-Berlin), 1-6, IEEE. 10.1109/ICCE-Berlin50680.2020.9352201

Singh S. (2015), Critical Reasons for Crashes Investigated in the National Motor Vehicle Crash Causation Survey (No.DOT HS 812 115), US Department of Transportation: Washington, DC, USA.

Son S. N., Lee J. Y., Jang K. H. (2021), Development of Demonstration Scenarios for Autonomous Cooperative Driving on Urban Roads, Transportation Technology and Policy, 18(5), Korean Society of Transportation, 61-68.

Song Y., Chitturi M. V., Noyce D. A. (2021), Automated Vehicle Crash Sequences: Patterns and Potential Uses in Safety Testing, Accident Analysis & Prevention, 153, 106017. 10.1016/j.aap.2021.10601733578268

Talebpour A., Mahmassani H. S., Mete F., Hamdar S. H. (2014), Near-crash Identification in a Connected Vehicle Environment, Transportation Research Record, 2424(1), 20-28. 10.3141/2424-03

Thakurdesai H. M., Aghav J. V. (2020), Computer Vision Based Position and Speed Estimation for Accident Avoidance in Driverless Cars, In ICT Systems and Sustainability, 435-443, Springer, Singapore. 10.1007/978-981-15-0936-0_47

Theofilatos A., Graham D., Yannis G. (2012), Factors Affecting Accident Severity Inside and Outside Urban Areas in Greece, Traffic Injury Prevention, 13(5), 458-467. 10.1080/15389588.2012.66111022931175

Wagner P. (2016), Traffic Control and Traffic Management in a Transportation System with Autonomous Vehicles, In Autonomous Driving; Springer: Berlin/Heidelberg, Germany, 301-316. 10.1007/978-3-662-48847-8_15

Wang J., Gao F., Shi S., Wang J. (2006), A New Method for Distance and Relative Velocity Measurement in Vehicle Collision Warning System, In Sixth International Conference on Intelligent Systems Design and Applications, 1, 1142-1147, IEEE. 10.1109/ISDA.2006.282

Wang J., Zhang X., Kang H., Deng L. (2020), Test Method and Risk Factor Definition of Forward Collision Warning System, IEEE, 8, 47730-47740. 10.1109/ACCESS.2020.2979520

Watanabe R., Katsuhara T., Miyazaki H., KitagawaY., Yasuki T. (2012), Research of the Relationship of Pedestrian Injury to Collision Speed, Car-type, Impact Location and Pedestrian Sizes Using Human FE Model, THUMS Version 4, Stapp Car Crash Journal, 56, 269. 10.4271/2012-22-000723625564

Wu J., Xu H., Zheng Y., Tian Z. (2018), A Novel Method of Vehicle-pedestrian Near-crash Identification with Roadside LiDAR Data, Accident Analysis & Prevention, 121, 238-249. 10.1016/j.aap.2018.09.00130265910

Yahya M. A., Abdul-Rahman S., Mutalib S. (2020), Object Detection for Autonomous Vehicle with LiDAR Using Deep Learning, In 2020 IEEE 10th International Conference on System Engineering and Technology (ICSET), 207-212, IEEE. 10.1109/ICSET51301.2020.9265358

Ye L., Yamamoto T. (2018), Modeling Connected and Autonomous Vehicles in Heterogeneous Traffic Flow, Phys. A Stat. Mech. Its Appl., 490, 269-277. 10.1016/j.physa.2017.08.015

Yu R., Ai H., Gao Z. (2020), Identifying High Risk Driving Scenarios Utilizing a CNN-LSTM Analysis Approach, In 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), 1-6, IEEE. 10.1109/ITSC45102.2020.9294547

Yuan Q., Xu X., Zhau J. (2020), Paving the Way for Autonomous Vehicle Testing in Accident Scenario Analysis of Yizhuang Development Zone in Beijing, In CICTP 2020, 62-72. 10.1061/9780784482933.006

Yuan Z., Song X., Bai L., Wang Z., Ouyang W. (2021), Temporal-channel Transformer for 3d Lidar-based Video Object Detection for Autonomous Driving, IEEE Transactions on Circuits and Systems for Video Technology, 32(4), 2068-2078. 10.1109/TCSVT.2021.3082763

Journal of Korean Society of Transportation ISSN:1229-1366(Print) 2234-4217(Online) 대한교통학회지

Preview

Development of Autonomous Vehicle Critical Situation Scenarios in Urban Areas Based on Kinetic 3D-LiDAR PCD with Triggered Vehicle Detection

ABSTRACT

MAIN

Figure 1.

The Six-Layers and Scenario Description of Pegasus Project

Figure 2.

Overall Procedure of AV Safety Assessment Scenario Derivation

Table 1.

Definition of Critical Situation Level

Table 2.

The Sensor of the Probe Vehicle

Figure 3.

Probe Vehicle for Critical Situation Collection

Table 3.

The Collected Dataset and Composition

Figure 4.

The Procedure of Kinetic Values Extraction

(1)

(2)

(3)

(4)

(5)

(6)

Figure 5.

The Calculation of Centroid and Result

Figure 6.

The Calculation of Real Distance Between Ego Vehicle and Neighboring Objects

(7)

(8)

(9)

Figure 7.

The Position of Neighboring Object

Figure 8.

The Vehicle Type of Neighboring Object

Table 4.

The Input Dataset of Preprocessed Kinetic 3D-LiDAR PCD Set for Learning and Sample

(10)

(11)

(12)

(13)

Table 5.

The Result of Highest Model (128, 64, 32) and Confusion Matrix

Figure 9.

The Examples of Prediction

Table 6.

The Accuracy of Random Forest Model

Figure 10.

Feature Importance

Figure 11.

The Logical Scenario for AV Safety Assessment Sample; The RED is the range of values we set for Assessment

Funding

알림

References