Scenario Classification for Vehicle Trajectory Prediction in Urban Environments using Multi-Agent and Geometry Context

Beomjin Park; Simon Oh; Jinwon Yoon

doi:10.7470/jkst.2026.44.5.973

Preview

Article

Journal of Korean Society of Transportation. 31 October 2026. 973-987
https://doi.org/10.7470/jkst.2026.44.5.973

Scenario Classification for Vehicle Trajectory Prediction in Urban Environments using Multi-Agent and Geometry Context

도심지 주행환경의 이동 궤적 예측을 위한 다중 객체 및 기하 구조 기반 시나리오 분류

Beomjin PARK¹

Simon OH²

Jinwon YOON³^*

박 범진¹

오 시몬²

윤 진원³^*

¹Graduate Student, Department of Computer Science and Software Engineering, Korea University, Sejong 30019, Korea

²Associate Professor, Department of Mobility Science & Engineering, Korea University, Sejong 30019, Korea

³Assistant Professor, Department of Mobility Science & Engineering, Korea University, Sejong 30019, Korea

¹고려대학교 컴퓨터정보학과 석박사통합과정

²고려대학교 미래모빌리티학과 부교수

³고려대학교 미래모빌리티학과 조교수

^{*Corresponding Author}

License (open-access, http://creativecommons.org/licenses/by-nc/4.0/):

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

ABSTRACT

Recent prediction technology for multi-agent movement trajectories in autonomous driving has greatly advanced along with the development of large-scale datasets and learning-based models. However, the application of these prediction models to real roads can be limited, and consistently maintaining high prediction performance across various prediction scenarios is still pointed out as a major limitation. This can be interpreted as originating from the training environment of existing prediction models for biased scenarios. Therefore, this study hierarchically classifies scenario-level factors into two factors, surrounding agents and road geometry, and seeks to identify the limitations and solutions of prediction models based on open datasets such as Argoverse by comparatively analyzing prediction performance by scenario type. A conditional variational autoencoder (CVAE) architecture was used and selected as the prediction model, and prediction accuracy was evaluated by measuring the average and final position errors (minADE, minFDE) with respect to the prediction target. The experimental results showed that the agent factor mainly had a large effect on overall prediction performance, whereas the intersection existence caused an increase in performance variance. In particular, in scenarios including intersections and high lane complexity/road connectivity, performance variability greatly increased, suggesting that prediction performance for multi-agent movement trajectories under complex geometric conditions may appear low despite high overall performance values. Accordingly, to improve the stability of movement trajectory prediction in urban driving environments, measures such as scenario dataset augmentation for complex geometric structures are required, and it is necessary to prepare prediction strategies that can embed situational/environmental context in the prediction process. The scenario classification framework proposed in this study can be used in comparative studies between prediction models, and it is expected to contribute to performance improvement through follow-up measures such as model calibration when preparing new prediction solutions.

Keywords

autonomous driving

autonomous vehicle dataset

Conditional Variational Autoencoder (CVAE)

scenario classification

trajectory prediction

최근 자율주행에서의 다중 객체 이동 궤적에 대한 예측 기술은 대규모 데이터셋과 학습 기반 모델의 발전과 함께 크게 발전하였다. 하지만 이들 예측 모델의 실도로 적용은 제한될 수 있으며 높은 예측 성능을 다양한 예측 시나리오에 대해 일관성 있게 유지하는 부분은 여전히 큰 한계점으로 지적된다. 이는 기존 예측 모델들의 편중된 시나리오에 대한 학습 환경에서 기인한 것으로 해석될 수 있다. 이에 본 연구에서는 시나리오 수준의 요인을 두 가지 요인(주변 객체 및 도로 기하구조)으로 계층적으로 분류하고 예측 성능을 시나리오 타입별로 비교･분석 함으로써 Argoverse와 같은 오픈 데이터셋 기반의 예측 모델의 한계점과 해결방안을 모색하고자 한다. 조건부 변분 오토인코더(CVAE) 아키텍처를 활용하여 예측 모델로 선정되었으며 예측 대상과의 평균 및 최종 위치 오차(minADE, minFDE)를 측정함으로써 예측 정확도를 평가한다. 실험 결과, 객체 인자는 주로 예측 성능의 전반에 큰 영향을 주는 반면, 기하구조 요인은 성능 분산 증가를 야기하는 것으로 나타났다. 특히 교차로를 포함하지 않는 시나리오에서는 minADE@6와 minFDE@6는 각각 1.18±1.15m와 3.10±3.41m였으나, 교차로 포함 시나리오에서는 각각 1.37±1.39m와 3.66±4.05m로 증가하였다. 이는 교차로와 같은 복잡한 기하 조건에서는 다중 객체의 이동 궤적 예측 오차와 성능 변동성이 증가할 수 있음을 시사한다. 이에 도시 주행 환경에서의 이동궤적 예측의 안정성을 향상시키기 위해서는 복잡한 기하구조에 대한 시나리오 데이터셋 증강 등의 조치가 요구되며 예측 과정에서 상황/환경적 맥락을 임베딩할 수 있는 예측 전략을 마련할 필요가 있다. 본 연구에서 제시된 시나리오 분류체계는 예측 모델 간 비교 연구에서 활용될 수 있으며 새로운 예측 솔루션 마련 시 모델 보정 등 후속적인 조치를 통한 성능 향상에 기여할 수 있을 것으로 기대된다.

키워드

자율주행

자율주행 데이터셋

CVAE

시나리오 분류

이동 궤적 예측

MAIN

서론
연구방법
1. 데이터셋 구성
2. 시나리오 분류 방법
3. 모델 학습 및 예측 방법
실험결과
1. 모델 학습 결과
2. 시나리오 분류 기반 성능 결과
결론

서론

최근 자율주행 기술은 인공지능, 고성능 컴퓨팅, 센서 기술의 발전과 함께 빠르게 성장하고 있으며 카메라, 라이다(LiDAR), 레이더(Radar) 기반의 인지 기술과 딥러닝 알고리즘의 고도화를 통해 실제 도시 환경 내 자율주행 서비스의 상용화가 가속화되고 있다. 글로벌 자율주행 차량 시장은 지속적인 성장세를 보이고 있으며 2024년 기준 약 680억 달러에서 2030년 약 2,143억 달러까지 확대될 것으로 전망된다(Grand View Research, 2024). 이에 주요 국가에서는 이미 자율주행 모빌리티 상용화를 대비하기 위한 규제 정비와 지원 체계를 구축하고 있으며(Department for Transport, 2022), 스마트 모빌리티 인프라 및 도로 안전성 확보를 위한 정책적 지원 및 실증 사업을 확대하고 있다(National Highway Traffic Safety Administration, 2017). 한편, 산업계에서는 Tesla, Waymo, Cruise와 같은 글로벌 빅테크 기업들의 주도로 로보택시 서비스 및 완전자율주행 기술 상용화를 위한 대규모 기술개발이 진행되고 있으며 특히 복잡한 도심지 주행 환경에서의 안전성과 신뢰성 확보를 위한 기술개발이 집중적으로 이루어지고 있다.

자율주행 시스템은 일반적으로 인지-판단-제어 체계로 구성된다. 카메라, 라이다, 레이더와 같은 인지 센서를 활용하여 주변 객체와 도로 환경을 인식하고 수집된 정보를 기반으로 차량의 미래 주행 행태 및 구체적인 이동 궤적을 결정한다. 이 중 판단 단계에서 수행되는 이동 궤적 예측은 자율주행 차량의 주행 안정성과 안전성에 직접적인 영향을 미치는 핵심 기술로서, 차량, 보행자, 자전거와 같은 다양한 객체의 행동을 인식하고 이를 경로 계획에 활용한다.

이동 경로 예측은 연속류와 같은 비교적 단순한 상황에서는 높은 정확도를 보이지만, 도심부 도로 등의 환경에서는 교차로, 차로 변경, 합류 및 분기 구간과 같은 복잡한 도로 기하 구조에서의 예상치 못한 객체 간 상호작용이 빈번히 발생하며 이로 인해 이동 궤적에 대한 예측 성능이 저하될 가능성이 있는 것으로 지적된다(Yan et al., 2023, Choi et al., 2019, Kim et al., 2011). 이에 따라 최근 연구에서는 단순 평균 오차에 기반한 예측 성능 평가보다는 학습 데이터셋과 테스트셋 간 분포 차이가 빈번한 실주행 환경에서의 예측 견고성이나 신뢰성 확보가 강조되고 있다(Stoler et al., 2024, Schwarting et al., 2018, Codevilla et al., 2019, Houenou et al., 2013). 특히 돌발상황과 같은 롱테일(Long-tail) 시나리오의 경우 일부 엣지 케이스(edge case)에 대한 학습 데이터 부족으로 인해 예측의 불확실성이 높아질 수 있고(Schwarting et al., 2018), 실제 안전 위협 상황(safety-critical scenario)에서의 예측 오류로 차량 간 충돌 위험이 지적되기도 하였다(Codevilla et al., 2019).

일반적으로 이동 궤적 예측은 차로 유지/변경, 회전, 속도 등의 차량 주행 상태를 기반으로 추정되며(Houenou et al., 2013, Deo and Trivedi, 2018), 최근 이동 궤적 데이터의 시계열 특성을 반영한 RNN(Alahi et al., 2016), LSTM(Hochreiter and Schmidhuber, 1997) 등 순환신경망 기반 모델을 통해 데이터 시퀀스 간 시간적 의존성을 학습하는 다양한 연구가 제시되었다(Hochreiter and Schmidhuber, 1997, Vaswani et al., 2017). 이어 조건부 변분 오토인코더(Conditional variational autoencoder, 이하 CVAE)와 같은 확률적 생성 모델을 통해 궤적 예측 과정에서 다양한 형태의 샘플을 생성하는 방법이 주목받고 있으며(Lee et al., 2017, Salzmann et al., 2020), 최근에는 차량의 행태뿐 아니라 주변 객체 간 상호작용, 정밀지도 정보(도로구조, 차로 정보, 교차로) 등 이동 궤적 예측 시 관련성이 높은 객체 및 공간 요소를 모델에 임베딩하는 방식으로 발전되고 있다. 특히 그래프 기반 인코더(Liang et al., 2020), 벡터화된 맵 기반 표현(Gao et al., 2020), 어텐션 메커니즘, 트랜스포머(Transformer) 기반 구조는 복잡한 도시 주행 장면을 보다 효과적으로 임베딩하기 위해 활용되고 있다.

한편, Argoverse(Chang et al., 2019), Waymo Open Motion Dataset(WOMD)(Ettinger et al., 2021), nuScenes (Caesar et al., 2020)와 같은 대규모 자율주행 오픈 데이터셋이 공개됨에 따라, 다양한 객체 간 상호작용과 다양한 주행 환경에 대한 고려도 가능해지고 있다. Argoverse는 개별 차량 이동 궤적과 차로 수준까지 표현된 정밀지도 정보를 함께 제공함으로써 지도 정보에 근거한 이동 궤적 예측 환경을 제공한다. nuScenes는 카메라, 라이다, 레이더 데이터를 통해 인지-판단-제어 시스템 디자인에서의 센서 정보를 광범위하게 활용할 수 있는 멀티모달 자율주행 데이터셋을 제공한다. WOMD는 웨이모 자율주행 서비스 차량으로부터 수집된 차량, 보행자, 자전거 간의 상호작용이 포함되어 있고 다양한 객체에 대한 이동 궤적 예측이 가능한 데이터셋으로 알려져 있다(Ettinger et al., 2021). Argoverse2(Wilson et al., 2021)에서는 초기 Argoverse 데이터셋 대비 다양한 도시 환경과 복잡한 객체 간 상호작용을 포함하는 예측 시나리오를 제공한다.

이들 데이터셋을 활용한 다양한 이동 궤적 예측 모델도 제안되었다(Gao et al., 2020; Gu et al., 2021; Ngiam et al., 2022; Zhou et al., 2022; Nayakanti et al., 2023; Shi et al., 2022; Zhou et al., 2023). VectorNet(Gao et al., 2020)은 정밀지도와 이동 궤적을 벡터화된 폴리라인(vectorized polyline)으로 표현함으로써 래스터(raster) 기반 구현법에서의 정보 손실과 연산량을 줄였다. LaneGCN(Liang et al., 2020)은 차로 그래프(lane graph) 구성을 통해 도로 위상구조와 객체-맵 간 상호작용을 명시적으로 모델링하였다. 이후 미래 궤적에 대한 다중성을 반영하기 위해 목표 지향 예측(goal-based prediction) 방식이 제시되었다. TNT(Zhao et al., 2021)는 가능한 목표 지점을 선예측 한 뒤, 해당 지점에 조건화된 이동 궤적을 생성함으로써 멀티모달 예측 문제를 다루었다. 최근의 어텐션 및 트랜스포머 기반 구조를 활용한 연구에서는 다중 객체의 이동 궤적 예측을 위한 통합형 트랜스포머 아키텍처(Ngiam et al., 2022, Lee et al., 2025), 벡터형 지도정보 표현법과 계층형 트랜스포머 구조를 활용한 HiVT(Zhou et al., 2022), 다양한 입력 방식(modality)을 효과적으로 다루는 확장 가능한 어텐션 기반의 Wayformer(Nayakanti et al., 2023), 쿼리 기반의 MTR(Shi et al., 2022)과 QCNet(Zhou et al., 2023) 등을 대표적인 이동 궤적 모델로 들 수 있다.

이들 이동 궤적 예측 모델은 minADE, minFDE, MR 등의 지표를 통해 평균적인 예측 성능이 평가된다. 이러한 성능 지표는 모델의 전체 평균 성능을 평가하며 모델 간 성능을 정량적으로 비교하는 것에 유리하지만, 다양한 주행환경의 시나리오에서 발생하는 성능 차이를 상세히 설명하기 어렵다. 예를 들어, 평균적인 예측 성능이 높음에도 불구하고 시나리오 분포가 적거나 희소한 롱테일, 안전 위협 상황 시나리오에 대한 낮은 예측 성능이 관측될 수 있으므로 예측 안정성을 향상시킬 수 있는 예측 전략이 중요한 과업이라 할 수 있다(Lee et al., 2017). Table 1은 시나리오 분류, 예측 실패 진단 및 안전-임계 벤치마킹 관련 선행연구를 비교하고 객체 특성과 도로 기하구조를 결합하여 시나리오별 예측 성능을 분석하는 본 연구의 차별성을 제시한다.

본 연구는 주행 시나리오에 따른 궤적 예측 성능의 차이를 분석하기 위해 다양한 자율주행 시나리오를 체계적으로 분류하는 것을 목표로 한다. 이를 위해 자율주행 데이터에 포함된 주변 객체 정보와 도로 기하구조 특성을 기반으로 주행 시나리오를 분류한다. 또한 CVAE를 활용하여 궤적 예측을 위한 베이스라인 모델을 구축한다. 이후 분류된 시나리오 유형별로 궤적 예측 성능을 비교･분석함으로써 각 시나리오의 예측 난이도를 평가한다. 본 논문은 2장에서 시나리오 분류 기준과 궤적 예측 모델의 구조를 설명한다. 이후 3장에서는 모델 학습 과정과 시나리오별 실험 결과를 제시하고 이를 바탕으로 시나리오 유형에 따른 궤적 예측 성능 차이를 분석한다.

Table 1.

Comparison of scenario-based evaluation approaches

Study	Research category	Classification/ diagnosis criteria	Considered factors	Evaluation level	Main contribution
CRITERIA (Chen et al., 2024)	Scenario-based benchmarking	Road structure, model agreement, data properties	Road context, data properties, model outputs	Scenario	Fine-grained model evaluation
Task-Relevant Failure Detection (Farid et al., 2023)	Task-relevant failure detection	Impact of prediction errors on planning cost	Prediction outputs and planning impact	Prediction module	Harmful prediction failure detection
SafeBench (Xu et al., 2022)	Safety-critical benchmarking	Safety-critical scenarios and testing variations	Scenario, route, environment	System	Unified benchmark for AV safety evaluation
This Study	Scenario classification and difficulty analysis	Target type, exposure type, intersection, lane complexity	Agent and road geometry	Scenario	Agent–geometry-based hierarchical scenario analysis

연구방법

1. 데이터셋 구성

본 연구에서는 자율주행 환경에서의 객체 이동 궤적 예측 성능을 시나리오 수준에서 분석하기 위해 Argoverse2 (Wilson et al., 2021) 데이터셋을 사용하였다. 시나리오 분류를 위해 Argoverse2에서 제공하는 객체 종류별 이동 궤적 정보와 정밀지도(High Definition map, HD map) 정보를 활용하였다. Figure 1에서와 같이 해당 데이터는 각 시나리오에 대한 차로 수준의 정밀지도와 함께 차량(승용차, 버스, 이륜차)･자전거･보행자 등의 객체들에 대한 총 11초 길이(110 프레임)의 이동 궤적을 제공한다. 본 연구에서는 Argoverse 이동 궤적 예측 챌린지(Argoverse Motion Forecasting Competition)와 동일하게 최초 5초를 관측 시간 범위, 이후의 6초를 예측 시간 범위로 구분하여 사용하였다. 또한 본 연구에서는 센서 오차에 따른 위치 지터링과 연속 프레임 간 과적합을 완화하기 위해 10Hz의 데이터를 2Hz로 다운 샘플링 하였으며 이는 유사 연구 사례에서 자주 활용된다(Li et al., 2019). 관측 시간 범위는 예측 대상 객체와 주변 객체의 과거 이동 패턴 및 시나리오 내 노출 특성을 정의하는 데 사용되며 예측 시간 범위는 모델이 예측한 미래 이동 궤적과 실제 이동 궤적 간의 오차를 계산하는 기준으로 사용된다. 전체 데이터는 총 224,896개의 시나리오로 구성되며 학습, 검증, 테스트 데이터는 각각 7.8:1.1:1.1 비율(각 174,920개, 24,988개, 24,988개)로 구성하였다.

데이터 내의 각 시나리오는 객체 단위의 이동 궤적 데이터와 JSON 기반의 벡터화된 HD map 데이터로 구성된다(Figure 1, Table 2 참조). 이동 궤적 데이터에는 각 객체의 종류에 대한 구분과 함께, 시간별 위치, 속도, 방향 등의 이동 정보가 포함된다. 또한 HD map 데이터에는 차로 구간, 차로 중심선, 차선, 횡단보도, 정지선 및 차로 간 연결 관계가 포함된다.

https://cdn.apub.kr/journalsite/sites/kst/2026-044-05/N0210440513/images/kst_2026_445_973_F1.jpg

Figure 1

Argoverse 2 motion forecasting dataset example

Table 2.

Scenario data description

Column	Description
Observed	Boolean indicator specifying whether the current timestep belongs to the observed segment or the future segment.
Track_ID	Unique identifier of each object within a scenario.
Object_Type	Semantic category of the object, such as vehicle, pedestrian, cyclist, motorcyclist, or bus.
Object_Category	Evaluation category label indicating the role of the object in the motion forecasting task.
Timestep	Temporal index within the scenario, sampled at 10 frames per second.
Position_X	X-coordinate of the object center in the scene-centric local coordinate system.
Position_Y	Y-coordinate of the object center in the scene-centric local coordinate system.
Heading	Orientation angle of the object in radians.
Velocity_X	Velocity component along the x-axis.
Velocity_Y	Velocity component along the y-axis.
Scenario_ID	Universally unique identifier of the scenario.
Start_Time	Starting timestamp of the scenario.
End_Time	Ending timestamp of the scenario.
Num_Timesteps	Total number of frames in the scenario.
Focal_Track	Track ID of the focal prediction target.
City	Name of the city where the data was collected.
Original_Folder	Original directory name of the scenario in the dataset structure.

2. 시나리오 분류 방법

본 연구는 복잡한 도심 주행 환경에서 이동 궤적 예측 성능이 어떤 조건에서 달라지는지 분석하기 위해 시나리오 분류 프레임워크를 구성하였다. 도심 환경에서는 관측 객체의 종류, 주변 객체의 유･무 및 형태, 교차로 통과 여부, 도로 기하 구조와 같은 요소에 따라 예측 난이도가 달라질 수 있다. 예를 들어 연속류 환경에서는 진행 차로와 영향권 내의 주변 차량 이동 궤적이 관측 객체의 이동 경로 예측에 주요한 영향을 미치지만, 단속류 환경에서는 위와 더불어 교차로 진로 진행 방향, 보행자 유･무, 차로 구성 형태 등 다양한 요인들이 작용할 것이다. 이를 고려하여 본 연구에서는 시나리오를 객체 기반 요인과 도로 기하 구조 기반 요인으로 구분한다. 객체 기반 요인은 관측 대상의 이동 경로 예측에 영향을 미칠 수 있는 주변 객체에 관한 것이며 관측 대상 자신에 대한 객체 유형과 시나리오 내에서 가장 오래 관측되어 가장 큰 영향을 미치는 객체 유형을 기준으로 구성하였다. 기하 구조 기반 요인은 교차로 유･무와 차로 구성의 복잡도를 기준으로 구성하였다.

본 연구의 전체 분석 과정은 Figure 2와 같다. 먼저 Argoverse 2 데이터에서 이동 궤적 데이터와 HD map 데이터를 시나리오 단위로 불러온다. 이후 관측 대상 객체와 주변 차량 정보를 이용하여 객체 기반 분류를 수행하고 HD map의 차로 정보를 이용하여 기하 구조 기반 분류를 수행한다. 다음으로는 이렇게 정의된 각 시나리오 그룹에 대해 CVAE 기반 이동 궤적 예측 모델을 학습 및 평가하고 각 시나리오 그룹별 예측 성능을 비교한다.

https://cdn.apub.kr/journalsite/sites/kst/2026-044-05/N0210440513/images/kst_2026_445_973_F2.jpg

Figure 2

Research framework

객체 기반 분류에서는 먼저 Argoverse 2 데이터에서 중심 객체(focal track에 해당하는 객체)를 예측 대상 객체(ego agent)로 정의하고 이 객체의 유형을 기준으로 시나리오를 분류한다. 관측 대상의 유형은 ‘차량’, ‘보행자’, ‘자전거’, ‘오토바이’, ‘버스’와 같이 분류된다. 다음으로는 관측 시간 범위 내에서 각 객체 유형이 관측된 프레임 수를 누적하여, 가장 큰 누적 관측 시간을 갖는 객체 유형을 두 번째 객체 기반 요인으로 정의한다. 본 연구에서는 이를 ‘객체 관측 지속시간’이라 표현한다. 이 기준은 관측 대상 객체 주변에서 어떤 객체가 가장 지속적으로 등장하며 관측 대상에 영향을 미치는지를 나타낸다. 단, 객체 관측 지속시간은 실제 물리적 상호작용의 정도를 직접적으로 의미하는 것은 아니며 다만 이는 이동 궤적 데이터에서 직접 계산할 수 있는 시나리오 수준의 근사로, 시나리오 내 객체 구성의 영향을 분석하기 위한 기준으로 사용된다.

기하 구조 기반 분류에서는 먼저 교차로 유･무가 가장 주요한 요인이 된다. 교차로는 일반적인 연속 직선 도로 구간과 달리 분기, 합류, 회전, 교행 등이 함께 발생할 수 있으므로 다양한 형태의 이동 패턴이 나타날 수 있어 이동 궤적의 난이도가 높아질 수 있다. 따라서 본 연구에서는 교차로의 존재 여부를 주요 요인으로 구분한다. 다음으로는 차로 복잡도를 정의하여 주행 중인 차로 구간의 기하 구조적 복잡도를 반영한다. 여기서 차로 구간은 HD map에서 주행 가능 차로를 구성하는 기본 단위이다. 각 차로 구간은 중앙선, 선행 차로, 후행 차로, 좌/우측 인접 차로 정보를 포함한다.

차로 복잡도는 평균 분기 차로 수, 도로 곡률, 평균 차로 개수의 세 가지 요소를 기반으로 산정하였다. 이는 Figure 3에서 확인할 수 있다. 먼저 평균 분기 차로 수 $B (s)$ 는 시나리오 $s$ 에 대해, 도로의 분기 및 합류 구조를 반영하기 위한 지표이며 각 차로 구간이 갖는 선행 차로와 후행 차로의 평균 개수를 의미한다. 구체적으로는 $i$ 번째 차로 구간에 대해 $l_{i}$ 라고 정의하고 $[l_{i}^{j}]$ 를 해당 구간 내 $j$ 번째 차로라 하고 $l_{i}^{j -}$ 와 $l_{i}^{j +}$ 를 각각 $[l_{i}^{j}]$ 와 연결된 선행 차로와 후행 차로의 집합 (1,2)라 할 때, $n (l_{i})$ 는 $l_{i}$ 의 개수이다. 즉,

(1)

{[l_{i}^{j}]}_{j = 1, . . ., n (l_{j})}, where n (l_{i}) : number of lanes in l_{i}

(2)

l_{i}^{j -} = \{l_{k}^{j} | l_{k} \to l_{i}, j = 1, . . ., n (k)\} and l_{i}^{j +} = \{l_{k}^{j'} | l_{i} \to l_{k}, j' = 1, . . ., n (k)\}

최종적으로 평균 분기 차로 수 $B (s)$ 는 Equation 3과 같이 정의한다.

(3)

B (s) = \frac{1}{N_{s}} \sum_{i = 1}^{N_{s}} \frac{1}{n (l_{i})} \sum_{j = 1}^{n (l_{i})} (|l_{i}^{j -}| + |l_{i}^{j +}|)

https://cdn.apub.kr/journalsite/sites/kst/2026-044-05/N0210440513/images/kst_2026_445_973_F3.jpg

Figure 3

Overall system framework of the proposed scenario-level evaluation

다음으로 도로 곡률 $C (s)$ 는 차로 구간의 휘어짐 또는 회전 등을 표현하기 위한 지표이며 중앙선을 따라 차량 진행 방향이 변화하는 정도로써 정의한다(5). $d_{i}$ 를 $i$ 번째 차로 구간의 길이라 하고 $c_{i}$ 를 해당 차로 구간의 곡률(4), 즉 중앙선을 따라 도로의 방향이 평균적으로 얼마나 변화하는지를 나타낸 값이라 하자. 이는 중앙선을 이루는 연속된 점 사이의 방향각의 차이를 누적한 뒤 차로 구간 길이 $d_{i}$ 로 나누어 계산하며 이는 아래와 같다.

(4)

c_{i} = \frac{1}{d_{i}} \sum_{m = 1}^{M_{i} - 1} |θ_{i, m + 1} - θ_{i, m}|

여기에서 $θ_{i, m}$ 은 $i$ 번째 차로 구간의 중앙선에서 $m$ 번째 점의 방향각을 의미하고 $M_{i}$ 는 점의 개수를 의미한다. 최종적으로 시나리오 수준의 도로 곡률 $C (s)$ 은 각 차로 구간의 길이를 가중치로 사용하여 계산한다. 이를 통해 긴 차로 구간이 최종 도로 곡률에 더 크게 반영되도록 한다.

(5)

C (s) = \sum_{i = 1}^{N_{s}} c_{i} d_{i} / \sum_{i = 1}^{N_{s}} d_{i}

평균 차로 개수는 인접 도로의 병렬적 형태를 반영하기 위한 것이며 좌/우측 인접 차로를 통해 연결된 횡방향 차로 그룹의 평균 크기로써 정의한다. $n (l_{i})$ 를 도로 구간 $l_{i}$ 에 포함된 도로의 수라 정의할 때, 시나리오 $s$ 의 평균 도로 개수 Equation 6은 다음과 같이 정의된다.

(6)

A (s) = \frac{1}{N_{s}} \sum_{i = 1}^{N_{s}} n (l_{i})

마지막으로 각 요소에 대해 min-max 정규화를 적용한다. 본 연구에서 차로 복잡도는 모델 학습을 위한 입력 변수 혹은 학습을 위한 라벨이 아니라, 시나리오를 분류하기 위한 기준으로 사용된다. 따라서 각 요소의 척도 차이로 인해 특정 요소가 최종 차로 복잡도에 과도하게 반영되지 않도록 정규화를 수행한다. 최종 차로 복잡도 $L C (s)$ 는 정규화된 세 요소의 평균으로 정의된다. 정규화된 차로 복잡도는 분포의 중앙값을 기준으로 ‘높은’ 복잡도를 가지는 시나리오와 ‘낮은’ 복잡도를 가지는 시나리오로 이진 분류한다.

3. 모델 학습 및 예측 방법

본 연구에서는 이동 궤적 예측을 위한 베이스라인 모델로 LSTM 기반 CVAE 구조를 사용하여 학습하였고 모델은 관측 시점의 이동 궤적을 기본 입력으로 사용하며 학습 과정에서는 관측 구간 이후의 실제 미래 이동 궤적을 추가로 활용한다. 실제 미래 이동 궤적은 별도의 미래 궤적 인코더를 통해 특징 벡터로 변환되며 관측 궤적의 특징과 결합되어 사후 잠재분포(posterior latent distribution)의 평균과 분산을 추정하는 데 사용된다. 반면, 추론 과정에서는 실제 미래 궤적을 사용할 수 없으므로 관측 궤적과 객체 유형 정보를 기반으로 추정한 사전 잠재분포(prior latent distribution)에서 잠재변수를 샘플링하여 다중 미래 궤적을 생성한다. 예측 대상은 ‘차량’, ‘보행자’, ‘자전거’, ‘오토바이’, ‘버스’ 다섯 가지 객체 유형에 속하는 동적 객체이므로 객체 유형 정보를 임베딩하여 모델 입력에 포함하였다. 모델은 인코더, 디코더, 잠재 공간 모듈로 구성되며 인코더와 디코더는 모두 LSTM 모듈을 사용하여 이동 궤적 시계열의 시간적 의존성을 학습한다.

본 연구에서 사용한 CVAE-LSTM 모델은 Figure 4의 아키텍처를 따르며 주요 하이퍼파라미터는 궤적 시계열의 표현력과 다중 미래 경로 생성을 고려하여 설정하였다. 관측 구간은 10 timestep, 예측 구간은 12 timestep으로 설정하였다. 이는 연산 효율을 높이고 전체 관측 및 예측 시간 범위를 유지하기 위해 2Hz로 다운 샘플링을 적용하였으며 이에 따라 모델의 관측 길이는 10 프레임, 예측 길이는 12 프레임으로 줄여 모델의 학습 계산 부담을 감소시켰다. 관측 궤적 인코더와 디코더의 은닉 차원은 각각 256으로 설정하였고 미래 궤적 인코더의 은닉 차원은 128로 설정하였다. 잠재 변수의 차원은 16으로 설정하였으며 하나의 관측 궤적에 대해 6개의 미래 궤적 후보를 생성하도록 하였다. 학습에는 AdamW 최적화 기법을 사용하였고 batch size는 512, 초기 학습률은 $(1 \times 10^{- 3})$ , weight decay는 $(1 \times 10^{- 5})$ , dropout은 0.1로 설정하였다(Table 3 참고).

https://cdn.apub.kr/journalsite/sites/kst/2026-044-05/N0210440513/images/kst_2026_445_973_F4.jpg

Figure 4

CVAE model architecture

Table 3.

Hyperparameter description

Hyperparameter		Value	Hyperparameter		Value
Model Architecture	obs_len	10	Training	optimizer	AdamW
	pred_len	12		batch_size	512
	type_emb_dim	16		learning_rate	$(1 \times 10^{- 3})$
	observed_encoder_hidden_dim	256		weight_decay	$(1 \times 10^{- 5})$
	future_encoder_hidden_dim	128		epoch	120
	decoder_hidden_dim	256
	latent_z_dim	16
	drop_out	0.1

또한 모델 학습에는 CVAE 기반 Best of $K$ 목적 함수를 사용하였다. 모델은 잠재변수를 샘플링하여 $K$ 개의 미래 궤적 후보를 생성하고 학습 과정에서는 이 중 정답 궤적과 가장 가까운 후보를 기준으로 예측 손실함수를 계산한다. 이를 통해 하나의 결정론적 이동 궤적만을 예측하는 대신 동일한 관측 대상의 발생 가능한 여러 미래 경로들을 함께 표현하고 궤적 예측의 불확실성과 다중 경로의 가능성을 반영한다.

본 연구의 구현에서는 위치 손실함수, 속도 손실함수, 최종점(final position) 손실함수에 대해 Best of $K$ operation을 각각 적용하여 Smooth $L 1$ loss를 Equation 7과 같이 각각 계산한다.

(7)

ℒ_{p o s} = \min_{k} \frac{1}{T} \sum_{t = 1}^{T} SmoothL 1 ({\hat{y}}_{i, k, t}, y_{i, t})

위치 손실함수 Equation 8은 각 예측된 후보 궤적과 정답 궤적 사이의 Smooth $L 1$ loss를 계산한 뒤 $K$ 개의 후보 중 가장 작은 오차를 사용한다.

(8)

ℒ_{v e l} = \min_{k} \frac{1}{T - 1} \sum_{t = 2}^{T} SmoothL 1 (∆ {\hat{y}}_{i, k, t}, ∆ y_{i, t})

속도 손실함수 Equation 9는 인접한 타임 스탭 사이의 변위를 비교하여 예측된 궤적이 자연스러운 패턴을 갖도록 유도한다. $∆ y_{i, t}$ 는 정답 궤적의 각 프레임 간의 변위를 의미하고 $∆ \hat{y_{i, k, t}}$ 는 예측된 후보 궤적의 각 프레임 사이의 변위를 의미한다.

(9)

ℒ_{e n d} = \min_{k} SmoothL 1 ({\hat{y}}_{i, k, T}, y_{i, T})

최종점 손실함수는 예측된 이동궤적의 마지막 위치를 강조하는 손실함수이다. 이 항은 minFDE(minimum Final Displacement Error)와 실패율(Miss Rate, MR)가 최종점 오차와 직접적으로 관련되기 때문에 중요하다. 최종점 손실함수는 $K$ 개의 후보 궤적 중 최종점 오차가 가장 작은 값을 사용한다.

쿨백-라이블러 발산(Kullback-Leibler divergence, 이하 KL divergence) 손실 함수 Equation 10은 사후 분포가 사전 분포와 가까워지도록 정규화하는 항이다. 이 손실함수는 잠재 공간을 안정화하고 학습 단계와 추론 단계 사이의 차이를 줄이기 위해 사용된다. 추론 단계에서는 미래 이동 궤적을 사용할 수 없기 때문에, 사전 분포를 기반으로 이동 궤적을 생성해야 한다.

(10)

ℒ_{total} = λ_{pos} ℒ_{pos} + λ_{vel} ℒ_{vel} + λ_{end} ℒ_{end} + β ℒ_{KL}

여기에서 $λ_{p o s}$ , $λ_{v e l}$ , $λ_{e n d}$ 는 각각 위치 손실함수, 속도 손실함수, 최종점 손실함수의 가중치를 의미한다. 예측 구간 전체의 위치 정확도를 목표로 생각하고 위치 손실함수에 대한 가중치 $λ_{p o s}$ 는 1.0으로 고정하였다. 이후 학습과정에서 $λ_{v e l}$ 1.0으로 $λ_{p o s}$ 와 같은 가중치를 부여했을 때 모델이 결과로 도출된 궤적이 방향 변화가 과도한 궤적을 그리거나 노이즈에 민감해지는 경향을 관찰하여 $λ_{v e l}$ 값을 0.5를 부여했다. $λ_{e n d}$ 는 최종점에 관한 손실 함수로 모델이 예측 종료 시점의 정확도를 충분히 반영할수 있도록 1.0으로 $λ_{p o s}$ 와 동일하게 가중치를 부여하였다. $β$ 는 KL divergence 손실함수의 가중치를 조절하는 계수이다. 실제 학습에서는 KL warm up 전략을 사용한다. 즉, 학습 초기에는 KL 항의 영향을 작게 두고 학습이 진행됨에 따라 점진적으로 KL 항의 영향을 증가시킨다.

실험결과

1. 모델 학습 결과

학습된 이동 궤적 예측 모델의 학습 곡선과 minADE@K, minFDE@K 값을 Figure 5와 같이 그래프로 나타내었다. 여기서 minADE@K, minFDE@K는 각각 K개의 예측 경로에 대한 평균 변위 오차와, 최종 변위 오차이다(Chang et al., 2019). Figure 5(a)는 모델의 학습 과정에서 학습 손실(training loss)과 검증 지표의 변화를 나타낸다. 학습 손실은 초기 에폭(epoch)에서 급격히 감소한 이후, 약 80 에폭 이후부터 감소 폭이 완만해지며 안정적인 수렴 경향을 보였다. 또한, Figure 5(b), (c)와 같이, 검증 minADE와 minFDE 또한 동일한 구간 이후 큰 변동 없이 일정한 범위 내에서 유지되었다. 이에 따라 모델의 결과는 minADE@6=1.397m, minFDE@6=3.707m로 나타났다. 따라서 본 연구에서는 학습 손실의 추가적인 감소 폭이 제한적이고 검증 지표가 더 이상 뚜렷하게 개선되지 않는 시점을 모델이 수렴한 구간으로 판단하였다.

https://cdn.apub.kr/journalsite/sites/kst/2026-044-05/N0210440513/images/kst_2026_445_973_F5.jpg

Figure 5

Training-validation loss, MinADE@6, MinFDE@6

2. 시나리오 분류 기반 성능 결과

다음으로는 객체 기반 요인과 기하 구조 기반 요인에 따라 테스트 데이터셋을 분류하고 각 시나리오 그룹별 예측 성능을 분석한다. 먼저 제안한 분류 기준에 따른 테스트 데이터셋의 분포와 각 시나리오 그룹별 예측 오차를 분석한다.

객체 기반 요인과 기하 구조 기반 요인을 기준으로 테스트 데이터의 시나리오를 분류한 결과는 Figure 6의 열과 같다. Figure 6은 전체 테스트 시나리오를 예측 대상 객체 유형, 객체 관측 지속시간, 교차로 유･무, 차로 복잡도 기준에 따라 계층적으로 표현하였다. 각 열의 요소는 4가지의 시나리오 분류 기준, minADE@6(rADE), minFDE@6 (rFDE), MR@2m(MissRate)로 구성되어 있으며 rADE와 rFDE는 객체 이동거리로 정규화된 거리 오차이다. MR은 FDE 값 중 2m 이상 차이나는 시나리오의 비율를 의미한다. 본 연구는 단순히 전체 시나리오 개수만을 확인하는 것이 아니라, 각 분류 기준이 결합되었을 때 어떤 시나리오 종류가 높은 비중을 차지하는지 확인한다.

전체 테스트 데이터셋은 24,988개의 시나리오로 구성된다. 이를 예측 대상 객체 유형별로 구분하면, ‘차량’인 시나리오는 22,080개로 전체 테스트 시나리오의 약 88.4%를 차지하여 가장 큰 비중을 보였다. 반면 ‘보행자’, ‘자전거’, ‘오토바이’, ‘버스’가 예측 대상 객체인 시나리오는 ‘차량’ 시나리오에 비해 매우 적은 비율을 보인다. 이러한 분포는 Argoverse 2 이동 궤적 예측 챌린지 데이터셋이 다양한 객체 유형을 포함하고 있음에도, 실제로는 ‘차량’을 중심으로한 궤적 예측에만 치중되어 있음을 보여준다. 그리고 이는 앞서 언급했듯 평균적인 예측 성능 지표에서는 ‘보행자’, ‘자전거’ 등의 소규모 시나리오에 대한 예측 유효성 평가가 희석될 수 있음을 시사한다. 소규모 시나리오는 Figure 6의 count에 빨간 박스로 표기하였다.

객체 관측 지속시간 기준에서도 ‘차량’의 비중이 가장 크게 나타난다. 즉, 예측 대상이 ‘차량’인 경우뿐만 아니라 ‘보행자’, ‘자전거’, ‘오토바이’, ‘버스’인 시나리오에서도, 가장 오래 관측된 객체 유형이 ‘차량’인 경우가 많이 나타난다. 이는 도심부 주행 상황에서 ‘차량’이 주변 객체 구성의 중심을 이루고 있음을 의미한다. 따라서 본 데이터의 이동 궤적 예측은 다양한 객체 유형을 포함하지만, 실제 시나리오 구성은 ‘차량’ 중심의 상호작용 맥락을 강하게 반영한다고 볼 수 있다.

기하 구조 기준에서는 교차로를 포함하는 시나리오가 높은 비중을 차지한다. 이는 본 데이터셋이 도심부 도로 환경에서 수집되었기 때문이며 이러한 기하 구조는 이동 궤적 예측의 경우의 수를 크게 늘리기 때문에 궤적 예측을 더욱 어렵게 한다. 따라서 교차로 유･무는 단순한 기하 구조 구분이 아니라, 궤적 예측 난이도를 해석하기 위한 중요한 기준으로 사용될 수 있다.

이러한 시나리오 분포를 바탕으로 각 그룹 별 성능 지표는 minADE@6와 minFDE@6를 중심으로 계산하였으며 그 결과는 Figure 6과 같이 히트맵(heatmap) 형태로 시각화하였다. Figure 6은 각 시나리오 그룹의 샘플 개수와 예측 오차를 함께 보여주기 때문에, 특정 그룹의 성능을 해석할 때 오차 값뿐만 아니라 해당 그룹의 샘플 수를 함께 고려할 수 있다.

이하의 객체 유형별 성능은 예측 대상 객체 유형에 포함된 모든 하위 시나리오 그룹의 평균오차를 각 그룹의 시나리오 수에 따라 가중 평균하여 비교하였다. 평가 결과를 살펴보면, 관측 대상이 ‘보행자’인 시나리오는 전반적으로 낮은 오차를 보이며 상대적으로 우수한 예측 성능을 나타냈다. 다만 이는 ‘보행자’ 시나리오가 반드시 모델에게 더 쉬운 시나리오라는 의미로만 해석하기는 어렵다. 보행자는 차량에 비해 이동 거리가 짧고 속도 변화가 제한적인 경우가 많기 때문에, 동일한 이동 거리를 기반으로 한 평가지표에서는 구조적으로 낮은 오차 크기가 나타날 수 있다. 따라서 ‘보행자’ 그룹의 낮은 오차는 객체 유형 자체의 이동 규모와 함께 해석할 필요가 있다. 이를 Figure 6의 minADE@6 뒤의 괄호 안에 표기하였다. 반면 예측 대상이 ‘오토바이’인 시나리오는 상대적으로 높은 오차를 보였다. 오토바이에 해당하는 모든 하위 시나리오 그룹을 표본 수에 따라 가중평균한 결과 minADE@6는 약 1.69m, minFDE@6는 약 4.36m로 나타났다. 오토바이는 차량보다 샘플 수가 적고 움직임의 변화가 상대적으로 클 수 있기 때문에 모델이 안정적인 이동 궤적 패턴을 학습하기 어려운 객체 유형으로 해석될 수 있다.

관측 대상이 ‘차량’인 시나리오는 데이터셋에서 가장 큰 비중을 차지하지만, 모든 조건에서 안정적인 성능을 보이지는 않았다. 교차로가 포함되지 않은 시나리오의 가중 평균은 minADE@6 1.18m, minFDE@6 3.10m인 반면 교차로가 포함된 시나리오는 각각 1.37m, 3.66m로 더 높은 오차를 보였다. 이는 ‘차량’ 시나리오의 샘플 수가 충분하더라도, 도로 구조가 복잡해지는 조건에서는 예측 난이도가 증가할 수 있음을 보여준다.

예측 대상이 ‘버스’인 시나리오의 모든 하위 그룹을 표본 수에 따라 가중평균한 결과 minADE@6는 약 1.31m, minFDE@6는 약 3.35m로 나타났다. 한편 객체 관측 지속시간이 ‘보행자’에서 가장 길고 차로 복잡도가 낮은 특정 그룹에서는 minADE@6=3.53m, minFDE@6=10.37m로 상대적으로 높은 오차가 관측되었다. 그러나 해당 그룹은 샘플 수가 2개에 불과하므로 이 결과를 ‘버스’ 시나리오 전체의 일반적인 경향으로 해석하기에는 한계가 있다. 이와 반대로 단순히 학습 데이터의 양이 많을수록 예측 성능이 항상 향상되는 것도 아니라는 점도 나타난다. ‘차량’ 시나리오는 전체 데이터셋에서 가장 큰 비중을 차지하지만, 일부 조건에서는 전체 평균과 유사하거나 더 낮은 성능을 보였다. 또한 차량과 유사한 이동 궤적 패턴을 보일 것으로 예상한 버스 역시 특정 시나리오 그룹에서는 높은 오차를 기록하였다. 이는 시나리오 개수, 빈도뿐만 아니라 객체의 동적 특성과 도로 기하구조가 예측 성능에 함께 영향을 미친다는 것을 의미한다.

전체적으로 예측 오차가 큰 그룹은 교차로 포함 시나리오에서 두드러졌으며 기하구조에 따른 성능 차이를 살펴보면 교차로가 포함되지 않은 시나리오에서 minADE@6는 0.64-1.22m, minFDE@6는 1.71- 3.21m의 범위로 나타났다. 특히 교차로 포함 조건 내에서 각각 0.36-1.81m와 0.86-4.61m로 성능 범위가 확대되었으며 이는 도로 구조의 이동 궤적 예측 성능 저하와 관련될 수 있음을 보여준다. 특히 교차로는 분기, 합류, 회전, 교행이 함께 나타날 수 있는 공간이므로, 많은 경우의 수를 동시에 예측해야 한다. 이로 인해 최종점의 불확실성이 증가하고 minFDE와 같은 최종 위치 기반 평가지표에서 더 큰 오차가 발생할 수 있다.

https://cdn.apub.kr/journalsite/sites/kst/2026-044-05/N0210440513/images/kst_2026_445_973_F6.jpg

Figure 6

Prediction performance by scenarios

결론

본 연구는 도심 주행 환경에서 이동 궤적 예측 모델의 성능 차이를 분석하기 위해 Argoverse2 데이터를 활용하여, 주행 시나리오를 객체 기반 요인과 기하 구조 기반 요인을 활용해 분류하는 프레임워크를 제안하였다. 전체 224,896개의 시나리오를 위의 기준으로 유형을 분류하고 각 시나리오 그룹별로 LSTM 기반의 CVAE 모델을 적용하여 성능을 비교하였다. 분석 결과, 궤적 예측 성능에는 도로의 기하 구조적 요인보다 예측 대상 객체의 유형이 더 큰 영향을 미쳤다. ‘보행자’ 시나리오가 가장 낮은 거리 기반 오차를 보였고 ‘오토바이’ 시나리오에서 가장 높은 오차가 관측되었다. 그러나 동시에, 도로의 기하 구조적 특징도 예측 성능에 큰 영향을 미친다는 점을 알 수 있었다. 예를 들어 교차로를 포함하는 시나리오에서는 교차로가 없는 시나리오 보다 minADE가 평균적으로 0.2m정도가 늘어나고 minFDE가 평균적으로 0.55m 증가한다. 이에 따라 복잡한 기하구조가 예측 오차뿐만 아니라 성능 변동성도 확대되어 안정적인 궤적 예측이 어려워질 수 있음을 보여준다.

본 연구는 자율주행 데이터에 포함된 주변 객체 정보와 도로 기하구조 특성을 기반으로 이동 경로 시나리오를 분류하고 분류된 시나리오 유형별로 궤적 예측 성능을 비교함으로써 시나리오 수준에서 모델의 예측 난이도와 취약 조건을 분석하였다. 이러한 분석은 전체 평균 성능만으로 확인하기 어려운 객체 유형, 교차로 조건, 차로 복잡도와 같은 기준에 따른 성능 차이를 구체적으로 확인하는 데 활용될 수 있다. 특히 본 연구의 분석 결과는 국내 자율주행 실증에서 교차로, 복잡한 차로 구조 및 특정 객체 유형과 관련된 취약 조건을 우선 평가 시나리오로 선정하는 데 참고할 수 있다. 또한 엣지 케이스 개선을 위한 데이터 증강 과정에서 오차와 실패율이 높은 시나리오의 수집 및 학습 비중을 우선적으로 확대하기 위한 근거로 활용될 수 있다. 시나리오별 성능 차이는 취약 시나리오에 대한 데이터 증강, 학습 데이터 재구성, 모델 구조 개선 등의 후속 개발/연구 방향을 설정하는 근거로 활용될 수 있다. 이에 따라 본 연구의 시나리오 기반 분석 결과는 궤적 예측 모델의 한계 조건을 파악하고 강건한 예측 모델을 개발하기 위한 참고 지표로 활용될 수 있다.

다만 본 연구에서는 CVAE 기반 베이스 라인 모델을 중심으로 Argoverse2데이터 만을 사용하여 시나리오별 성능 차이를 분석하였기 때문에 제안한 시나리오 분류 기준에 따른 궤적 예측 모델에서도 동일한 경향을 보이는지는 추가적인 검증이 필요하며 여러 데이터에 분류 기준을 적용해 성능 차이를 확인할 필요가 있다. 또한 분류 기준 중 도로 복잡도의 임계값에 대한 정의를 도로망의 특성(노드, 링크, 연결성)을 고려하여 정량적인 분석으로 보완이 필요하다. 향후 연구에서는 분류기준의 정량적 분석과 그에 따른 임계값 설정, 다양한 모델과 궤적 예측 데이터셋에 시나리오 분류 방법을 적용하여 취약 시나리오를 식별하고 해당 시나리오에 대한 데이터 증강, 학습 샘플 재구성, 모델 구조 개선과 같은 해결 방안을 개발하는 방향으로 연구를 확장할 수 있을 것이다.

Funding

This work was supported by Institute of Information & communications Technology Planning & Evaluation (IITP) grant funded by the Korea government(MSIT) (RS-2023-00244929, Development of connected-based cognitive enhancement and cooperative autonomous driving technology of Level 4 autonomous vehicles)

알림

본 논문은 한국ITS학회 2026년도 춘계학술대회(2026.04.23)에서 발표된 내용을 수정·보완하여 작성된 것입니다.

References

Alahi A., Goel K., Ramanathan V., Robicquet A., Fei-Fei L., Savarese S. (2016), Social LSTM: Human Trajectory Prediction in Crowded Spaces, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 961-971.

10.1109/CVPR.2016.110

Caesar H., Bankiti V., Lang A. H., Vora S., Liong V. E., Xu Q. et al. (2020), nuScenes: A Multimodal Dataset for Autonomous Driving, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 11621-11631.

10.1109/CVPR42600.2020.01164

Chang M. F., Lambert J., Sangkloy P., Singh J., Bak S., Hartnett A. et al. (2019), Argoverse: 3D Tracking and Forecasting with Rich Maps, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 8748-8757.

10.1109/CVPR.2019.00895

Chen C., Pourkeshavarz M., Rasouli A. (2024), CRITERIA: A New Benchmarking Paradigm for Evaluating Trajectory Prediction Models for Autonomous Driving, Proceedings of the 2024 IEEE International Conference on Robotics and Automation (ICRA), IEEE, 8265-8271.

10.1109/ICRA57147.2024.10610911

Choi S., Kim J., Yu H., Ka D., Yeo H. (2019), Deep-learning Based Urban Vehicle Trajectory Prediction, J. Korean Soc. Transp., 37(5), Korean Society of Transportation, 422-429.

10.7470/jkst.2019.37.5.422

Codevilla F., Santana E., López A. M., Gaidon A. (2019), Exploring the Limitations of Behavior Cloning for Autonomous Driving, Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), IEEE, 9329-9338.

10.1109/ICCV.2019.00942

Deo N., Trivedi M. M. (2018), Multi-Modal Trajectory Prediction of Surrounding Vehicles with Maneuver Based LSTMs, Proceedings of the IEEE Intelligent Vehicles Symposium (IV), IEEE, 1179-1184.

10.1109/IVS.2018.8500493

Department for Transport (2022), Connected and Automated Mobility 2025: Realising the Benefits of Self-driving Vehicles in the UK, Policy Paper, UK Government.

Ettinger S., Cheng S., Caine B., Liu C., Zhao H., Pradhan S. et al. (2021), Large Scale Interactive Motion Forecasting for Autonomous Driving: The Waymo Open Motion Dataset, Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), IEEE, 9710-9719.

10.1109/ICCV48922.2021.00957

Farid A., Veer S., Ivanovic B., Leung K., Pavone M. (2023), Task-Relevant Failure Detection for Trajectory Predictors in Autonomous Vehicles, Proceedings of the 6th Conference on Robot Learning (CoRL), Proceedings of Machine Learning Research, 205, 1959-1969.

Gao J., Sun C., Zhao H., Shen Y., Anguelov D., Li C. et al. (2020), VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 11525-11533.

10.1109/CVPR42600.2020.01154

Grand View Research (2024), Autonomous Vehicles Market Size, Share & Trends Analysis Report by Application, by Region, and Segment Forecasts 2024-2030, Industry Report, Grand View Research.

Gu J., Sun C., Zhao H. (2021), DenseTNT: End-to-End Trajectory Prediction from Dense Goal Sets, Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), IEEE, 15303-15312.

10.1109/ICCV48922.2021.01502

Hochreiter S., Schmidhuber J. (1997), Long Short-Term Memory, Neural Computation, 9(8), MIT Press, 1735-1780.

10.1162/neco.1997.9.8.1735

Houenou A., Bonnifait P., Cherfaoui V., Yao W. (2013), Vehicle Trajectory Prediction Based on Motion Model and Maneuver Recognition, Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 4363-4369.

10.1109/IROS.2013.6696982

Kim T. J., Oh C., Kang K. P. (2011), Prediction of Rear-end Crash Potential Using Vehicle Trajectory Data, J. Korean Soc. Transp., 29(3), Korean Society of Transportation, 73-82.

Lee J. K., Yang I. C., Kim H. S. (2025), A Study on Efficient Methodology of Using Transformers to Predict Vehicle Turning Trajectories at Intersections, Journal of Korean Society of Intelligent Transport Systems, Korean Society of Intelligent Transport Systems, 24(1), 26-37.

10.12815/kits.2025.24.1.26

Lee N., Choi W., Vernaza P., Choy C. B., Torr P. H. S., Chandraker M. (2017), DESIRE: Distant Future Prediction in Dynamic Scenes With Interacting Agents, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 336-345.

10.1109/CVPR.2017.233

Li X., Ying X., Chuah M. C. (2019), GRIP: Graph-based Interaction-aware Trajectory Prediction, Proceedings of the 2019 IEEE Intelligent Transportation Systems Conference (ITSC), IEEE, 3960-3966.

10.1109/ITSC.2019.8917228

Liang M., Yang B., Hu R., Chen Y., Liao R., Feng S. et al. (2020), Learning Lane Graph Representations for Motion Forecasting, Proceedings of the European Conference on Computer Vision (ECCV), Springer, 541-556.

10.1007/978-3-030-58536-5_32

National Highway Traffic Safety Administration (2017), Automated Driving Systems 2.0: A Vision for Safety, Report No.DOT HS 812 442, U.S. Department of Transportation.

Nayakanti N., Al-Rfou R., Zhou A., Goel K., Refaat K. S., Sapp B. (2023), Wayformer: Motion Forecasting via Simple & Efficient Attention Networks, Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), IEEE, 2980-2987.

10.1109/ICRA48891.2023.10160609

Ngiam J., Caine B., Vasudevan V., Zhang Z., Chiang H. T. L., Ling J. et al. (2022), Scene Transformer: A Unified Architecture for Predicting Multiple Agent Trajectories, Proceedings of the International Conference on Learning Representations (ICLR).

Salzmann T., Ivanovic B., Chakravarty P., Pavone M. (2020), Trajectron++: Dynamically-Feasible Trajectory Forecasting With Heterogeneous Data, Proceedings of the European Conference on Computer Vision (ECCV), Springer, 683-700.

10.1007/978-3-030-58523-5_40

Schwarting W., Alonso-Mora J., Rus D. (2018), Planning and Decision-Making for Autonomous Vehicles, Annual Review of Control, Robotics, and Autonomous Systems, 1(1), Annual Reviews, 187-210.

10.1146/annurev-control-060117-105157

Shi S., Jiang L., Dai D., Schiele B. (2022), Motion Transformer with Global Intention Localization and Local Movement Refinement, Advances in Neural Information Processing Systems (NeurIPS), 35, 6531-6543.

10.52202/068431-0473

Stoler B., Navarro I., Jana M., Hwang S., Francis J., Oh J. (2024), SafeShift: Safety-Informed Distribution Shifts for Robust Trajectory Prediction in Autonomous Driving, Proceedings of the 2024 IEEE Intelligent Vehicles Symposium (IV), IEEE, 1179-1186.

10.1109/IV55156.2024.10588828

Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N. et al. (2017), Attention Is All You Need, Advances in Neural Information Processing Systems (NeurIPS), Curran Associates, Inc., 5998-6008.

Wilson B., Qi W., Agarwal T., Lambert J., Singh J., Khandelwal S. et al. (2021), Argoverse 2: Next Generation Datasets for Self-driving Perception and Forecasting, Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks (NeurIPS Datasets and Benchmarks), NeurIPS.

Xu C., Ding W., Lyu W., Liu Z., Wang S., He Y. et al. (2022), SafeBench: A Benchmarking Platform for Safety Evaluation of Autonomous Vehicles, Advances in Neural Information Processing Systems (NeurIPS), 35, Datasets and Benchmarks Track., 25667-25682.

10.52202/068431-1861

Yan Z., Li P., Fu Z., Xu S., Shi Y., Chen X. et al. (2023), INT2: Interactive Trajectory Prediction at Intersections, Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), IEEE, 8536-8547.

10.1109/ICCV51070.2023.00784

Zhao H., Gao J., Lan T., Sun C., Sapp B., Varadarajan B. et al. (2021), TNT: Target-driven Trajectory Prediction, Proceedings of the 2020 Conference on Robot Learning (CoRL), Proceedings of Machine Learning Research, 155, 895-904.

Zhou Z., Wang J., Li Y. H., Huang Y. K. (2023), Query-Centric Trajectory Prediction, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 17863-17873.

10.1109/CVPR52729.2023.01713

Zhou Z., Ye L., Wang J., Wu K., Lu K. (2022), HiVT: Hierarchical Vector Transformer for Multi-Agent Motion Prediction, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 8823-8833.

10.1109/CVPR52688.2022.00862

Journal of Korean Society of Transportation ISSN:1229-1366(Print) 2234-4217(Online) 대한교통학회지

Preview

Scenario Classification for Vehicle Trajectory Prediction in Urban Environments using Multi-Agent and Geometry Context

ABSTRACT

MAIN

Table 1.

Comparison of scenario-based evaluation approaches

Figure 1

Argoverse 2 motion forecasting dataset example

Table 2.

Scenario data description

Figure 2

Research framework

(1)

(2)

(3)

Figure 3

Overall system framework of the proposed scenario-level evaluation

(4)

(5)

(6)

Figure 4

CVAE model architecture

Table 3.

Hyperparameter description

(7)

(8)

(9)

(10)

Figure 5

Training-validation loss, MinADE@6, MinFDE@6

Figure 6

Prediction performance by scenarios

Funding

알림

References