서론
1. 연구 배경
2. 연구 공백
관련 연구
1. 자율주행 안전성 평가
2. 비디오-언어 모델 (Video-Language Model; VLM)
3. 주행 특화 VLM 벤치마크
연구 방법
1. 평가 프레임워크
2. 데이터셋 및 질의 문항 설계
3. 평가 모델
4. 평가 지표
결과 및 논의
1. 정량 평가 결과
2. 정성 분석 결과
3. 논의 및 시사점
결론
서론
1. 연구 배경
자율주행 시스템에서 안전성 평가는 사고 이후 결과의 설명뿐만 아니라, 사고 발생 이전 단계에서 위험의 형성 및 증가 여부를 인지하는 데 그 목적이 있다 (Laureshyn et al., 2010; Westhofen et al., 2023). 실도로 환경에서는 차량, 보행자, 자전거, 차로 구조, 신호 체계, 가시성 등과 같은 요소가 동시에 작용하며, 위험은 이들의 상호작용 속에서 점진적으로 나타난다(Ulbrich et al., 2015; Westhofen et al., 2023). 따라서 안전한 자율주행 시스템은 인지 영역 내 객체를 인식하는 수준을 넘어, 특정 객체나 상황이 언제 위험 요인으로 전환되는지를 판단할 수 있어야 한다.
최근 대규모 언어 모델과 시각-언어 모델(Video-Language Models, VLMs)의 발전은 주행 영상의 자연어 해석 가능성을 확대하고 있으며 (Cui et al., 2024), 특히, 장면 요약, 객체 행동 설명, 사건 순서 해석, 위험 상황 질의응답 등에 활용될 수 있어 자율주행 안전 분야에서 주목받고 있다(Li et al., 2025; Marcu et al., 2024; Zhang et al., 2025b). 그러나, 일반 비디오 벤치마크에서의 성능이 곧바로 주행 위험 이해 능력을 의미하지는 않는다. 주행 영상에서는 작은 단서들이 시간에 따라 변화 및 누적되며, 여러 요소가 상호작용하고, 짧은 순간에도 잠재적인 위험상황이 발생할 수 있다. 따라서 자율주행 시스템에서의 VLM 활용은 단순 장면 설명보다 높은 수준의 시공간 추론, 시각적 근거화, 안정적인 위험 판단이 요구된다 (Li et al., 2024; Fu et al., 2025; Xie et al., 2025).
이러한 모델을 평가할 때, 중요한 설계 요소 중 하나로 대화 모드를 꼽을 수 있다. 위험 인지 평가는 하나의 질문에 대한 단편적 응답을 생성하는 문제라기보다, 동일한 주행 장면을 여러 관점에서 단계적으로 해석하는 과정에 가깝다. 따라서 질문이 독립적으로 제시되는지 (단일 턴, single-turn), 또는 누적된 이전 질문들을 바탕으로 상황을 일관된 맥락으로 유지하는지는(멀티 턴, multi-turn) 모델의 주행 장면 이해 능력과 위험 판단 안정성을 평가하는 데 중요한 조건이 될 수 있다. 이는 실제 자율주행 안전 시스템에서 동일한 장면에 대해 장면 설명, 객체 행동 해석, 위험 요인 식별, 위험 가능성 판단과 같은 질문이 연속적으로 입력될 수 있는 상황을 고려한 것이다. 이때 누적된 맥락이 위험 판단을 정교화하는지, 또는 초기 오류와 시각적 환각(visual hallucination)을 후속 응답으로 전파하는지는 모델의 맥락 활용 능력과 위험 추론 신뢰성을 검증하는 핵심 기준이 된다.
2. 연구 공백
기존 VLM 평가 프레임워크는 주행 영상에서 요구되는 교통 위험 이해를 평가하기에는 구조적인 괴리가 존재한다. 첫째, 일반 비디오 질의응답 벤치마크는 대체로 일반적인 장면 이해, 사건 설명, 행동 인식에 초점을 두고 있으며 (Li et al., 2024; Fu et al., 2025), 주행 장면에서 위험이 형성되는 과정을 평가하도록 설계된 경우는 제한적이다. 최근 주행 장면에 인식에 관한 연구들 역시 장면 설명, 객체 행동 해석, 개방형 응답 평가에 집중하는 경향이 있어 (Qian et al., 2024; Marcu et al., 2024; Sima et al., 2024), 환경 인지에서 상호작용 이해를 거쳐 최종 위험 식별에 이르는 단계적 추론 과정을 체계적으로 분해하는 데 한계가 존재한다. 둘째, 단일 턴과 다중 턴 대화 모드가 위험 판단에 미치는 영향은 충분히 검토되지 않았다. 특히, 다중 턴 맥락은 이전 응답에서 식별된 객체 관계와 위험 단서를 통합하는 데 기여할 수 있지만, 동시에 환각, 위험 과잉 해석, 초기 오류의 전파, 반복 생성, 응답 붕괴와 같은 문제를 유발할 수 있다(Xie et al., 2025). 셋째, 전체 정확도 중심의 평가는 안전성 관점에서 중요한 실패 양상을 충분히 포착하기 어렵다.
이러한 공백에 기반하여, 본 연구는 주행 영상에서의 위험 이해를 시공간 환경 인지(Q1), 에이전트 간 상호작용 이해(Q2), 핵심 위험 식별(Q3)의 세 단계의 질문으로 분해하는 구조화된 평가틀을 제안하는 것에 그 목적이 있다. 이를 위해 본 연구에서는 다양한 VLM을 대상으로 단일 턴과 다중 턴 대화 모드에 따라 대화 맥락이 위험 판단을 정교화하는지 또는 오류 전파와 환각을 증폭시키는지를 비교하며, 실제 주행 영상과 자연어 설명를 함께 연결한 VLA (Vision-Language-Action) 기반 자율주행 데이터셋인 CoVLA (Comprehensive Vision-Language-Action Dataset) 데이터셋(Arai et al., 2025)을 가공 및 구조화하여 활용한다.
본 연구의 기여는 아래의 세 가지로 요약할 수 있다.
1. 주행 영상 위험 이해를 시공간 환경 인지, 에이전트 간 상호작용 이해, 핵심 위험 식별의 세 단계로 분해하고, 각 단계를 평가 가능한 질문 구조로 구현한다.
2. 실제 주행 영상과 구조화된 질문 항목을 결합하여, 객관식 정량 평가와 개방형 정성 분석을 함께 수행할 수 있는 평가 프로토콜을 제시한다.
3. 단일 턴과 다중 턴 대화 모드가 주행 위험 이해에 미치는 영향을 분석하여, 누적된 대화 맥락이 위험 단서 통합에 기여하는지 , 또는 초기 오류와 환각을 후속 응답으로 전파하는지를 다양한 관점에서 분석 및 진단한다.
관련 연구
1. 자율주행 안전성 평가
자율주행 안전성 평가 연구는 주행 거리의 누적이나 사고 이후 기록만으로는 자율주행 시스템의 안전성을 충분히 검증하기 어렵다는 점을 지속적으로 지적해 왔다. Koopman and Wagner(2016)는 비결정적 알고리즘, 운전자 부재, 복잡한 요구사항 때문에 자율주행차 검증을 기존 절차만으로 해결하기 어렵다고 주장하였다. Ulbrich et al.(2015)은 장면, 상황, 시나리오 개념을 구분하여 시나리오 기반 시험과 평가의 기술적 토대를 마련하였다. 이러한 흐름은 자율주행 안전성 평가의 초점을 “얼마나 오래 주행했는가”라는 노출 기반 검증에서 “어떤 상황에서 어떤 위험이 형성될 수 있는가”라는 시나리오 및 위험 기반 검증으로의 문제로 전환했다는 점에서 중요하다.
교통안전 분야에서는 사고가 희귀 사건이기 때문에 충돌 자체보다 충돌로 이어질 수 있는 상충과 준위험 상황 분석이 강조되어 왔다. Laureshyn et al.(2010)은 미시적 행태 자료에 기반한 안전 계층을 제안하고 사고 이전 상호작용을 안전성 평가의 핵심 단위로 보았다. Westhofen et al.(2023)은 자동주행 맥락에서 사용되는 위험도 지표를 체계적으로 검토하였고, Papadoulis et al.(2019)과 Jeong et al.(2017)은 혼재 교통 또는 부분 자동화 환경에서 대리 안전 지표와 교통 운영의 중요성을 보였다. 그러나 기존 연구는 주로 시뮬레이션, 상충 지표, 시나리오 포괄성, 운영 전략 평가에 초점을 두었으며, 실제 주행 영상으로부터 인공지능 모델(특히 본 연구에서는 VLM)이 사고 이전 위험의 형성 과정과 그 원인을 얼마나 신뢰성 있게 해석할 수 있는지를 직접 평가한 연구는 여전히 제한적이다.
2. 비디오-언어 모델 (Video-Language Model; VLM)
VLM 연구는 정적 이미지 이해를 넘어 비디오 요약, 대화형 질의응답, 설명 생성으로 확장되고 있다 (Cui et al., 2024). 자율주행 영역에서도 이러한 흐름은 주행 영상을 언어적으로 해석하려는 연구로 이어지고 있다. 그 예로써, Li et al.(2025)에서 제안한 VideoChat을 꼽을 수 있다. 해당 연구의 저자들은 비디오 중심 지시 튜닝과 대화형 인터페이스를 통해 영상 기반 대화형 이해의 가능성을 보여 주었으나, 여전히 비디오 이해는 단일 프레임 인식과 구별되는 시간적 추론 문제를 포함한다고 말하고 있다. 또 다른 예로써, Li et al. (2024)에서 제안한 MVBench는 시간 지각과 고차 인지 과제를 통해 많은 모델이 시간 정보가 필요한 문제에서 충분한 성능을 달성하지 못함을 보였다. Fu et al.(2025)에서도 Video-MME를 제안하여 긴 영상, 다양한 시각 도메인 등을 포함한 복합 입력 조건에서 모델의 비디오 이해 성능을 평가하였으며, 여기서 또한 영상 길이가 증가할수록 모델 성능이 저하되는 경향을 보고하였다.
교통안전 관점의 주행 영상 이해에서는 이러한 시간적 추론 문제가 더욱 직접적으로 작용하고, 일반적인 장면 설명이나 비디오 질의응답보다 더 엄격한 판단을 요구한다. 따라서 일반 비디오 벤치마크에서 높은 성능을 보인 모델이라 하더라도, 이를 곧바로 자율주행 안전 맥락에서 요구되는 교통 위험 이해 능력으로 해석하기는 어렵다. 이러한 관점에서 주행에 특화된 VLM은 교통안전 특화 요소를 반영한 별도의 평가 구조를 통해 검증될 필요가 있다.
3. 주행 특화 VLM 벤치마크
주행 특화 언어 벤치마크는 설명 가능성, 시각 질의응답, 체인 기반 추론, 계획 지원 방향으로 발전해 왔다. 몇 가지 기존 연구들을 살펴보면, Kim et al.(2018)은 BDD-X를 통해 인간 운전 행태에 대한 자연어 설명과 정당화를 제시하였고, Qian et al.(2024)의 NuScenes-QA는 자율주행 장면에 대한 다중 프레임 질의응답을 확장하였다. Marcu et al.(2024)의 LingoQA는 짧은 주행 영상을 기반으로 개방형 응답의 진실성을 평가하는 프레임워크를 제안하였다. 최근에는 DriveLM, Reason2Drive, LaMPilot과 같이 지각, 예측, 추론, 계획을 연결하는 벤치마크도 제안되었다 (Sima et al., 2024; Nie et al., 2024; Ma et al., 2024). 그러나 위 연구들은 주로 설명 생성 및 추론, 지시 이행에 비중을 두며, 사고 이전 위험 발생 자체를 정량적이고 재현 가능하게 검증하는 데에는 한계가 있다.
신뢰성과 안전을 중심의 평가와 관련된 연구(Ansarinejad et al., 2025; Xie et al., 2025)를 살펴보면, DriveBench는 자율주행 VLM이 시각 증거보다 일반 지식이나 텍스트 단서에 의존할 수 있음을 지적하였다.
그럼에도 주행 영상 관점에서의 교통 위험 이해에 초점을 두고 검증 가능한 단계로 구조화하는 평가 프로토콜은 여전히 부족하다. 본 연구는 이 공백을 다루고자 한다.
연구 방법
1. 평가 프레임워크
본 연구의 VLM의 주행 위험 이해 성능 평가 프레임워크는 Figure 1과 같이 평가 데이터 구축, 모델 응답 생성, 응답 채점 및 진단 분석의 순서로 구성된다. 먼저, CoVLA에서 표본 추출한 주행 영상을 바탕으로 구조화된 질문 세트를 구성하고, 동일한 영상과 질문을 7개의 VLM에 입력하여 응답을 수집한다. 이후 모델 응답을 캡션 기반 기준 라벨과 비교하여 정량/정성적 분석을 통해, 정확도 및 맥락 활용과 생성 안정성을 함께 검토한다.
본 평가 프레임 설계의 핵심은 교통 위험 이해를 하나의 단일 과제로 평가하지 않고, 시공간 환경 인지(Q1), 에이전트 간 상호작용 이해(Q2), 핵심 위험 식별(Q3)의 세 단계로 나누어 평가하는 것이다. Q1은 도로 환경과 장면 수준의 정보를 이해하는지, Q2는 자차와 주변 객체 사이의 상호작용을 해석하는지, Q3은 운전자가 우선적으로 고려해야 할 위험 요인을 식별하는지를 확인하기 위한 문항이다. 이와 같은 단계적 구조를 통해 모델이 어느 단계에서 오류를 내기 시작하는지, 초기 오류가 이후 위험 판단으로 어떻게 전파되는지를 해석할 수 있다.
대화 모드를 살펴보면, 단일 턴 설정에서는 모델이 현재 영상 V와 현재 질문 Qi만 입력받으며, Q1, Q2, Q3는 서로 독립적으로 처리된다. 다중 턴 설정에서는 Q1, Q2, Q3을 순차적으로 제시하고, 이전 질문과 모델 자신의 이전 응답을 다음 입력의 일부로 유지한다. 따라서 다중 턴은 정답 이력을 제공하는 조건이 아니라, 모델이 스스로 생성한 대화 맥락을 활용하는 조건이다.
2. 데이터셋 및 질의 문항 설계
선술한 바와 같이, 본 연구에서는 CoVLA 데이터셋을 가공하여 활용한다. 구체적으로, 다양한 주행 상황을 포함하는 약 500개의 영상을 무작위 표본 추출하고, 약 1,500개의 질문 항목(각 영상별 Q1, Q2, Q3)을 구성한다. CoVLA 데이터셋은 실제 주행 영상, 자연어 설명, 주행 행동 정보를 함께 연결한 VLA 기반 자율주행 데이터셋으로, 약 10,000개의 실제 주행 클립과 80시간 이상의 주행 영상으로 구성되어 있으며 (Arai et al., 2025), 자동 데이터 처리 및 캡션 생성 파이프라인을 통해 주행 환경, 주변 객체, 차량 기동 등의 단서를 구조화한다는 점에서, 본 연구의 주안점인 주행 환경 인지, 상호작용 이해, 위험 요인 식별 문항을 설계하는데 적합하다.
추출된 표본은 모든 대상 모델에 대해 Q1-Q3을 단일 턴과 다중 턴 조건에서 반복 평가해야 하는 계산 비용, 출력 파싱 및 점검 가능성, 모델 간 동일 조건 비교의 안정성을 함께 고려하여 설정하였다. 표본은 도시 간선도로, 교외 집산도로, 지방도로, 고속화도로, 주차 시설과 다양한 조명 및 날씨 조건을 포함한다. 다만, 장면 범주별 균형을 보장하는 층화 표본은 아니므로 특정 위험 범주별 일반화 성능을 추정하는 결과로 해석해서는 안 된다.
질의 문항 Q1, Q2, Q3의 설계 기준은 다음과 같다. Q1은 도로 환경과 장면 수준 증거를 포착하고, Q2는 주행 차량이 처리해야 하는 주요 객체 수준 상호작용을 평가하며, Q3은 운전자가 우선적으로 고려해야 할 핵심 위험을 묻는다. 정량 평가를 위해서, 각 단계를 고정 답변 공간을 갖는 객관식 문항으로 변환한다. 기준 라벨은 CoVLA 데이터셋의 캡션 기반 벤치마크 라벨이며, 이는 실제 교통안전 판단 능력의 절대적 측정값이 아니라, 캡션 기반 구조화 라벨과 모델 응답 사이의 일치도를 의미한다. 특히 Q2와 Q3에서는 동일한 장면에 대해 복수의 합리적 해석이나 위험 우선순위가 가능할 수 있으므로, 본 연구는 개방형 안전 판단 전체를 평가하기보다 제한된 답변 공간 안에서 재현 가능한 비교 문제로 평가 문항을 설정한다.
정성적 분석에서는 동일한 질문 구조를 유지하되, 개방형 프롬프트를 사용하여 추론 구조와 시각적 근거화, 실패 패턴을 검토한다. 이를 통해 모델이 어떤 시각적 근거를 제시하는지, 위험 판단의 논리가 일관적인지, 환각이나 위험 과잉 해석이 발생하는지를 사례 중심으로 검토하였다. 상세 입력 프롬프트의 예시는 Table 1에 제시하였다.
Table 1.
Structured input prompts for Q1, Q2, and Q3
3. 평가 모델
평가 모델은 공개 리더보드와 공개 체크포인트를 기준으로, 성능 수준, 모델 규모, 구현 방식, 생성 안정성이 서로 다른 Qwen3VL (8B) (Bai et al., 2025), InternVL3.5 (8B) (Wang et al., 2025), VideoLLaMA3 (7B) (Zhang et al., 2025a), BLIP3 (4B) (Xue et al., 2024), SALMONN2+ (7B) (Sun et al., 2025), Videochat-R1.5 (7B) (Yan et al., 2025), GLM-4.6V-Flash (9B) (Z.ai, 2026a; Z.ai, 2026b) 등의 7개 모델을 선정하였다. 각 VLM의 특징에 대해 간략히 설명하자면, Qwen3VL과 InternVL3.5은 일반 시각 추론 및 비디오 이해 능력이 우수한 기준 모델로 선정하였다. VideoLLaMA3와 Videochat-R1.5는 비디오 및 대화형 응답 특성을 비교하기 위해 선정하였으며, BLIP3와 GLM-4.6V-Flash는 상대적으로 경량 또는 효율 지향 모델의 가능성과 한계를 검토하기 위한 비교군으로 포함하였다. SALMONN2+는 서로 다른 멀티모달 정렬 특성을 가진 모델로 포함하였다.
모든 실험은 동일한 하드웨어 환경(NVIDIA H200 GPU-141 GB VRAM)에서 수행되었다. 모델 구조상 제약이 있는 경우를 제외하고 temperature(토큰 샘플링의 확률적 변동성을 조절하는 생성 하이퍼파라미터)는 0으로 설정하여 응답 변동성을 최소화하였고, 최대 출력 토큰 수는 1024, 프레임 샘플링은 클립당 균등 간격 16프레임으로 설정하였다. 입력 해상도는 각 모델의 기본 전처리 파이프라인을 따랐다. 다중 턴 설정에서는 이전 질문과 모델 응답을 대화 이력에 누적하였지만, 이전 턴의 KV-cache, 시각 임베딩, 명시적 visual cache를 다음 턴으로 전달하지 않았다. 따라서 다중 턴 실행 시간은 명시적 캐시 재사용 효과가 아니라 누적 대화 이력 구성, 영상 입력 처리 방식, 생성 길이, 조기 종료 여부, 모델별 내부 처리 차이가 결합된 관찰값으로 해석하였다.
4. 평가 지표
먼저, 정량 평가 지표를 살펴보면, 정확도는 각 문항의 캡션 기반 기준 라벨과 모델 응답에서 추출한 최종 선택 라벨이 일치하는 비율로 정의하였다. 한 모델과 한 대화 모드에 대해 총 1,500개 문항을 평가하였으며, Q1, Q2, Q3 문항별 정확도는 각 단계별 500개 문항 중 정답으로 판정된 비율로 계산하였다. 전체 정확도는 세 단계의 모든 문항을 합산하여 산출하였다.
모델 응답은 정규표현식과 휴리스틱 규칙을 결합하여 최종 선택지를 추출하였다. 명시적 선택지 기호나 선택지 문구를 신뢰성 있게 식별할 수 없는 경우에는 Unknown (오답으로 집계)으로 처리하였다. 자동 응답 파서를 검증하기 위해 180개 모델 응답을 수동 점검하였고, 해당 부분집합에서 파서는 100%의 선택지 추출 정확도를 보였다. 모델 간 성능 차이를 살펴보기 위해, 동일한 영상-질문 쌍의 정오 벡터를 활용한다. 통계 검정에는 대응표본 McNemar 검정을 사용하였고, 다중 비교에서는 Holm-Bonferroni 절차로 p 값을 보정하였다.
정성 분석은 동일한 구조화 질문을 사용하여 5개 클립으로 구성된 파일럿 부분집합에서 수행하였다. 이 클립들은 장면 복잡도, 도로 유형, 상호작용 밀도, 위험 양상이 서로 다르도록 선정하였다. 분석 차원은 맥락 이력 활용, 응답 품질, 시각적 근거 기반 추론, 실패 패턴의 네 가지 범주로 구성하였다. 정성 분석은 전체 모델 행동을 통계적으로 일반화하기 위한 목적이 아니라, 정량 정확도만으로는 드러나기 어려운 환각, 위험 과잉 해석, 반복 생성, 시각적 근거 부족을 사례 기반으로 해석하기 위한 보조 분석으로 수행하였다.
결과 및 논의
본 장은 CoVLA에서 표본 추출한 주행 영상과 질문 항목에 대해 7개의 VLM의 결과를 비교한다.
1. 정량 평가 결과
Table 2는 단일 턴 및 다중 턴 조건에서의 문항별 정확도를 보여준다. 이를 분석해보자면, 전체적으로 Q1의 정확도가 가장 높고 Q3의 정확도가 가장 낮아, 제안한 3단계 벤치마크가 단일 평균 정확도만로는 드러나기 어려운 위험 이해의 단계별 취약성을 분리하여 보여 줄 수 있음을 의미한다. 단일 턴에서 GLM-4.6v-flash는 Q1에서 63.6%로 가장 높은 점수를 얻어 장면 구조와 차로 및 표지 요소 인식에 강점을 보였고, SALMONN2+는 Q2에서 62.4%를 기록하였다. 그러나 핵심 위험 식별 과제인 Q3에서는 Qwen3VL만이 51.8%로 50%를 넘었다. 이는 높은 Q1 또는 Q2 성능이 Q3 성능으로 자동 연결되지 않으며, 환경 인지와 상호작용 이해를 우선 위험 식별로 연결하는 추론 고리가 핵심 병목임을 보여 준다.
Table 2.
Question-wise quantitative performance of the seven target models under the two dialogue modes
Table 3은 모델별 평균 정확도에 대한 통계적 검정 결과를 나타낸다. 전체 정확도에서는 Qwen3VL과 GLM-4.6v-flash가 상대적으로 높은 성능을 보였지만, 상위 모델 간 차이가 모든 비교에서 통계적으로 분리되지는 않았다. 따라서 본 결과는 특정 모델의 절대적 우위를 확정하기보다, 모델들이 환경 인지, 상호작용 이해, 핵심 위험 식별 단계에서 서로 다른 강점과 취약성을 보인다는 점에 초점을 두어 해석할 필요가 있다.
Table 3.
Selected pairwise McNemar test results for overall accuracy (“n.s.” indicates non-significance)
다중 턴 조건에서는 Qwen3VL이 53.5%로 가장 높은 전체 정확도를 기록했으며, VideoChat-R1.5(52.2%)와 VideoLLaMA3(51.5%)가 뒤를 이었다. 문항별 최고 성능은 Q1에서 Qwen3VL과 InternVL3.5가 각 63.2%, Q2에서 VideoChat-R1.5가 61.0%, Q3에서 Qwen3VL이 46.0%를 기록하였다. 그러나 다중 턴 설정에서도 Q3는 여전히 가장 어려운 과제로 나타났다. 이는 누적된 대화 맥락이 최종 위험 판단을 항상 개선하는 것은 아니며, 위험 식별 단계에서는 맥락 통합보다 오류 전파나 판단 불안정성이 더 크게 작용할 수 있음을 시사한다.
단일 턴 대비 다중 턴의 효과는 모델별로 상반되게 나타났다. Videochat-R1.5는 전체 정확도가 48.3%에서 52.2%로 3.9%p 향상되었고, 특히 Q3가 31.0%에서 40.4%로 상승하였다. VideoLLaMA3와 BLIP3도 각각 1.8%p와 0.9%p의 제한적 향상을 보였다. 반면 Qwen3VL은 전체 정확도가 2.1%p 하락하였고, GLM-4.6v-flash는 6.5%p 하락했으며, InternVL3.5는 전체 점수는 거의 유지했지만 Q3 정확도는 7.8%p 감소하였다. 가장 극적인 변화는 SALMONN2+에서 관찰되었다. 이 모델의 전체 정확도는 47.5%에서 13.5%로 붕괴하였고, 970개의 Unknown 응답은 누적 대화 이력 조건에서 출력 형식 유지와 지시 이행 안정성에 심각한 한계가 있음을 보여 준다.
이러한 결과는 다중 턴 설정이 단순한 성능 향상 조건이 아니라, 모델이 생성한 이전 응답을 맥락으로 재사용하면서 맥락 통합의 이점과 초기 오류/환각 등출력 불안정성의 전파가 동시에 나타나는 조건임을 보여준다. 또한 Q3는 다중 턴의 마지막 문항이라는 순서 효과를 받을 수 있으나, 단일 턴에서도 가장 낮은 정확도를 보였다는 점에서 핵심 위험 식별 자체의 내재적 난이도가 주요 병목으로 해석된다.
2. 정성 분석 결과
정성 분석은 5개 클립으로 구성된 파일럿 부분집합을 대상으로 수행하였으며, 본 절에서는 낮은 복잡도의 지방도로와 다차로 추종 주행 장면을 대표 사례로 제시하였다. 두 장면은 전체 파일럿 클립에서 반복적으로 관찰된 실패 양상을 설명하기 위한 예시이며, 전체 모델 행동을 일반화하기 위한 통계적 표본으로 해석하지는 않는다. 분석은 시각적 근거화, 맥락 이력 활용, 위험 우선순위 판단, 출력 안정성의 네 축에 초점을 두었다.
Table 4는 모델 및 대화 모드별 실행 시간을 나타낸다. 본 실험에서는 각 턴마다 누적된 대화 이력을 다시 구성하여 입력을 만들고, 턴 간 KV-cache나 명시적 visual cache는 전달하지 않았다. 따라서 일부 모델이 다중 턴 설정에서 단일 턴 대비 짧은 실행 시간을 보였더라도, 이를 영상 정보의 명시적 캐시 재사용 효과로 해석하기는 어렵다. 또한 기록된 시간은 답변 생성 시간을 기준으로 산정되었으므로, 영상 로딩과 전처리 비용을 포함한 end-to-end 시스템 시간과는 구분된다. 즉, 이 차이는 누적 대화 이력 구성, 영상 입력 재처리 방식, 생성 응답 길이, 디코딩 종료 조건, 모델별 내부 구현 차이가 함께 반영된 결과이다.
Table 4.
Runtime comparison on the five-clip qualitative subset
정성적으로 GLM-4.6v-flash는 응답 구조와 문장 구성 측면에서 비교적 높은 구조적 품질을 보였지만, 실행 시간에서는 변동성이 크게 나타났다. 이는 일부 클립에서 반복 생성이나 장문 응답이 발생하여 평균 실행 시간이 증가했기 때문으로 보인다. SALMONN2+의 경우를 살펴보면, 다중 턴에서 지연 시간이 감소하는 양상을 보였으나, 실제 응답은 프롬프트 일부를 반복하거나 형식이 붕괴되는 사례가 확인되었다.
Figure 2와 Figure 3은 대표 영상 클립에 대한 Q1, Q2, Q3 응답 사례를 보여준다. 이를 자세히 살펴보면, 낮은 복잡도의 지방도로 사례에서는 일부 모델이 실제 장면에 존재하지 않는 교차로, 추가 차량, 반대 차로 위험을 언급하며 위험을 과잉 해석하는 양상이 확인되었다. 다차로 추종 주행 사례에서는 선행 차량과 인접 차로 차량의 관계를 안정적으로 포착한 모델도 있었으나, 일부 모델은 에이전트 수를 과대 추정하거나 존재하지 않는 상충 상황을 생성하였다. 따라서 두 사례는 정량 평가에서 확인된 단계별 취약성을 시각적 근거화와 환각 양상 측면에서 보완적으로 설명하는 사례로 해석할 수 있다.
3. 논의 및 시사점
정량 및 정성 결과를 종합하면, 높은 환경 인지 성능이 신뢰할 수 있는 위험 요인 식별로 직접 연결되지는 않았다. 일부 모델은 도로 구조, 차로 구성, 주변 객체와 같은 장면 수준 단서를 비교적 안정적으로 포착하였으나, Q3에서는 위험 우선순위를 과도하게 높이거나 시각적으로 확인되지 않은 단서를 포함하는 경향을 보였다. 이는 주행 위험 이해의 주요 병목이 단순 장면 인식 자체가 아니라, 관찰된 환경 단서와 객체 간 상호작용을 근거 있는 위험 판단으로 연결하는 추론 과정에 있음을 시사한다.
다중 턴 추론은 모델의 맥락 활용 가능성과 자기 생성 이력에 포함된 오류 전파 가능성을 동시에 드러내는 조건으로 작용하였다. 일부 모델에서는 Q2 또는 Q3 성능 향상이 관찰되었으나, 이러한 향상이 이전 응답의 유용한 정보 축적에 따른 것인지, 질문 순서에 따른 응답 형식 변화 또는 모델별 생성 안정성 차이에 따른 것인지는 본 실험 설계만으로 완전히 분리하기 어렵다. 반대로 성능 저하 역시 초기 오류, 환각, 장문맥 처리 부담, 출력 형식 불안정성, 파싱 실패가 복합적으로 작용한 결과일 수 있다. 따라서 다중 턴 결과는 특정 모델의 맥락 추론 능력을 단정하는 지표가 아니라, 모델이 위험 이해를 어느 정도 안정적으로 유지하는지를 보여 주는 진단적 결과로 해석된다.
현장 적용 관점에서 살펴보면, 추론 속도 자체보다 시각적 근거화, 위험 우선순위 판단, 출력 안정성이 함께 충족되는지가 더 중요한 조건으로 나타났다. BLIP3는 상대적으로 빠르고 형식적으로 안정적인 응답을 생성하였으나 위험 판단의 깊이는 제한적이었고, GLM-4.6V-Flash는 응답 구조와 언어적 완성도 측면에서 강점을 보였지만 일부 조건에서 반복 생성과 과도한 단서 삽입이 관찰되었다. 이러한 결과는 빠른 응답 시간이 곧바로 안전한 활용 가능성을 보장하지 않으며, 주행 안전 맥락에서는 속도, 정확도, 시각적 근거화, 형식 안정성을 함께 고려해야 함을 보여 준다. 따라서 현재 수준의 범용 VLM은 독립적인 사고 원인 판정 도구라기보다, 주행 장면 요약, 잠재적 위험 객체 강조, 사고 전후 상황의 근거 정리, 안전 모니터링 보조와 같은 의사결정 지원 도구로 활용될 가능성이 높다.
본 연구의 결과는 평가 설계의 조건 안에서 해석될 필요가 있다. 기준 라벨은 인간 전문가가 독립적으로 판정한 사고 위험 ground truth가 아니라 CoVLA 데이터셋의 캡션에서 추출된 라벨이므로, 보고한 정확도는 실제 교통안전 판단 능력의 절대적 측정값이 아니라 제한된 답변 공간에서 캡션 기반 기준 라벨과 모델 응답 사이의 일치도를 의미한다. 특히 Q3는 동일한 장면에 대해 복수의 합리적 해석이나 위험 우선순위가 존재할 수 있으므로, 낮은 정확도는 모델 자체의 한계뿐 아니라 선택지 구성의 모호성, 캡션 기반 라벨의 제한성, 과제 자체의 본질적 난이도가 함께 반영된 결과일 수 있다. 또한 정성 분석과 실행 시간 분석은 5개 파일럿 클립에 기반한 사례 중심 진단이며, 500개 무작위 표본 역시 도로 유형이나 위험 범주별 균형을 보장하는 층화 표본은 아니다.
이러한 해석상 제약에도 불구하고, 본 연구는 주행 영상에서의 교통 위험 이해를 환경 인지, 상호작용 이해, 핵심 위험 식별의 단계적 구조로 분해하고, 이를 단일 턴과 다중 턴 조건에서 비교한 초기 벤치마크라는 점에서 의의가 있다. 특히 본 연구는 범용 VLM의 장면 설명 능력이 곧바로 안전 핵심 위험 판단 능력으로 이어지지 않음을 실증적으로 보였으며, 향후 Traffic Safety VLM 또는 Crash/Risk VLM과 같이 사고 전조와 위험 형성 과정을 명시적으로 다루는 특화 모델 및 평가 체계가 필요함을 시사한다.
결론
본 연구는 주행 영상에서의 교통 위험 이해 성능을 평가하기 위해 7개의 VLM을 대상으로 3단계 구조화 벤치마크를 수행하였다. 제안한 평가틀은 주행 위험 이해를 시공간 환경 인지(Q1), 에이전트 간 상호작용 이해(Q2), 핵심 위험 식별(Q3)로 분해하고, 각 단계를 고정 선택지 기반의 평가 문항으로 구현하였다. 이를 위해 CoVLA에서 표본 추출한 주행 영상 500개와 1,500개 질문 항목을 사용하여 Qwen3VL, InternVL3.5, VideoLLaMA3, BLIP3, SALMONN2+, VideoChat-R1.5, GLM-4.6V-Flash를 단일 턴 및 다중 턴 조건에서 비교하였다.
실험 결과, 현재 VLM은 도로 구조와 주변 객체를 파악하는 환경 인지 단계에서는 일정 수준의 성능을 보였으나, 이를 핵심 위험 요인 식별로 연결하는 단계에서는 일관된 한계를 보였다. 특히 Q3의 낮은 성능은 주행 위험 이해의 병목이 단순 장면 인식이 아니라, 관찰된 환경 단서와 객체 간 상호작용을 근거 있는 위험 판단으로 통합하는 과정에 있음을 보여 준다. 또한 다중 턴 조건에서는 일부 모델의 성능 향상이 관찰되었으나, 이는 맥락 축적의 이점과 초기 오류, 환각, 출력 불안정성의 전파 가능성이 함께 반영된 결과로 해석된다.
본 연구는 범용 VLM이 자율주행 안전 평가에서 보조적 활용 가능성을 갖지만, 안전 핵심 교통 위험 판단을 독립적으로 수행하기에는 아직 충분한 신뢰성과 안정성을 확보하지 못했음을 확인하였다. 향후 연구에서는 인간 전문가 기준선, 불확실성 표현, 구조화 출력, 오라클 이력 기반 다중 턴 평가, 장면·위험 유형별 균형 표본을 도입하여 평가의 타당성과 일반화 가능성을 확장할 필요가 있다. 나아가 교통안전 적용을 위해서는 범용 VLM의 장면 설명 능력을 사고 전조 탐지, 위험 우선순위 판단, 충돌 회피 여유 평가와 직접 연결하는 Traffic Safety VLM 또는 Crash/Risk VLM 형태의 특화 모델 개발이 요구된다.
