Framework for Key Performance Index of Use Cases in Smart Transportation Using Text Mining: Focusing on Daegu Metropolitan City

Wooyoung Go; Jungyeol Hong

doi:10.7470/jkst.2022.40.4.449

Preview

Article

Journal of Korean Society of Transportation. 31 August 2022. 449-461
https://doi.org/10.7470/jkst.2022.40.4.449

Framework for Key Performance Index of Use Cases in Smart Transportation Using Text Mining: Focusing on Daegu Metropolitan City

텍스트마이닝 기법을 활용한 스마트시티 교통부문 Use Case 평가지표 선정 방법론: 대구광역시 스마트시티 사례를 중심으로

Wooyoung GO¹

Jungyeol HONG²^*

고 우영¹

홍 정열²^*

¹Master Student, Department of Transportation Engineering, Keimyoung University, Daegu 42601, Korea

²Assistant Professor, Department of Transportation Engineering, Keimyoung University, Daegu 42601, Korea

¹계명대학교 도시계획및교통공학과 석사과정

²계명대학교 도시계획및교통공학과 조교수

^{*Corresponding Author}

ABSTRACT

It is essential to evaluate the effectiveness of each Use Case to implement Use Cases in smart cities’ transportation sectors, such as MaaS, DRT, and Smart parking, and to improve their technology continuously. However, there are currently few attempts at various statistical or data-based methodologies in South Korea to develop evaluation indicators for smart city Use Case service. In this study, big text data was constructed through the collection of research documents related to Use Case in the smart city transportation sector published as one of the various methodologies. In addition, it suggested establishing a new framework for selecting quantitative evaluation indicators through text mining analysis. Each Use Case’s keywords or main topics were derived using text mining’s text frequency-inverse document frequency (TF-IDF) analysis. A list of indicators that can be evaluated was established based on the text database. IPA (Importance-Performance Analysis) analysis was performed on the indicators of each Use Case, and significant evaluation indicators were selected. The framework for selecting indicators presented in this study has the advantage of identifying the main goals of the Use Case service and includes the possibility of quantifying evaluation indicators and the ease of data collection. It is expected to select the index of Use Cases in other smart cities in the future based on the text mining approach presented in this study. Furthermore, it can determine the investment priority of smart city policies by estimating the socio-economic effect through quantitative indicators.

Keywords

evaluation index

IPA

smart city

text mining

TF-IDF

MaaS, DRT, Smart parking 등과 같은 스마트시티 교통부문의 Use Case 서비스 구현과 지속적인 기술력 향상을 위해서는 각 Use Case의 성과 평가가 필수적이다. 그러나 현재 국내에는 스마트시티 Use Case 서비스 평가지표 개발을 위해 다양한 통계적 또는 데이터 기반의 접근방법론의 시도가 미미한 실정이다. 따라서 본 연구에서는 다양한 접근방법 중 하나로 국내외에서 발표된 스마트시티 교통부문의 Use Case 관련 연구 문헌들의 수집을 통하여 텍스트 빅데이터를 구축하고 데이터 마이닝 분석을 통해 정량적 평가지표를 선정하는 프레임워크의 구축을 제시하고자 하였다. 텍스트마이닝의 단어빈도-역문서빈도 분석 결과를 이용하여 각 Use Case의 핵심어 또는 핵심토픽을 도출하였으며, 이들을 근거로 평가 가능한 지표 리스트를 구축하였다. 각 Use Case의 지표들에 대하여 IPA(Importance-Performance Analysis) 분석을 수행하여, 유의한 최종 평가지표를 선정하고자 하였다. 본 연구에서 제시한 지표선정을 위한 접근방법의 틀은 Use Case 서비스의 주요 목표를 파악하고 평가지표 정량화 가능성 및 데이터 수집의 용이성을 반영할 수 있다는 장점이 있다. 향후에는 본 연구에서 제시한 접근방법을 기반으로 스마트시티 타 부문 Use Case의 지표 선정 시 적용이 가능할 것으로 기대하며, 정량적 지표를 통한 사회경제 파급효과 추정으로 스마트시티 정책의 투자 우선순위를 결정하는데 이용할 수 있을 것이다.

키워드

평가지표

IPA 분석

스마트시티 교통부문

텍스트마이닝

단어빈도-역문서빈도

MAIN

서론
선행연구고찰
1. 국내 스마트시티 평가지표 선행연구
2. 국외 스마트시티 평가지표 선행연구
평가지표 선정 방법론
1. 데이터 수집 및 전처리
2. TF-IDF 분석
3. 평가지표 선정 기준 수립
4. IPA 분석
분석 결과
결론

서론

최근 국내외에서는 교통, 방재, 에너지 등 다양한 사회적 인프라에 첨단 ICT(Information ＆ Communication Technology) 기술을 접목하여 도시 운영 ‧ 관리의 효율성과 시민들의 삶의 질을 향상시킬 수 있는 스마트시티가 구현되고 있다. 이러한 서비스를 고도화하기 위해 스마트시티에서 고려될 수 있는 다양한 시스템 관점의 서비스 사례인 Use Case와 실증사업이 연계 ‧ 추진되고 있다. 스마트시티 분야의 중요한 요소인 스마트시티 교통부문은 첨단 ICT 혁신 기술을 활용하여 이용자와 운영자의 선호도 및 목표 분석에 기반한 맞춤화된 교통서비스를 제공하는 체계로 지자체별 다양한 Use Case가 존재하고 있으며 스마트시티 모델과 빅데이터 기반 기술을 통합한 교통 빅데이터 기반의 플랫폼과 솔루션도 활발히 개발되고 있다.

그러나, 스마트시티 교통부문 Use Case 서비스의 지속적인 개발과 기술력의 향상을 위해서는 제공된 서비스에 대한 성과 평가가 필수적이나, 현재 국내에는 이를 평가하기 위한 지표의 개발과 표준화 ‧ 정량화된 평가방법의 체계 마련이 미흡한 실정이다. 반면, 해외 주요 국가들은 스마트시티 교통부문 평가를 통하여 정책 및 기술의 효율성을 향상하고자 노력해오고 있으며 고도화된 발전 방향을 모색하기 위해 다양한 방법론적 관점에서 평가지표개발 연구를 시도하고 있다.

스마트시티 교통부문에 대한 국내외 평가지표 선정 연구의 다수는 문헌고찰, AHP 등의 방법론을 적용하고 있다. 이러한 방법론은 전문가의 주관적 가치와 의견이 반영될 가능성이 있으며 많은 시간과 비용, 인력 등이 필요하다는 한계가 있다. 따라서, 본 연구는 기존 평가지표 선정과 평가방법이 갖는 한계점들을 새로운 방식으로 접근하여 보완하고자 시도하였다.

텍스트마이닝 기법은 인문 ‧ 사회 분야에서 주로 적용되어왔으나 현재는 과학, 공학 분야의 주요이슈 도출 및 정책평가 등을 위하여 활발히 활용되고 있다. 텍스트마이닝은 텍스트 데이터로부터 유용한 정보를 추출하여 분석하기 위한 도구로 주요 키워드 선정, 토픽 동향 분석, 연관단어 추출 등에 적합하다(Hong et al., 2019). 이러한 특성을 가진 텍스트마이닝 기법은 스마트시티 기술과 관련 어플리케이션 제시(Hu and Zheng, 2021; Lim et al., 2021), 스마트시티 관련 연구 동향(Lim et al., 2014), 개발전략 수립 및 주요 쟁점과 이슈 도출(Li et al., 2016; Chae and Lee, 2018) 등을 위한 연구에 적용되어왔다.

따라서 본 연구에서는 스마트시티 Use Case별 평가지표를 도출하기 위한 하나의 접근방법으로서 텍스트 마이닝을 제안하고자 한다. 뉴스 기사, 기존 문헌, SNS 등 웹상에 존재하는 다양하고 광범위한 스마트시티 Use Case별 텍스트들을 DB화하고 각각에 특화된 주요 키워드 및 토픽을 추출하고자 하였으며, 각 Use Case별 주요목표와 연계한 후 이를 기반으로 평가지표들을 도출하는 방법론의 틀이다. 특히 단어빈도-역문서빈도(Term Frequency-Inverse Document Frequency, TF-IDF) 분석과 IPA 분석결과를 활용하여 각 스마트시티 교통부문 Use Case의 정량적 효과를 평가하는 지표개발에 주요 목적이 있다.

선행연구고찰

90년대 중반 디지털시티(Digital city) 개념이 등장하면서 스마트시티 핵심기술인 ICBM(IoT, Cloud, BigData, Mobile)가 확산되었으며, 도시 전체에 온라인 기술이 적용된 스마트시티로 진화하였다. 국내외에서는 거시적으로는 스마트시티의 발전과 미시적으로 스마트시티 내 다양한 분야들의 발전을 위하여 효과평가 지표 선정 및 평가방법 연구가 진행되어왔다. 선행연구들의 고찰을 통하여 국내외 스마트시티 평가지표의 선정 연구 현황과 지표의 추정 방법을 살펴보고 시사점을 도출하고자 한다.

1. 국내 스마트시티 평가지표 선행연구

국내 스마트시티 평가지표는 일부 지자체별로 상이하며 거시적 범위의 기술 및 인프라 구축 위주의 성과 평가에 집중되어 있다.

Cho et al.(2020)은 스마트시티 내 개별 서비스 평가에 관련한 연구는 국내외적으로 미비한 실정이며 평가방법에 대한 학술적 논의가 부족한 상황이라고 주장하였다. 따라서, 공리적 설계 이론에 근거하여 스마트시티 주요 정책을 반영한 사용자 요구와 기능적 요구를 도출하고 기능적 요구에 대응하는 설계 인자를 스마트시티 서비스 평가지표로 선정하였다. Lee and Leem(2019)은 스마트시티 실증 서비스의 성과를 측정하는 지표들의 부재로 인하여 중복 투자의 발생과 서비스에 대한 효과 검증이 미흡하다는 점을 지적하였다. 이 연구에서는 관련 문헌고찰을 통하여 평가항목 및 평가지표를 도출하였고 스마트시티 전문가들을 대상으로 AHP를 수행하여 지표의 중요도를 평가하였다. Lee et al.(2016)은 스마트시티의 개념을 재해석하고 전문가 자문회의를 통해 스마트시티 성숙도 및 잠재력 모형을 활용한 평가지표를 도출하였다. Park et al.(2018)은 요인분석을 통해 관점별 평가영역을 도출한 후 델파이 기법을 활용하여 평가지표를 선정하였으며, AHP를 수행하여 평가지표별 중요도를 판단하였다. Han et al.(2018)은 국내외 스마트시티 인증 사례 및 지표 검토를 통해 여러 차례 지자체 담당자들의 자문 및 설문을 통한 AHP 기법을 적용하여 스마트시티 지표를 도출하였으며, 스마트시티 실증 도시를 대상으로 수요조사를 통한 지표의 적합성 및 신뢰성을 검토하였다. Jo et al.(2021)은 다층형 스마트시티 모델의 STIM(Service, Technology, Infrastructure, Management Layered Architecture) 구조 기반으로 스마트시티 평가지표 pool을 구축하고 공공데이터 취득 가능성을 고려하여 분야별 최종 평가지표를 도출하였으며 전문가 AHP 설문을 통해 평가지표 간 가중치를 부여하였다.

선행연구 고찰을 통하여 국내에서는 문헌 연구와 전문가 AHP 기법을 적용한 평가지표 선정론이 다수 수행되었다는 점을 확인하였다. 최근 첨단기술의 스마트시티 Use case 서비스 실증사업이 활발히 이루어지고 있다는 점을 고려할 때 각 서비스의 효과를 이용자, 관리자, 전문가 측면에서 평가할 수 있는 새로운 접근방법의 연구 필요성을 제시할 수 있다.

2. 국외 스마트시티 평가지표 선행연구

국외에서 수행되어 온 스마트시티 평가지표 연구는 국내와 유사하게 다수의 연구가 각각의 분야별 Use Case를 대상으로 한 것이 아닌 국가 측면의 전체 스마트시티를 평가하는 지표 선정에 집중되었다.

Hara et al.(2016)은 각 스마트시티의 목표 충족 정도를 평가하기 위해 SSC(Smart Sustainable City)에 제안된 환경, 경제, 사회, 만족도 4가지 평가지표의 단순함을 고려하여 단계별로 평가지표를 세분화하였으며 세분화된 평가지표는 최종 단계에서 비용 측정이 가능한 단위의 평가지표로 도출하였다. 제안된 평가지표의 효과를 확인하기 위해 세 가지 사례 연구로부터 SSC에 구축된 개별 ICT 솔루션이 제공하는 환경, 사회, 경제의 개선 및 감소에 대한 평가를 진행하였다. Anand et al.(2017)은 fuzzy와 fuzzy-AHP를 사용하여 스마트시티 평가지표 선정 시 중요도를 고려하고 DEA 모형을 통해 평가지표의 효율성을 결정하였다. Battarra et al.(2018)은 스마트시티 관련 논문들을 수집하여 각 주제별로 6개의 카테고리로 구분하고 스마트시티의 수행 정도와 지속가능성을 평가하였다. Sharifi(2019)는 관련 논문검토를 통해 스마트시티 주제별 거버넌스, 환경, 주거 등 다방면의 평가지표를 제시하였다. Krisna et al.(2020)은 스마트시티 평가지표 관련 논문들로부터 평가지표 자격 기준 선정, 자료 출처 정의, 양질의 논문 선택, 매뉴얼에 따른 논문 수집(출처, 저자, 제목, 발행 연도, 기사 유형), 스마트시티 평가지표 조사 목표에 따른 데이터 선택의 단계별 검토를 통해 카테고리별로 분류된 평가지표에 대한 교차연구로부터 스마트시티 평가지표를 선정하는 방법론을 제시하였다.

해외 연구들은 스마트시티 구축의 전체적인 효과를 평가하는데 초점을 맞추고 있다. 평가지표의 개발을 위하여 기존논문 고찰과 함께 통계적 방법론을 시도하고 있으며, 지표평가를 위한 데이터 수집 방법 등 지표선정의 단계별 다양한 측면의 연구들이 진행되어 왔음을 알 수 있다.

평가지표 선정 방법론

텍스트마이닝은 방대한 양의 텍스트 데이터를 대상으로 하여 그 안에 내재되어 있는 정보를 추출하는 과정이다(Jo, 2001). 텍스트마이닝 기법은 다양한 종류가 있는데 기본적인 단어빈도 분석과 TF-IDF 분석, SNA(Social Network Analysis) 분석, 네트워크 텍스트 분석, 군집 분석 등이 많이 사용되고 있다(Kim et al., 2016). 본 연구는 비교적 객관적이고 시간 ‧ 비용 측면에서 효과적인 평가지표를 선정하기 위하여 텍스트마이닝 기법을 이용하여 새로운 접근을 시도하였다. 텍스트마이닝 기법 중 TF-IDF 분석을 통해 각 Use Case에 대한 전문가들의 주요 쟁점사항을 도출함으로써 평가지표 기준을 수립하고 선정된 평가지표 기준을 토대로 IPA 분석에 의해 각 Use Case의 최종 평가지표를 선정하였다. Figure 1은 본 연구의 수행과정을 나타낸 것이다.

https://cdn.apub.kr/journalsite/sites/kst/2022-040-04/N0210400402/images/kst_40_04_02_F1.jpg

Figure 1.

Process of the study

1. 데이터 수집 및 전처리

본 연구에서는 고도화된 스마트시티를 구현하기 위해 대구광역시 스마트시티의 스마트시티 교통부문 Use Case인 ‘MaaS(Mobility as a Service)’, ‘DRT(Demand Responsive transport)’, ‘스마트주차’, ‘긴급구난’의 효과평가를 위하여 지표를 선정하고자 하였다. 텍스트마이닝 및 IPA 분석을 위한 텍스트 데이터 수집 및 구축을 위하여 학술논문 검색 사이트 Google Scholar를 활용하였다. ‘스마트시티 평가지표 선정 기준’으로 검색된 논문 110,000개 중 ‘스마트시티 평가지표 선정 기준’의 내용과 관련 없거나 ‘스마트시티’, ‘선정’, ‘기준’ 등의 키워드로 유사하게 검색된 논문들은 제외하여 65편의 논문 초록 데이터를 수집하였다. ‘MaaS’, ‘DRT’, ‘스마트주차’, ‘긴급구난’ Use Case와 관련된 텍스트 데이터를 구축하기 위하여 스마트시티와 각 Use Case 키워드가 포함된 논문 제목을 검색하여 ‘MaaS’ 39편, ‘DRT’ 40편, ‘스마트주차’ 59편, ‘긴급구난’ 52편의 논문들을 수집하였으며, 해당 논문들의 텍스트를 분석이 가능한 형태로 데이터베이스화하였다.

데이터 전처리는 정확하고 일관성 있는 분석 결과를 도출하기 위해 사전에 수행하는 데이터 정제 과정이다. 텍스트 데이터의 경우 관련된 자료 문서 내 불필요한 텍스트들이 포함되어있는 경우가 다수이며 다중의 의미를 가지는 단어가 포함되어 있을 경우 잘못된 방향으로 분석결과가 도출될 수 있다(Park and Suh, 2015). 따라서 본 연구에서는 의미가 없는 조사, 어미, 접속사 등의 불용어 제거와 불용어 외에 중복되는 단어와 유사한 단어는 통합하는 텍스트 전처리 작업을 수행하여 분석결과의 신뢰성과 일관성을 향상시키고자 하였다.

2. TF-IDF 분석

TF-IDF는 단어가 문서에서 얼마나 중요한지를 반영하기 위한 것으로 특정 단어가 제공하는 정보의 양을 나타내는 기준이다. Equation 1(Tan, 1999)과 같이 TF(Term Frequency)는 특정 단어가 문서 내에서 나타나는 빈도수를 의미하며 문서의 길이가 길면 해당 단어의 실제 중요도와 상관없이 단어의 빈도가 증가할 확률이 높아 편향된 결과가 발생할 가능성이 있는 단점이 있다.

(1)

t f_{i, j} = \frac{n_{i, j}}{\sum_{_{k} n_{k, j}}}

여기서, $i$ : 단어 순서별 번호

$j$ : 문서 순서별 번호

$n_{i, j}$ : 문서 $d_{j}$ 에서 단어 $t_{i}$ 가 나오는 빈도 수

$\sum_{_{k} n_{k, j}}$ : 문서 $d_{j}$ 에서 나오는 모든 단어빈도 수

문서빈도를 의미하는 DF(Document Frequency)는 특정 단어가 문서 내에서 자주 사용되는 경우 그 단어가 흔하게 등장하는 일반적인 용어라는 의미로, DF가 높으면 그 단어가 일부 문서들에만 나타나 핵심어가 될 가능성이 높다(Han and Yang, 2017). 단어의 희박성을 측정하는 IDF(Inverse Document Frequency)는 DF의 역수로 해당 단어가 많이 포함되어있는 문서의 수가 많을수록 IDF가 감소할 확률이 높으며 TF만 고려하였을 때 생기는 편향을 줄일 수 있다(Kim et al. 2021). Equation 2는 DF를 수학적으로 정의한 것이다.

(2)

i d f_{i, j} = \frac{| D |}{| d_{j} : t_{i} \in d_{j} |}

여기서, $| d_{j} : t_{i} \in d_{j} |$ : $t_{i}$ 가 나오는 문서 수

$| D |$ : 전체 문서 수

Equation 3과 같이 TF-IDF는 TF 값과 IDF 값의 곱으로 나타내며 적은 수의 문서에서 특정 단어의 빈도가 높을수록 그리고 전체 문서 중 그 단어를 포함하는 문서가 적을수록 TF-IDF 값이 커지고 높은 중요도를 가지는 수치이다(Kim, 2016). 또한, TF-IDF의 가중치가 큰 단어일수록 문서의 주제나 의미를 결정지을 가능성이 크며 이 측정치로 주요 키워드를 추출할 수 있는 척도로 활용할 수 있다(Lee and Kim, 2009). 예를 들어, ‘정량적’이라는 단어의 빈도는 높으나 문서 수가 적은 경우 특정 문서 내에서 많은 빈도로 언급되고 있다는 의미로 핵심적이고 높은 중요도를 가진다고 판단할 수 있다. 본 연구에서는 보다 명확한 결과의 해석을 위하여 구(Phrase) 단위를 대상으로 TF-IDF를 분석하였다.

(3)

T F - I D F_{i, j} = t f_{i, j} \times i d f_{i}

3. 평가지표 선정 기준 수립

평가지표 선정 기준은 IPA 분석을 통한 최종 평가지표 선정을 위한 필수적인 단계이다. 스마트시티 교통부문 Use Case의 평가지표 선정 기준은 TF-IDF 분석을 통해 도출된 각 Use Case 중요성을 고려하는 ‘중요성’과 스마트시티 평가지표 선정 시 고려해야 할 주요 요인들을 통합적으로 고려한 ‘적용가능성’으로 하였다.

‘중요성’은 스마트시티 교통부문 Use Case의 TF-IDF 분석으로 도출된 TF-IDF 값을 10점 척도로 표준화한 값으로 평가지표 선정 시 각 Use Case의 중요도를 반영할 수 있어 평가지표 기준으로 수립하였다.

‘적용가능성’은 스마트시티 평가지표 선정 관련 키워드로 수집된 65편의 논문 텍스트 데이터를 대상으로 TF-IDF 분석을 수행하여 도출된 주요 요인들을 통합하여 수립하였다. Table 1은 수집된 논문으로부터 분석한 TF-IDF 값이 큰 상위 10개의 Phrase를 나타내며, 상위 값을 가진 phrase들은 수집된 논문들에서 논의되었던 평가지표에 대한 주요 이슈 또는 핵심어들이라 할 수 있다. Phrase 자체로부터 평가지표 선정 시 고려해야 할 주요 요인 도출에는 한계가 있으며, Phrase가 언급된 문장의 검토로부터 ‘Smart City’, ‘Evaluation Indicator’와 같이 단어 자체의 의미를 가지는 Phrase는 대상에서 제외하고 평가지표 선정 시 고려해야 할 주요 요인을 유추할 수 있는 ‘Open data’, ‘Update cycle’, ‘Qualitative indicator’, ‘Objective evaluation’ Phrase를 선정하였다.

Table 1.

TF-IDF analysis for evaluating the applicability of indicators

Phrase (performance indicators)	Frequency	Number of cases	% cases	TF-IDF	Weight
Open data	69	5	7.69%	76.9	1.00
Smart city	34	7	10.77%	32.9	0.43
Data update cycle	23	3	4.62%	30.7	0.40
Qualitative indicator	48	16	24.62%	29.2	0.38
Evaluation indicator	81	29	44.62%	28.4	0.37
Objective evaluation	31	8	12.31%	28.2	0.37
Evaluation method	49	18	27.69%	27.3	0.36
Update quality	21	4	6.15%	25.4	0.33
Qualitative evaluation	30	16	24.62%	18.3	0.24
Indicator calculation	22	11	16.92%	17.0	0.22

TF-IDF 값이 가장 큰 Phrase는 ‘Open data’로 스마트시티 Use case들의 효과평가를 위한 지표 선정에 공공데이터 활용이 핵심적인 요소임을 확인하였다. ‘Update cycle’ Phrase는 최신 데이터를 유지하기 위한 주기적인 업데이트의 중요성, ‘Qualitative indicator’와 ‘Objective indicator’ Phrase는 스마트시티 평가지표 선정 시 평가지표의 계량화가 가능해야 하며 만족도를 나타내는 정성적 지표보다 평가순위를 정확히 계측 가능한 정량화 지표가 독립적인 척도로써 효과평가 연구에 중요한 주제로 더 많이 논의되는 것을 확인하였다.

Phrase의 내재된 의미를 정리한 결과, 스마트시티 평가지표 선정기준으로 민간이 아닌 정부기관 등 공공을 위한 데이터인지 판단하는 ‘공공데이터 여부’, 구축된 데이터가 일반 연구자들에게 공개적으로 사용이 가능한지를 나타내는 ‘데이터 공개 여부’, 일정 주기 혹은 일회성이 아닌 지속적으로 데이터 업데이트 여부를 판단하는 ‘데이터 반영주기’, 객관적이고 정량적 평가가 가능한 ‘수치화’와 지표 값을 간단한 수식을 통해 도출 가능한 ‘계산 가능 여부’ 5개의 평가 기준을 통합한 ‘적용가능성’ 기준을 수립하였다. ‘적용가능성’ 내 5개의 평가기준 가중치는 분석을 통해 도출된 TF-IDF 값을 고려하였으며, TF-IDF 값이 가장 높은 ‘Open Data’ Phrase를 기준으로 하위 Phrase의 가중치를 설정하였다.

4. IPA 분석

IPA 분석은 일반적으로 특정 요소에 대한 만족도와 중요도를 X-Y축으로 하는 2차원상의 평면 위에 4개의 영역으로 구분하여 좌표로 각 요소를 비교 분석하는 방법으로 유연하게 사용되어왔다. 본 연구에서는 IPA 분석을 응용하여 미시적 범위의 스마트시티 교통부문 Use Case의 필요성을 반영하는 중요성(X축)과 거시적 범위의 스마트시티 평가지표 선정 시 고려해야 할 주요 요인들을 통합 반영한 적용가능성(Y축)을 기준으로 Use Case 평가지표를 선정하고자 하였다.

IPA 분석을 통한 최종 평가지표 선정 기준은 중요성 5점 이상, 적용가능성 3.2점 이상에 해당되는 2사분면에 위치하는 지표들로 선정하였으며, 해당 기준은 Figure 2에서 보여주는 바와 같이 2사분면에 해당하는 평가지표로 스마트시티 교통부문 Use Case 효과평가 시 중요도가 높으며 평가지표에 대한 분석과 이해가 쉽고 평가결과를 측정하기 위한 데이터의 수집이 용이하다는 것을 고려하였다.

https://cdn.apub.kr/journalsite/sites/kst/2022-040-04/N0210400402/images/kst_40_04_02_F2.jpg

Figure 2.

IPA analysis

분석 결과

본 연구에서 도출하고자 하는 평가지표는 스마트시티 교통부문 Use case인 ‘MaaS’, ‘DRT’, ‘스마트주차’, ‘긴급구난’을 대상으로 한다. IPA 분석은 앞서 수립된 평가지표 선정 기준인 텍스트마이닝의 TF-IDF로부터 도출된 ‘중요성’과 통합지표인 ‘적용가능성’을 고려하여 중요성과 적용가능성이 높은 부분에 해당되는 2사분면 내 위치한 평가지표를 최종 효과평가지표로 선정하고자 하였다.

각 Use Case의 수집된 텍스트 데이터를 기반으로 방법론의 신뢰성을 검증하기 위하여 교통분야 Use Case의 수집된 자료의 랜덤추출(100%, 80%, 50% 등)을 통한 TF-IDF 분석을 수행하였으며 기존과 큰 차이가 없는 점을 확인하였다. 본 논문에서는 각 Use Case 전체 자료에 대한 분석결과로 TF-IDF 값이 큰 상위 10개의 Phrase와 Phrase가 언급된 문장으로부터 유추하여 도출된 관련 평가지표를 Table 2와 같이 도출하였다. 서비스로서의 이동수단으로 정의되는 ‘MaaS’는 버스, 철도, 공유 자동차 등의 이동수단 정보를 통합하여 사용자에게 최적의 이동성을 제공하는 서비스이다. 따라서 ‘MaaS’에 대한 국내외 연구 논문들에서는 ‘Car sharing’에 대한 키워드를 주제로 핵심문제 및 해결책 등을 주로 논의함으로써 ‘Car sharing’ Phrase의 TF-IDF 값이 69.7로 가장 크게 분석되었다. ‘DRT’는 다수 승객의 요구에 따라 탄력적으로 노선이나 시간을 변경, 신설하여 운행하는 교통수단이다. ‘DRT’에 대한 국내외 연구 논문들에서는 ‘Travel Time’에 대한 키워드를 주제로 교통약자와 서비스 범위 확대에 따른 통행시간 문제 등을 주로 논의함으로써 ‘Travel Time’ Phrase가 43.2로 가장 크게 분석되었다. ‘스마트주차’는 도시 내 모든 주차공간의 실시간 이용 및 점유정보를 수집 ‧ 제공하여 실시간 주차공간을 활용하는 기술 서비스로 ‘스마트주차’는 주차문제에 따른 교통혼잡 해결책 등을 주로 논의함으로써 ‘Traffic Congestion’ Phrase가 35.3으로 가장 값이 큰 것으로 나타났다. 또한 ‘Space sharing’이나 ‘Walking distance’ 등도 자주 등장하는 용어로 나타나 스마트주차시 공유공간 또는 주차장으로의 보행 접근성과 관련이 있는 것을 알 수 있다. ‘긴급구난’은 사고 발생 시 긴급구난 신호를 전송하여 인명구조에 소요되는 시간 최소화를 목적으로 하는 서비스로 교통사고에 따른 해결책과 조기 대응 등을 주로 논의함으로써 ‘Traffic Accident’ Phrase가 34.7로 TF-IDF 값이 가장 큰 것으로 분석되었다. ‘Signal loss’나 ‘Arrival rate’도 높게 도출되어 골든타임을 위한 교통신호체계에 스마트시티 교통부문이 중점적으로 논의되고 있다는 것을 발견하였다. 스마트시티 교통부문 Use Case별 TF-IDF 값의 최고점을 기준으로 10점 척도 표준화를 통해 중요성을 도출하였다.

Table 2.

The results of TF-IDF analysis and priority

Use case	Phrase	Performance indicator	TF-IDF	Priority	Use case	Phrase	Performance indicator	TF-IDF	Priority
MaaS	Car sharing	Mobility sharing	69.7	10.0	Smart par- king	Traffic congestion	Traffic congestion rate	35.3	10.0
	Public sector	Convenience for the transportation vulnerable	49.7	7.0		Real time	Real time Information provision rate	35.3	10.0
	Private car	Number of operating vehicles	49.1	7.0		Residential area	Illegal parking	33.6	10.0
	Travel time	Travel time cost	42.1	6.0		Space sharing	Sharing rate	32.3	9.0
	Transport mode	Transport modal split	39.0	6.0		Internet of things	Service connectivity	30.8	9.0
	Mode choice	User decision making	37.8	5.0		Walking distance	Accessibility	21.6	6.0
	GHG emission	Environmental cost	36.1	5.0		Price compatible	Cost satisfaction	16.2	5.0
	Travel behavior	Public transpor- tation equity	34.9	5.0		Utilization rate	Service usage rate	16.1	5.0
	Case study	Literature	32.8	5.0		Quality of life	User satisfaction	15.6	4.0
	Real time	Real time Information provision rate	24.5	4.0		Money flow	Turn-over rate	15.0	4.0
DRT	Travel time	Travel time cost	43.2	10.0	Emer- gency rescues	Traffic accident	Fatality rate	34.7	10.0
	Fleet size	The number of service vehicles	34.6	8.0		Ecall system	User satisfaction	34.1	10.0
	Door to door	Accessibility	33.6	8.0		Signal loss	Signal interworking	33.0	10.0
	Waiting time	Waiting time cost	33.4	8.0		Arrival rate	The rate of arrival within the golden time	21.6	6.0
	Rebalancin strategy	Public transpor- tation equity	32.4	8.0		Accident location	GPS accuracy	20.0	6.0
	Operationa cost	Operating cost	31.2	7.0		Processing time	Traffic incident clearance time	18.4	5.0
	Automate vehicle	Technological advancement	27.7	6.0		Data protection	Personal information protection	18.0	5.0
	Servic quality	User satisfaction	26.7	6.0		Low cost	System cost	12.6	4.0
	Pollutant emission	Environmental cost	21.0	5.0		Traffic condition	Traffic congestion cost	12.0	3.0
	Dispatch intervals	Operation interval	18.9	4.0		Wide range	Scope of service	8.1	2.0

Table 3의 Use Case별 5개 평가기준을 통합적으로 검토한 적용가능성을 분석한 결과로부터 MaaS의 ‘GHG Emissions’, ‘Travel time’은 적용가능성에 포함되는 공공데이터 여부, 데이터 공개여부, 반영주기 업데이트, 수치화 가능성, 계산 가능 여부를 모두 만족하여 가중치를 적용한 6.3점 만점으로 배점하였다. 반면에, MaaS의 ‘Travel Behavior’는 공공데이터가 아니므로 공공에게 개방되어 있지 않고 주기적인 업데이트 조사가 불가능하며 간단한 수식을 통한 결과값 계산이 어려워 수치화된 정량적인 값을 도출할 수 없으므로 적용가능성을 0점으로 계산하였다. 텍스트마이닝을 통해 도출된 나머지 Use Case별 Phrase에 대해서도 동일한 평가방법으로 계산하였다.

Table 3.

Estimation of applicability by Use Case

Use case	Phrase	Public sector (1.00)	Open data (1.00)	Data update (0.40)	Qualitative indicator (0.38)	Objective evaluation (0.37)	Applicability
MaaS	Car sharing	○	×	×	×	×	2.00
	Public sector	○	×	×	×	×	2.00
	Private car	○	×	○	○	×	3.56
	Travel time	○	○	○	○	○	6.30
	Transport mode	○	×	○	○	×	3.56
	Mode choice	×	×	×	×	×	0.00
	GHG emission	○	○	○	○	○	6.30
	Travel behavior	×	×	×	×	×	0.00
	Case study	×	×	×	×	×	0.00
	Real time	×	×	○	○	×	1.56
DRT	Travel time	○	○	○	○	○	6.30
	Fleet size	○	×	×	○	×	2.76
	Door to door	○	×	○	×	×	2.80
	Waiting time	○	○	○	○	○	6.30
	Rebalancing strategy	○	×	○	×	×	2.80
	Operational cost	○	○	○	○	○	6.30
	Automated vehicle	○	×	○	×	×	2.80
	Service quality	○	×	○	×	×	2.80
	Pollutant emission	○	○	○	○	○	6.30
	Dispatch intervals	○	○	○	○	×	5.56
Smart parking	Traffic congestion	○	×	○	○	×	3.56
	Real time	×	×	○	○	×	1.56
	Residential area	○	×	○	○	○	4.30
	Space sharing	○	×	○	○	×	3.56
	Internet of things	×	×	○	○	×	1.56
	Walking distance	○	×	○	×	×	2.80
	Price compatible	×	×	○	×	×	0.80
	Utilization rate	○	○	○	○	×	5.56
	Quality of life	○	×	○	×	×	2.80
	Money flow	○	○	○	○	×	5.56
Emergency rescues	Traffic accident	○	○	○	○	○	6.30
	Ecall system	○	×	○	×	×	2.80
	Signal loss	×	×	×	×	×	0.00
	Arrival rate	○	×	○	○	×	3.56
	Accident location	×	×	×	○	×	0.76
	Processing time	○	×	○	○	×	3.56
	Data protection	×	×	×	×	×	0.00
	Low cost	×	×	×	○	×	0.76
	Traffic condition	○	○	○	○	○	6.30
	Wide range	○	×	○	×	×	2.80

각 스마트시티 교통부문 Use Case의 ‘중요성’과 ‘적용가능성’을 기준으로 IPA 분석을 수행한 결과는 Figure 3에서 보여주며, 최종 평가지표 선정 결과는 Table 4와 Table 5에서 보여준다. 최종 평가지표는 객관적인 평가가 가능한 정량적 지표이며, 간단한 수식을 통한 계산 값 도출이 가능할 경우 향후 사전 ‧ 사후 분석이 가능한 비용 단위의 사회경제적 파급효과 도출에도 활용할 수 있다.

https://cdn.apub.kr/journalsite/sites/kst/2022-040-04/N0210400402/images/kst_40_04_02_F3.jpg

Figure 3.

Key performance indicators by Use Case through the quadrant analysis

Table 4.

Evaluation of priority and applicability of key performance indicators by Use Case (MaaS, DRT)

Use case	Phrase	Performance indicator	Priority	Applicability	Socio-economic index
MaaS	Car sharing	Mobility sharing	10.0	2.00	×
	Public sector	Convenience for the transportation vulnerable	7.0	2.00	×
	Private car	Number of operating vehicles	7.0	3.56	×
	Travel time	Travel time cost	6.0	6.30	○
	Transport mode	Transport modal split	6.0	3.56	×
	Mode choice	User decision making	5.0	0.00	×
	GHG emission	Environmental cost	5.0	6.30	○
	Travel behavior	Public transportation equity	5.0	0.00	×
	Case study	Literature	5.0	0.00	×
	Real time	Real time information provision rate	4.0	1.56	×
DRT	Travel time	Travel time cost	10.0	6.30	○
	Fleet size	The number of service vehicles	8.0	2.76	×
	Door to door	Accessibility	8.0	2.80	×
	Waiting time	Waiting time cost	8.0	6.30	○
	Rebalancing strategy	Public transportation equity	8.0	2.80	×
	Operational cost	Operating cost	7.0	6.30	○
	Automated vehicle	Technological advancement	6.0	2.80	×
	Service quality	User satisfaction	6.0	2.80	×
	Pollutant emission	Environmental cost	5.0	6.30	○
	Dispatch intervals	Operation interval	4.0	5.56	×

Table 5.

Evaluation of priority and applicability of key performance indicators by Use Case (Smart parking, Emergency rescues)

Use case	Phrase	Performance indicator	Priority	Applicability	Socio-economic index
Smart parking	Traffic congestion	Traffic congestion rate	10.0	3.56	×
	Real time	Real time information provision rate	10.0	1.56	×
	Residential area	Illegal parking	10.0	4.30	○
	Space sharing	Sharing rate	9.0	3.56	×
	Internet of things	Service connectivity	9.0	1.56	×
	Walking distance	Accessibility	6.0	2.80	×
	Price compatible	Cost satisfaction	5.0	0.80	×
	Utilization rate	Service usage rate	5.0	5.56	×
	Quality of life	User satisfaction	4.0	2.80	×
	Money flow	Turn-over rate	4.0	5.56	×
Emergency rescues	Traffic accident	Fatality rate	10.0	6.30	○
	Ecall system	User satisfaction	10.0	2.80	×
	Signal loss	Signal interworking	10.0	0.00	×
	Arrival rate	The rate of arrival within the golden time	6.0	3.56	×
	Accident location	GPS accuracy	6.0	0.76	×
	Processing time	Traffic incident clearance time	5.0	3.56	×
	Data protection	Personal information protection	5.0	0.00	×
	Low cost	System cost	4.0	0.76	×
	Traffic condition	Traffic congestion cost	3.0	6.30	×
	Wide range	Scope of service	2.0	2.80	×

본 연구에서 제시된 방법론의 프레임워크를 통해 도출한 ‘MaaS’의 평가지표는 ‘차량 이용대수’, ‘통행시간비용’, ‘교통수단 분담률’, ‘환경비용’이며, 이 중 비용 측면에서 ‘통행시간비용’, ‘환경비용’은 사회경제지표로 활용될 수 있다. ‘DRT’의 평가지표는 ‘통행시간비용’, ‘대기시간비용’, ‘차량운행비용’, ‘환경비용’으로 선정되었으며, ‘스마트주차’의 평가지표는 ‘교통혼잡율’, ‘불법주차’, ‘주차공유율’, ‘서비스 이용률’로 선정되었다. ‘긴급구난’의 평가지표는 ‘인명피해’, ‘골든타임 내 현장도착률’, ‘사고처리시간’으로 ‘인명피해’에 대한 계량화를 통해 향후 긴급구난 Use case의 사회경제지표로 활용될 수 있을 것으로 기대한다.

결론

최근 도시 운영 ‧ 관리의 효율성과 시민들의 삶의 질 향상을 위한 스마트시티 Use Case 서비스 개발 및 실증사업이 추진되고 있다. Use Case 서비스 구현 및 기술에 대한 지속적인 개발과 기술력 향상을 위해서는 효과평가 과정이 필수적이므로 기존 국내외 연구들에서는 전문가 AHP 기법을 적용하거나 문헌 고찰을 통하여 평가지표를 도출하는 방법을 주로 제시하고 있다.

본 연구에서는 스마트시티 Use Case별 평가지표 선정의 새로운 접근방식을 제시하기 위하여 ‘MaaS’, ‘DRT’, ‘스마트주차’ 그리고 ‘긴급구난’의 스마트시티 교통부문 Use case를 대상으로 텍스트마이닝과 IPA 분석기반의 방법론 틀을 구축하였다. 본 방법론의 틀을 적용할 경우 가이드라인에 따라 일관성 있는 지표들을 도출할 수 있어 정책결정자들의 의사결정이 보다 간편해질 수 있다. 또한, 사회경제적 비용효과의 추정이 가능한 지표들의 Pool을 구축할 수 있을 뿐만 아니라 각 지표의 정량적 결과를 바탕으로 스마트시티 Use Case들의 투자 우선순위 결정에 활용할 수 있다.

따라서 본 연구에서는 인터넷 상에서 탐색가능한 스마트교통 관련 논문, 보고서, 기사, SNS 등의 텍스트 자료들을 수집 ‧ 전처리한 후 텍스트마이닝 기법을 통해 주요 키워드 및 토픽을 도출하고 이를 바탕으로 평가지표를 선정하였다. 제시된 방법론은 방대한 양의 문헌고찰에 대한 시간 절감 측면의 효율성을 증대시키고 분석가들이 발견하지 못한 텍스트 내의 유의미한 시사점을 키워드로 도출함으로써 기존 평가지표 선정 방법에서 이루어지던 전문가의 주관적 의견반영을 보완하는 도구로 활용할 수 있다.

그러나 본 연구에서 제시하는 방법론은 분석가의 텍스트 자료 검색의 능력에 따라 평가지표 선정에 영향을 줄 수 있다는 한계점이 있으며, TF-IDF 값을 고려하여 선정한 ‘적용가능성’ 내 5개의 평가지표(공공데이터 여부, 데이터 공개여부, 반영주기 업데이트, 수치화 가능성, 계산 가능 여부) 가중치 설정의 타당성을 검증하기 위한 추가적인 연구가 필요하다.

Funding

This research was supported by the Land & Housing institute from the study of “Impact analysis methods for Smart City Use Case Service”.

References

Anand A., Dsilva Winfred Rufuss D., Rajkumar V., Suganthi L. (2017), Evaluation of Sustainability Indicators in Smart Cities for India Using MCDM Approach, Energy Procedia, India, 141, 211-215. 10.1016/j.egypro.2017.11.094

Battarra R., Gargiulo C., Zucaro F., Tremiterra M. R. (2018), Smart Mobility in Italian Metropolitan Cities: A Comparative Analysis through Indicators and Actions, In Sustainable Cities and Society, 41, 556-567. 10.1016/j.scs.2018.06.006

Chae Y., Lee S. (2018), Identification of Strategic Fields for Developing Smart City in Busan Using Text Mining, Journal of Digital Convergence, 16(11), 1-15.

Cho H. M., Yoo D. C., Lee S. W., Jang H. I. (2020), Evaluation Indicators and Case Study for Smart City Service Based on Axiomatic Design, Journal of Korean Institute of Architectural Sustainable Environment and Building Systems, 14(6), 565-576.

Han S. H., Shin Y. S., Yu I. J., Lee J. Y. (2018), A Study on the Korea Smart City Certification Index and Demonstration Authentication, Journal of the Korea Academia-Industrial Cooperation Society, 19(1), 688-698.

Han S. S., Yang D. W. (2017), Analysis of Research Trends Related to Start-Up Using Text Mining, Asia-Pacific Journal of Business Venturing and Entrepreneurship, 12(5), 1-12. 10.16972/apjbve.12.5.201710.1

Hara M., Nagao T., Hannoe S., Nakamura J. (2016), New Key Performance Indicators for a Smart Sustainable City, Sustainability, 8(3), 206. 10.3390/su8030206

Hong J., Tamakloe R., Lee G., Park D. (2019), Insight from Scientific Study in Logistics Using Text Mining, Transportation Research Record, 2673(4), 97-107. 10.1177/0361198119834905

Hu Q., Zheng Y. (2021), Smart City Initiatives: A Comparative Study of American and Chinese Cities, Journal of Urban Affairs, 43(4), 504-525. 10.1080/07352166.2019.1694413

Jo S. H., Lee S. H., Jo S. S., Leem Y. T. (2021), An Analysis on the Smart City Assessment of Korean Major Cities: Using STIM Framework, Journal of the Korea Contents Association, 21(3), 157-171.

Jo T. H. (2001), The Concept and Application of Text Mining, Journal of Scientific & Technological Knowledge Infrastructure, 76-85.

Kim J. Y. (2016), Information Visualization Methods for Personalized Product Reviews, Department of Industrial ‧ Information System Engineering Graduate School of Soongsil University, South Korea.

Kim S. H., Chang N. S., Kim K. W. (2021), Academic Trend Analysis of Shared Economy Based on Text Mining and Network Analysis, Journal of the Korean Entrepreneurship Society, 16(2), 15-34.

Kim S. U., Cho H. J., Kang J. Y. (2016), The Status of Using Text Mining in Academic Research and Analysis Methods, Journal of Information Technology and Architecture, 13(2), 317-329.

Krisna A., Darmawan N., Mohammad S., Deni M., Rusdah R. (2020), Analysis of Smart City Indicators Based on Prisma: Systematic Review, IOP Conference Series: Materials Science and Engineering, 725(1) 10.1088/1757-899X/725/1/012113

Lee J. Y., Kim S. S., Kim E. L., Park J. S., Lee M. Y., Lee S. W. (2016), A Study on Construction and Application Approaches of Smart City Maturity and Potential Diagnostic Models, Korea Research Institute for Human Settlements, 16(15), 1-185. 10.12815/kits.2016.15.5.020

Lee M. S., Leem C. S. (2019), A Study on Performance Evaluation of the Korea Smart City Demonstration Service, The Journal of Korean Institute of Communications and Information Sciences, 1992-2002. 10.7840/kics.2019.44.10.1992

Lee S. J., Kim H. J. (2009), Keyword Extraction from News Corpus Using Modified TF-IDF, The Journal of Society for e-Business Studies, 14(4), 59-73.

Li M., Ch’ng E., Chong A., See S. (2016), The New Eye of Smart City: Novel Citizen Sentiment Analysis in Twitter, In 2016 International Conference on Audio, Language and Image Processing (ICALIP), 557-562. 10.1109/ICALIP.2016.7846617

Lim C., Cho G. H., Kim J. (2021), Understanding the Linkages of Smart-city Technologies and Applications: Key Lessons from a Text Mining Approach and a Call for Future Research, Technological Forecasting and Social Change, 170, 120893. 10.1016/j.techfore.2021.120893

Lim S. Y., Lim Y. M., Lee J. Y. (2014), Study on the Trends of U-City and Smart City Researches Using Text Mining Technology, Journal of Korean Society for Geospatial Information Science, 22(3), 87-97. 10.7319/kogsis.2014.22.3.087

Park J. Y., Suh C. W. (2015), Analysis of Changes in the Housing Market Using TF-IDF Weight Model, Korea Real Estate Academy Review, 0(63), 46-58

Park S. Y., Jo Y. T., Lee S. H. (2018), A Study on Construction Plan of Smart City Through Practicability Evaluation of U-City Infrastructure and Service, Land & Housing Institute.

Sharifi A. (2019), A Critical Review of Selected Smart City Assessment Tools and Indicator Sets, Journal of Cleaner Production, Japan, 233, 1269-1283. 10.1016/j.jclepro.2019.06.172

Tan A. H. (1999), Text Mining: The State of the Art and the Challenges, In Proceedings of the PAKDD 1999 Workshop on Knowledge Discovery from Advanced Databases, 65-70.

Journal of Korean Society of Transportation ISSN:1229-1366(Print) 2234-4217(Online) 대한교통학회지

Preview

Framework for Key Performance Index of Use Cases in Smart Transportation Using Text Mining: Focusing on Daegu Metropolitan City

ABSTRACT

MAIN

Figure 1.

Process of the study

(1)

(2)

(3)

Table 1.

TF-IDF analysis for evaluating the applicability of indicators

Figure 2.

IPA analysis

Table 2.

The results of TF-IDF analysis and priority

Table 3.

Estimation of applicability by Use Case

Figure 3.

Key performance indicators by Use Case through the quadrant analysis

Table 4.

Evaluation of priority and applicability of key performance indicators by Use Case (MaaS, DRT)

Table 5.

Evaluation of priority and applicability of key performance indicators by Use Case (Smart parking, Emergency rescues)

Funding

References