강화학습 기반 고속도로 갓길차로제 운영 알고리즘 개발 연구
Study on the Development of an Expressway Hard Shoulder Running Algorithm Using Reinforcement Learning
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 연구는 고속도로 상의 반복적인 교통 혼잡 문제를 해결하기 위한 현실적인 대안 중 하나인 고속도로 갓길차로제를 효과적으로 운영하기 위해 강화학습 기법을 적용하고자 하였다. 강화학습의 DQN을 활용한 갓길차로제 운영 알고리즘을 개발하였고 미시교통시뮬레이션 프로그램 VISSIM을 활용하여 경부선 기흥IC-수원IC 구간의 데이터를 활용하여 강화학습 에이전트를학습시켰고 그 효과를 평가하였다. 효과평가는 크게 이동성과 안전성의 두 가지 측면에서 진행하였다. 분석 결과 DQN 기반 갓길차로제 운영을 통해 시간당 최대 26km/h의 속도 개선 효과가 발생하였으며, DQN 에이전트는 기존 운영 기준인 60km/h 보다 약 10km/h 높은 속도로 갓길차로제를 운영하였다. 안전성 효과의 경우 기존 운영 방식과 DQN 기반 운영을 통해 발생되는차량 간 상충건수를 비교하였고 산출된 상충건수의 차이가 크지 않아 10km/h의 운영 기준 속도의 차이가 큰 영향을 주지 않은 것으로 판단하였다. 이러한 결과를 종합적으로 고려할 때강화학습 기반 고속도로 갓길차로제 운영은 이동성 측면에서는 분명한 효과가 존재하였고 현재 운영 기준 속도의 조정을 고려해볼 필요가 있을 것으로 판단된다.
Abstract
This study applies reinforcement learning to effectively operate expressway hard shoulder running (HSR). An HSR algorithm was developed, and its effectiveness was evaluated using the VISSIM microscopic simulation program. The simulation evaluated two aspects: mobility and safety. The DQN-based HSR algorithm found speed improvement of up to 26 km/h. Compared to the current method, the difference in the number of conflicts was not significant. Considering the results, a DQN-based HSR operation has a clear effect, and it is necessary to consider adjusting the current operational criteria.
참고문헌 (20)
- Bauer, K. M., "Safety Effects of Using Narrow Lanes and Shoulder-Use Lanes to Increase the Capacity of Urban Freeways", Journal of the Transportation Research Board, 1897(1), pp.71~80 (2004)
- Coffey, S., "Operational Evaluation of Part-Time Shoulder Use for Interstate 476 in the State of Pennsylvania", Advanced in Civil Engineering, 2018, pp.1~8 (2018)
- Greguric, M., "Impact of Deep Reinforcement Learning on Variable Speed Limit strategies in connected vehicles environments", Engineering Applications of Artificial Intelligence, 112, pp.104850~ (2022)
- Kim, J. S., "Evaluation of Traffic Flow Efficiency and Safety Hard Shoulder Runnings for Freeway, Doctoral Dissertation, University of Seoul", Doctor, pp.2017
- Kim, S. G., "An Analysis of Breakdown Cause at Freeway Merge Area", Journal of Korean Society of Transportation, 16(2), pp.53~65 (1998)
- 고은정, "고속도로 갓길차로 운영 전후 소통개선 효과분석", 한국ITS학회 논문지, 19(2), pp.36~47 (2020), 한국ITS학회[DOI]
- Korea Expressway Corporation, "Hard shoulder running operation manual", ~ (2018)
- Study on the installation and operation standards of hard shoulder running using AI, "Korea Expressway Corporation", ~ (2022)
- "Korean Statistical Information Service"[URL]
- Lee, W., "Reinforcement Learning with Python and Keras" (2017), Wikibooks
- Lousiana Department of Transportation & Development, "DOTD VISSIM parameters", ~ (2022)
- Ma, J., "Dynamic Hard Shoulder Running for Traffic Incident Management", Journal of the Transportation Research Board, 2554(1), pp.120~128 (2016)
- "Ministry of the Interior and Safety(MOIS)"[URL]
- Park, S., "Development of Traffic Signal Control Model using AI Technique", Doctor, pp.2020
- "Statistics Korea"[URL]
- Sutton, R. S., "Reinforcement Learning An Introduction" (2007), The MIT Press
- Virginia Department of Transportation, "VDOT VISSIM User Guide", ~ (2020)
- Vrbanic, F., "Reinforcement Learning Based Variable Speed Limit Control for Mixed Traffic Flows", 29th Mediterranean Conference on Control and Automation, pp.560~565 (2021)
- Wisconsin Department of Transportation, "Vissim Calibration Parameters", ~ (2021)
- Zhou, W., "Q-Learning-Based Coordinated Variable Speed Limit and Hard Shoulder Running Control Strategy to Reduce Travel Time a Freeway Corridor", Journal of the Transportation Research Board, 2674(11), pp.915~925 (2020)