운전면허 학과시험의 의미 편향성과 평가 공정성에 대한 자연어처리 기반 분석
A Natural Language Processing-Based Analysis of Semantic Bias and Assessment Fairness in Driver's License Written Examinations
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
운전면허 학과시험은 교통법규에 대한 이해와 안전 운전 습관을 평가하기 위한 중요한 절차이다. 그러나 지속적인 제도 개선에도 불구하고높은 평균 합격률이 유지되고 있으며, 이에 따라 응시자가 법규에 대한정확한 이해 없이 직관에 의존해 정답을 추정할 수 있는 시험 구조인지에대한 검토가 필요하다. 본 연구에서는 1,000개의 현행 운전면허 학과시험 문제를 대상으로 안전지향적 키워드의 영향력을 분석하고, 시험의 공정성과 실질적인 법규 평가 기능을 점검하였다. 이를 위해 TF-IDF(Term Frequency-Inverse Document Frequency) 기반의 키워드 도출, SBERT(Sentence-BERT)를 활용한 선택지 의미 분석, 랜덤 시뮬레이션기반 정답 예측 실험을 수행하였다. 분석 결과, 일부 문항에서는 안전지향적 키워드를 포함한 선택지가 실제 정답과 높은 연관성을 보였으며, 특히문장형과 사진형 문제에서 의미 유사도 기반 전략이 무작위 전략보다 높은정답률을 나타냈다. 그러나 전체 시험 수준에서는 이러한 전략의 성능차이가 통계적으로 유의하지 않았으며, 교통법규에 대한 학습 없이 합격하기는 어려운 구조임이 확인되었다. 이는 운전면허 학과시험이 일정 수준의 공정성을 유지하고 있음을 보여주나, 일부 문제 유형에서는 선택지표현이 편향적으로 구성될 여지가 있음을 시사한다. 본 연구는 운전면허학과시험의 평가 방식이 실질적인 법규 이해를 보다 정밀하게 측정하도록개선될 필요성을 제기하며, 향후 관련 연구 및 제도 개선 논의에 기초자료로 활용될 수 있을 것이다.
Abstract
The written driver's license test in South Korea serves as a critical procedure for evaluating one’s understanding of traffic laws and safe driving habits. Despite ongoing reforms, the test continues to exhibit high average pass rates, raising concerns that test-takers may rely more on moral intuition than on actual knowledge of traffic regulations. This study examines the potential influence of safety-oriented keywords on answer selection by analyzing 1,000 official test items from the current written exam. Using natural language processing techniques, including Term Frequency-Inverse Document Frequency (TF-IDF) for keyword extraction and Sentence-BERT (SBERT) for semantic similarity analysis, the study simulates answer prediction through a semantic similarity-based strategy and compares it to a random selection strategy. The results indicate that in certain question types—especially sentence-based questions— options containing safety-oriented keywords tend to correlate more strongly with correct answers. However, this pattern was not statistically significant across the entire test set, suggesting that the current test structure still requires a solid understanding of traffic laws to pass. While the test appears to maintain a certain level of fairness, the presence of linguistic biases in some question types implies that further refinement in test design may be warranted. This study contributes to ongoing discussions on improving the written driver's license exam to better assess actual knowledge and understanding of traffic regulations.