항공 도메인 특화 언어 모델을 활용한 안전사고 원인 자동 추출 방법
Automatic Extraction of Safety Accident Causes Using an Aviation-Specialized Language Model
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
전 세계 항공 기업과 국가 기관들은 수십 년간 안전 보고서를 작성하고 이를 분석하여 항공 사고 예방을 위해 지속적으로 노력해왔다. 그러나 보고서의 규모가 방대해지고 내용이 복잡해짐에 따라 수동 분석만으로는 한계가 있다. 또한, 보안상의 이유로 웹에서 서비스하는 대형 언어 모델의 사용이 어려운 경우가 많다. 이러한 문제를 해결하기 위해 본 논문에서는 항공 안전사고 보고서에서 사고 원인을 추출하기 위해 항공 도메인에 특화된 자연어 처리 모델인 AirGemma를 제안한다. AirGemma는 Gemma2-2B 모델을 기반으로 항공 도메인 데이터를 활용한 DAPT (Domain Adaptive Pre-Training) 기법을 적용해 항공 도메인 이해도를 향상시켰다. 이후 PEFT (Parameter Efficient Fine-Tuning) 기법을 활용한 미세조정을 통해 사고 원인 추출 성능을 높였다. 실험 결과, AirGemma가 사전학습과 미세조정을 적용하지 않은 모델 대비 F1-score, ROUGE, BLEU 지표에서 우수한 성능을 기록했다. 또한 GPT-4를 평가자로 사용한 쌍대비교 결과, AirGemma는 GPT-3.5 Turbo보다 높은 승률을 기록했고 단일 답변 평가 결과 LLaMA3-70B와 GPT-3.5 Turbo에 비해 사고 원인 분석에 있어 더 높은 사실성 점수를 보였다. 이러한 결과는 항공 도메인에 특화된 모델이 사고 원인 식별에 효과적임을 입증한다. AirGemma는 항공 산업 데이터의 보안 및 제한 조건을 고려하여 로컬 환경에서 안전하게 동작할 수 있도록 설계되었으며, 항공 안전사고 분석 및 예방을 위한 새로운 접근 방안을 제시한다.
Abstract
Analysis of safety accident reports is crucial for global aviation companies and national agencies to prevent aviation accidents. However, with increasing volume and complexity of these reports, manual analysis has its limitations. Moreover, due to security concerns, using large-scale language models served through the web is often not inapplicable. To address these challenges, this paper proposes a domain-specific natural language processing model called AirGemma, which is specifically designed to extract accident causes from aviation safety reports. AirGemma is built upon the Gemma2-2B model and enhances its domain understanding through Domain Adaptive Pre-Training (DAPT) using aviation-specific data. The performance of the proposed model is further improved by applying Parameter Efficient Fine-Tuning (PEFT). Experimental results show that AirGemma outperforms models without pre-training and fine-tuning in terms of F1-score, ROUGE, and BLEU metrics. Additionally, comparative evaluations using GPT-4 as a judge reveal that AirGemma achieves a higher win rate than GPT-3.5 Turbo, and in single-answer assessments, it demonstrated greater accuracy in accident cause analysis conpared to both LLaMA3-70B and GPT-3.5 Turbo. These findings demonstrate that AirGemma is effective in identifying accident causes within the aviation domain. Designed to operate securely in a local environment, AirGemma offers a new approach to aviation safety accident analysis and prevention.
참고문헌 (23)
- J. Y. Kim, "Trends of Aircraft Safety Data and Analysis Methods", Electronics and Telecommunications Trends, 36(6), pp.55~66 (2021)
- Lim, Vicky Min-How, "Automatic keyphrase extraction techniques : a review", 2013 IEEE Symposium on Computers & Informatics (ISCI) (2013), IEEE
- Vaswani, A, "Attention is all you need", Advances in Neural Information Processing Systems (2017)
- Lee, Jinhyuk, "BioBERT : a pre-trained biomedical language representation model for biomedical text mining", Bioinformatics, 36(4), pp.1234~1240 (2020)
- Wang, Liya, "AviationGPT : A large language model for the aviation domain", AIAA AVIATION FORUM AND ASCEND 2024 (2024)
- Radford, Alec, "Improving language understanding by generative pre-training", ~ (2018)
- Radford, Alec, "Language models are unsupervised multitask learners", OpenAI blog, 1(8), pp.9~ (2019)
- Zheng, Lianmin, "Judging llm-as-a-judge with mt-bench and chatbot arena", Advances in Neural Information Processing Systems, 36, pp.46595~46623 (2023)
- "Aviation Accident Investigation Reports" (2024)[URL]
- Korea Transportation Safety Authority, "GYRO (No. 1–216)", ~ (2023)
- "Aviation Wiki"[URL]
- Sokolova, Marina, "Beyond accuracy, F-score and ROC: a family of discriminant measures for performance evaluation", Australasian joint conference on artificial intelligence (2006), Springer
- Lin, Chin-Yew, "Rouge : A package for automatic evaluation of summaries", Text summarization branches out (2004)
- Papineni, Kishore, "Bleu : a method for automatic evaluation of machine translation", Proceedings of the 40th annual meeting of the Association for Computational Linguistics (2002)