대규모 언어 모델을 활용한 한국어 가짜뉴스 탐지: 한계와 가능성
Detecting Fake News in Korean Using Large Language Models: Limitations and Possibilities
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
가짜뉴스는 디지털 플랫폼과 소셜 미디어를 통해 빠르게 확산되며, 사회적 신뢰와 공적 담론에 부정적인 영향을 미치 는 중요한 문제로 대두되고 있다. 그런 가운데 최근 대규모 언어 모델(Large Language Models)의 발전은 자연어 처리 기 술의 새로운 가능성을 열었으며, 이러한 모델의 활용은 가짜뉴스 탐지와 같은 중요한 사회적 문제 해결에도 기여하고 있 다. 본 연구는 가짜뉴스의 여러 유형 중 허위정보(misinformation)를 중심으로 한국어 환경에서 LLM 기반 가짜뉴스 탐지 의 가능성과 한계를 분석하고자 한다. 이를 위해 서울대학교 SNU팩트체크에서 수집한 500개의 한국어 뉴스 기사를 기 반으로 한 벤치마크 데이터셋을 구축하였으며, 기사 요약 방식을 적용하여 추출형 및 생성형 데이터셋을 추가로 설계하 였다. 본 연구는 세 가지 연구 질문을 중심으로 진행되었다: (1) 한국어 환경에서 LLM 기반 가짜뉴스 탐지가 효과적인 가, (2) 어떤 요약방식이 LLM을 활용한 가짜뉴스 탐지에 효과적인가?, (3) 탐지 성능을 향상시키기 위한 최적의 방법은 무엇인가? 분석 결과, 한국어 데이터셋에서 LLM 기반 탐지 성능은 영어 중심 연구 대비 낮은 정확도(59.8%)를 보였다. 또한, 요약 텍스트를 활용한 실험에서는 문장이 짧아질수록 탐지 성능이 감소하였으며, 생성형 요약이 추출형 요약보다 다소 우수한 성능을 보였다. 마지막으로, 가짜뉴스 탐지의 기준이 되는 7가지 이유를 반영한 개선된 프롬프트를 도입하 여 탐지 정확도를 소폭(62.1%) 개선할 수 있었다. 본 연구는 한국어 환경에서의 LLM 기반 가짜뉴스 탐지 연구를 확장하 며, 고도화된 프롬프트 설계와 맥락적 요인을 고려한 접근이 탐지 성능 향상에 기여할 수 있음을 입증하였다. 연구 결과 는 가짜뉴스 탐지뿐 아니라 다양한 언어 및 문화적 맥락에서의 LLM 활용 가능성을 제시하며, 향후 연구 및 실무적 응용에 중요한 시사점을 제공한다.
Abstract
Fake news spreads rapidly through digital platforms and social media and has become an important problem that negatively impacts social trust and public discourse. Recent advances in Large Language Models (LLMs) have opened up new possibilities for natural language processing techniques, and their use is also contributing to solving important social problems such as fake news detection. This study aims to analyze the possibilities and limitations of LLM-based fake news detection in the Korean environment, focusing on misinformation among the different types of fake news. To this end, we constructed a benchmark dataset based on 500 Korean news articles collected from SNU FactCheck. Further, we designed extracted and generated datasets by applying the article summarization method. This study centered on three research questions: (1) is LLM-based fake news detection effective in the Korean environment? (2) which summarization method is effective in detecting fake news using LLM, and (3) what is the optimal way to improve detection performance? The results showed that LLM-based detection accuracy in the Korean dataset was lower (59.8%) compared to English-focused studies. In addition, detection performance in experiments using summarized text decreased as sentences became shorter, and generated summaries performed slightly better than extracted summaries. Finally, we improved the detection accuracy slightly (62.1%) by introducing an improved prompt that reflects the seven reasons for fake news detection. This study extends the LLM-based fake news detection research in the Korean environment. It demonstrates that an advanced prompt design and an approach considering contextual factors can improve detection performance. The findings suggest the feasibility of utilizing LLM not only for fake news detection but also in various linguistic and cultural contexts, which have important implications for future research and practical applications.
참고문헌 (41)
- 김민정, "가짜뉴스(fake news)에서 허위조작정보(disinformation)로", 미디어와 인격권, 5(2), pp.43~81 (2019)
- 박성수, "효과적인 가짜 뉴스 탐지를 위한 텍스트분석과 네트워크 임베딩 방법의 비교 연구", 디지털융복합연구, 17(5), pp.137~143 (2019)
- 박예은, "생성형 AI는 인간 관리자를 대체할 수있는가?", 자동 생성된 관리자 응답이 고객에 미치는 영향. 지식경영연구, 24(4), pp.153~176 (2023)
- 유기동, "LLM 사용자의 민감정보 유출 방지를 위한 지식그래프 기반 챗봇", 지식경영연구, 25(2), pp.1~18 (2024)
- 이민철, "머신러닝을 활용한 가짜리뷰 탐지 연구 : 사용자 행동 분석을 중심으로", 지식경영연구, 21(3), pp.177~195 (2020)
- 정두흠, "코로나 19 가짜뉴스의 유형분석 : 허위조작정보의 조작특징을 중심으로", 지역과 커뮤니케이션, 25(4), pp.216~258 (2021)
- Abdulrahman, A., "Fake news detection using machine learning and deep learning algorithms", 2020 international conference on advanced science and engineering (ICOASE), pp.18~23 (2020), IEEE
- Bondielli, A., "A survey on fake news and rumour detection techniques", Information Sciences, 497, pp.38~55 (2019)
- Brown, T., "Language models are few-shot learners", Advances in Neural Information Processing Systems, 33, pp.1877~1901 (2020)
- Buntain, C., "Automatically identifying fake news in popular twitter threads", 2017IEEE international conference on smart cloud (smartCloud), pp.208~215 (2017)
- Gelfert, A., "Fake news : A definition", Informal Logic, 38(1), pp.84~117 (2018)
- Gifu, D., "An intelligent system for detecting fake news", Procedia Computer Science, 221, pp.1058~1065 (2023)
- Horne, B., "This just in: Fake news packs a lot in title, uses simpler, repetitive content in text body, more similar to satire than real news", Proceedings of the International AAAI Conference on Web and Social Media, 11(1), pp.759~766 (2017)
- Hu, B., "Bad actor, good advisor: Exploring the role of large language models in fake news detection", Proceedings of the AAAI Conference on Artificial Intelligence, 38(20), pp.22105~22113 (2024)
- Huang, Y., "From Creation to Clarification: ChatGPT's Journey Through the Fake News Quagmire", Companion Proceedings of the ACM on Web Conference 2024, pp.513~516 (2024)
- Jiang, B., "Disinformation detection: An evolving challenge in the age of LLMs", Proceedings of the 2024 SIAM International Conference on Data Mining (SDM), pp.427~435 (2024), Society for Industrial and Applied Mathematics
- Kahneman, D, "Thinking, fast and slow" (2011), Farrar, Straus and Giroux
- Kim, A., "Says who? The effects of presentation format and source rating on fake news in social media", Mis Quarterly, 43(3), pp.1025~1039 (2019)
- Fake news on social media: People believe what they want to believe when it makes no sense at all, "Moravec, P.", Kelley School of Business Research, 18~87 (2018)
- Ognyanova, K., "Misinformation in action: Fake news exposure is linked to lower trust in media, higher trust in government when your side is in power", Harvard Kennedy School Misinformation Review, 1(4) (2020)[DOI]
- Ouyang, L., "Training language models to follow instructions with human feedback", Advances in Neural Information Processing Systems, 35, pp.27730~27744 (2022)
- Pan, J. Z., "Content based fake news detection using knowledge graphs", The Semantic Web–ISWC 2018: 17th International Semantic Web Conference, pp.669~683 (2018)
- Papageorgiou, E., "A survey on the use of Large Language Models(LLMs)in fake news", Future Internet, 16(8), pp.298~ (2024)
- Quelle, D., "The perils and promises of fact-checking with large language models", Frontiers in Artificial Intelligence, 7, pp.1341697~ (2024)
- Raza, S., "Fake news detection based on news content and social contexts : A transformer-based approach", International Journal of Data Science and Analytics, 13(4), pp.335~362 (2022)
- Rossini, P., "Explaining beliefs in electoral misinformation in the 2022 Brazilian election : The role of ideology, political trust, social media, and messaging apps", Harvard Kennedy School Misinformation Review, 4(3), pp.1~16 (2023)
- Sheikhi, S., "An effective fake news detection method using WOA-xgbTree algorithm and content-based features", Applied Soft Computing, 109, pp.107559~ (2021)
- Shim, J. S., "A link2vec-based fake news detection model using web search results", Expert Systems with Applications, 184, pp.115491~ (2021)
- Wu, L., "Misinformation in social media : Definition, manipulation, and detection", ACM SIGKDD Explorations Newsletter, 21(2), pp.80~90 (2019)
- Wynne, H. E., "Content based fake news detection using n-gram models", Proceedings of the 21st International Conference on Information Integration and Web-based Applications &Services, pp.669~673 (2019)
- Xie, A., "Integrating open-domain knowledge via large language model for multimodal fake news detection", 2024 27th International Conference on Computer Supported Cooperative Work in Design (CSCWD), pp.1917~1922 (2024)
- Zhang, Q., "Data augmentation for fake news using ChatGPT", 2023 International Conference on Intelligent Management and Software Engineering (IMSE), pp.12~17 (2023)
- Zhou, X., "Fake news: Fundamental theories, detection strategies and challenges", Proceedings of the twelfth ACM international conference on web search and data mining, pp.836~837 (2019)
- "Trust in voting: How misinformation threatens democracy" (2024)[URL]