AI 할루시네이션에 대한 빅데이터 분석: LDA 토픽 모델링 및 감성 분석을 중심으로
Big Data Analysis on AI Hallucination : Focusing on LDA Topic Modeling and Sentiment Analysis
3
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
AI 기술의 급속한 발전과 함께 생성형 AI의 활용이 증가함에 따라 AI 할루시네이션 문제를 해결하는 것이 중요한 과제로 부상하고 있다. 잘못된 정보나 비현실적인 결과물을 생성하는 AI 할루시네이션은 AI의 신뢰성과 투명성을 저해하며, 사회적 혼란을 초래할 수 있기 때문에 이에 대한 체계적인 연구가 필요하다. 기존 선행연구는 대부분 기술적 측면에서 진행되었으나, 본 연구에서는 빅데이터 분석 기법을 통해 AI 할루시네이션 관련 사회문제에 대한 새로운 시각을 제시하고자 한다. 본 연구는 AI 할루시네이션 문제를 분석하기 위해 키워드 빈도분석, LDA 토픽 모델링과 감성 분석을 활용하였다. 연구 데이터는 ChatGPT 출시 이후의 기간인 2023년 1월 1일부터 2024년 5월 31일까지 수집된 자료를 기반으로 분석하였으며, LDA 토픽 모델링을 통해 11개의 토픽을 도출하였고, 감성 분석을 통해 대중의 인식을 긍정, 중립, 부정으로 구분하여 제시하였다. 이와 같이 도출된 연구결과를 바탕으로 AI 할루시네이션 관련 이슈를 파악하고, 생성형 AI 관련 최대 이슈인 AI 할루시네이션에 대한 대중의 인식 및 반응을 파악하였다. 이러한 접근은 기존 선행연구와 달리, 연구방법에 있어 큰 차별성을 가지며, AI 할루시네이션 관련 연구 분야에새로운 시각을 제시하고, AI 기술의 발전 방향과 정책 수립에 학문적 및 정책적 시사점을 제공할수 있을 것이다.
Abstract
With the rapid development of AI technology and the increasing use of generative AI, solving the problem of AI hallucination has become an important issue. AI hallucination, which produces misleading information or unrealistic results, hinders the reliability and transparency of AI and can cause social disruption, so systematic research is needed. While most of the previous studies have been conducted from a technical perspective, this study aims to provide a new perspective on the social issues related to AI hallucination through big data analysis techniques. This study utilized keyword frequency analysis, LDA topic modeling, and sentiment analysis to analyze the AI hallucination problem. The research data was analyzed based on data collected from January 1, 2023 to May 31, 2024, the period after the launch of ChatGPT. 11 topics were derived through LDA topic modeling and public perceptions were classified into positive, neutral, and negative by sentiment analysis. Based on the research results derived in this way, we identified issues related to AI hallucination and identified public perceptions and reactions to AI hallucination, the biggest issue related to generative AI. Unlike existing prior research, this approach has a significant difference in research methods, presents new perspectives on AI hallucination-related research, and can provide academic and policy implications for the development direction and policy establishment of AI technology.
참고문헌 (35)
- 인공지능 기술 활용 강국을 향한 과학기술정책 제고 전략, "과학기술정책연구원", ~ (2020)
- 김태종, "챗GPT 관련 사회적 이슈에 대한 탐색적 연구 : 뉴스 빅데이터 기반 토픽 모델링분석을 중심으로", 디지털콘텐츠학회논문지, 24(6), pp.1209~1220 (2023)
- 한국어 텍스트 감성 분석, "남길임", Communication Books, ~ (2022)
- 박형빈, "생성 AI(Generative AI)의 할루시네이션(hallucination)이슈와 윤리적 과제 : 초등 AI 윤리교육에서 활용 가능한 주제를 중심으로", 한국초등교육, 34(4), pp.21~36 (2023)
- ChatGPT를 넘어, 생성형 AI(Generative AI)의 미래, "삼성SDS", ~ (2023)
- 초거대·생성 AI의 국내외 현황과 이슈, "소프트웨어정책연구소", ~ (2023)
- 생성형 AI에 대응한 SW인재양성 정책 방향 연구, "소프트웨어정책연구소", ~ (2024)
- 양지훈, "생성형AI 서비스의 성공요인에 대한 탐색적 연구 : 텍스트 마이닝과ChatGPT를 활용하여", 경영정보학연구, 25(2), pp.125~144 (2023)
- 양지훈, "ChatGPT를 넘어 생성형(Generative)AI 시대로 : 미디어·콘텐츠 생성형 AI 서비스사례와 경쟁력 확보 방안", 미디어 이슈 & 트렌드, 55(3), pp.62~70 (2023)
- 생성형 AI 시대의 디지털 시민성 함양을 위한 세계시민교육의 과제 검토, "유네스코한국위원회", ~ (2023)
- 이동현, "텍스트 마이닝을 이용한 대한환경공학회지 연구 동향 분석", 대한환경공학회지, 43(2), pp.101~109 (2021)
- 이원조, "텍스트 데이터 워드클라우드 분석을 위한 데이터 정제기법에 관한 연구", 문화기술의융합, 7(4), pp.745~750 (2021)
- 전성해, "통계적 텍스트 마이닝을 이용한 빅데이터 전처리", 한국지능시스템학회논문지, 25(5), pp.470~476 (2015)
- 전성해, "행렬 인수분해와 베이지안 모델링을 이용한 텍스트 데이터 분석", 한국지능시스템학회논문지, 33(1), pp.84~89 (2023)
- 조준오, "빅데이터 기반 텍스트마이닝을 활용한 유아 인공지능 교육 키워드 및 토픽 분석", 한국영유아보육학, 140, pp.113~130 (2023)
- 최승원, "인간중심보안 개념 인식에 관한 빅데이터 분석", 한국산업보안연구, 13(3), pp.73~90 (2023)
- 최연준, "빅데이터 분석을 통한 경호무도 인식도 조사", 시큐리티연구, 75, pp.71~87 (2023)
- 최연준, "촉법소년에 대한 빅데이터 분석 : LDA 토픽 모델링 및 감성 분석을 중심으로", 시큐리티연구, 76, pp.53~78 (2023)
- 생성형 AI(Generative AI) 산업 현황 보고서, "한국저작권위원회", ~ (2023)
- 공공분야 챗GPT 활용에 따른 학습 데이터 오염과 할루시네이션(환각) 개선 방안, "한국행정연구원", ~ (2023)
- Generative AI Market Growth & Trends, "GrandViewResearch", ~ (2024)
- Ooi, K., "The Potential of Generative Artificial Intelligence Across Disciplines:Perspectives and Future Directions", Journal of Computer Information Systems, 1, pp.1~32 (2023)
- Pavlik, J., "Collaborating With ChatGPT : Considering the Implications of Generative Artificial Intelligence for Journalism and Media Education", Journalism & Mass Communication Educator, 78(1), pp.84~93 (2023)
- Alkaissi, H., "Artificial hallucinations in ChatGPT : implications in scientific writing", Cureus, 15(2), pp.1~4 (2023)
- Ji, Z., "Survey of Hallucination in Natural Language Generation", ACM Computing Surveys, 55(12), pp.1~38 (2023)
- Sharun, K., "ChatGPT and artificial hallucinations in stem cell research : assessing the accuracy of generated references–a preliminary study", Annals of Medicine and Surgery, 85(10), pp.5275~5278 (2023)
- Athaluri, S., "Exploring the boundaries of reality : investigating the phenomenon of artificial intelligence hallucination in scientific writing through ChatGPT references", Cureus, 15(4), pp.e37432~ (2023)
- Hicks, M., "ChatGPT is bullshit", Ethics and Information Technology, 26(38), pp.1~10 (2023)
- Hasan, M., "Normalized approach to find optimal number of topics in Latent Dirichlet Allocation (LDA)", Proceedings of International Conference on Trends in Computational and Cognitive Engineering: Proceedings of TCCE 2020, pp.341~354 (2021)
- Nandwani, P., "A review on sentiment analysis and emotion detection from text", Social Network Analysis and Mining, 11(1), pp.1~19 (2021)
- Liu, S., "Emotional analysis of evaluation discourse in business English translation based on language big data mining of public health environment", Frontiers in Public Health, 10, pp.1~14 (2022)
- "What are AI hallucinations?" (2024)[URL]
- "How does ChatGPT really work?" (2023)[URL]
- "환각(인공지능)" (2023)[URL]