인공 지능 학습용 말뭉치의 부적절성 분석을 위한 주석 방안 연구
An Annotation Method for Analysis of Inappropriateness of Conversational Artificial Intelligence Learning Corpus
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본고는 대화형 인공 지능의 학습을 위한 대규모 말뭉치를 대상으로 부적절 표현을 선별하고, 그것을 분석할 수 있는 주석 방안을 마련하는 데 목적이 있다. 이를 위하여 본고는 ‘비윤리성’, ‘공격성’, ‘비하성’과 더불어 기존 논의에서 배제되었던 ‘편향성’을 부적절성의 구성 요인 중 하나로 설정함으로써 기계 학습 시 발생할 수 있는 편향(algorithmic bias)을 바로잡을 수 있도록 하였다. 부적절성 선별과 더불어 이를 분석하는 요인으로 ‘명시성’, ‘맥락’, ‘영역’, ‘강도’ 의 네 가지 범주를 설정하였다. 특히 부적절성의 강도 판정은 산업계에서도 그 요도와 활용도가 높다는 점에서 중요성을 지닌다. 본고는 강도 판정 시 발생할 수 있는 주석자 간 불일치도를 줄이기 위하여 ‘명시성’과 ‘맥락’을 다면적으로 고려하는 방안을 제안하였다. 마지막으로 본고는 말뭉치에서 추출한 용례를 대상으로 실제 분석 요인에 따른 주석 방법을 보임으로써 부적절성의 개념과 분석 요인, 주석 방안의 타당성과 실제성을 검증해 보이고자 하였다. 본고의 이와 같은 작업은 인공 지능 학습용 말뭉치를 대상으로 범용적으로 활용 가능한 부적절성 검증 틀을 고도화하는 데 기여할 수 있다는 점에서 학술적·산업적 의의를 지닌다.
Abstract
This study aims to select inappropriate representations from large corpus built for learning conversational artificial intelligence and to develop annotation measures to analyze them. To this end, this study sets ‘bias’, which was excluded from previous discussions, as one of the components of inappropriateness, along with ‘unethical’, ‘aggression’, and ‘depreciation’, to correct algorithm bias that may occur during machine learning. Next, four categories were set as factors to analyze the inappropriateness selected: ‘explicitness’(explicit/implicit), ‘context’ (positive/negative), ‘domain’ and ‘intensity’(strong/weak). In particular, determining the intensity of inappropriateness is vital in that the need and utilization of it are high in the industry. In order to reduce the degree of inconsistency between annotators that may occur when determining strength, this paper proposed a plan to consider ‘explicit’ and ‘context’ in a multi-faceted manner. Finally, this paper tried to verify the validity and practicality of the proposed concept of inappropriateness, analysis factors, and factor annotation method by showing an annotation method according to actual analysis factors. Such work in this paper is of academic and industrial significance in that it has contributed to upgrading a universally available inappropriate verification framework for artificial intelligence learning corpus.
참고문헌 (25)
- 김동언, "국어 비속어의 개념과 특징", 인문과학논집, 5, pp.229~244 (1998), 강남대학교 인문과학연구소
- 김상윤, "욕설의 특질에 관한 연구", 화법연구, 4, pp.271~190 (2002), 한국화법학회
- 박교현, "SVM을 이용한 온라인게임 비속어 필터링 시스템", 2006년도 한국정보과학회 가을 학술발표논문집, 33(2), pp.260~263 (2006)
- 박재현, "사회적 의사소통 연구: 지역·민족·인종에 대한 차별적 언어표현 개선 연구" (2009), 국립국어원
- 신기상, "우리말 욕설 연구", 국어교육, 79, pp.15~46 (1992), 한국국어교육연구회
- 오새내, "한국어 여성비속어의 분류와 특성", 한국어 의미학, 11, pp.139~160 (2002), 한국어의미학회
- 유현경, "차별·비하 표현의 국어사전 뜻풀이 메타언어에 대한 연구", 한국사전학, (40), pp.170~208 (2022), 한국사전학회
- 유현경, "자율규제를 위한 혐오표현 등급화 방안 연구", 언어사실과 관점, 59, pp.91~123 (2023), 언어정보연구원[DOI]
- 이건환, "딥러닝 기반 비속어 필터링 채팅 프로그램 설계 및 구현", 한국정보처리학회 2019년도 추계학술발표대회논문집, 99, pp.998~1001 (2019)
- 이청호, "윤리적 인공지능을 위한 비도덕 문장 판별 온톨로지 구축에 대한 연구", 인공지능인문학연구, 7, pp.149~170 (2021), 인문콘텐츠연구소[DOI]
- 장경희, "국어 욕설의 본질과 유형", 텍스트언어학, 29, pp.401~427 (2010), 한국텍스트언어학회[DOI]
- 정유남, "말뭉치 기반 비윤리 문장의 의미 연구 - 부사어와 서술어 구성을 중심으로", 한말연구, 64(6), pp.1~21 (2023), 한말연구학회[DOI]
- 조은경, "전이 학습에서 일반 의미와 영역 의미 표현 학습", 2023 세계 한국어 한마당 학술대회 발표 자료집 (2023)
- 조태린, "대화형 인공지능의 윤리적 언어 표현을 위한 기초 연구 - 단어 단위의 비윤리적 언어 표현의 유형 분류 중심으로 -", 어문학, (140), pp.65~96 (2018), 한국어문학회[DOI]
- 조태린, "비윤리적 언어 표현의 의미 자질에 따른 하위 유형 연구 - 대화형 인공지능의 윤리적 언어 표현을 위한 기초 연구(2) -", 한민족문화연구, 63(63), pp.147~184 (2018), 한민족문화학회[DOI]
- Dadvar, M., "Improving cyberbullying detection with user context", Advances in Information Retrieval: 35th European Conference on IR Research, ECIR 2013, pp.693~696 (2013), Springer Berlin Heidelberg
- Davidson, T., "Automated hate speech detection and the problem of offensive language", International Conference on Web and Social Media, pp.512~515 (2017)
- Dinakar, K., "Modeling the detection of textual cyberbullying", Proceedings of the International AAAI Conference on Web and Social Media, 5(3), pp.11~17 (2021)
- Justo, R., "Extracting relevant knowledge for the detection of sarcasm and nastiness in the social web", Knowledge-Based Systems, 69, pp.124~133 (2014)
- Kumar, R., "Benchmarking aggression identification in social media, Proceedings of the First Workshop on Trolling", Aggression and Cyberbullying, pp.1~11 (2018)
- Waseem, Z., "Hateful symbols or hateful people? predictive features for hate speech detection on twitter", Proceedings of the NAACL student research workshop, pp.88~93 (2016)
- Wassem, Z., "Understanding abuse: A typology of abusive language detection subtasks", Proceedings of the First Workshop on Abusive Language Online, pp.78~84 (2017)
- Zampieri, M., "Predicting the type and target of offensive social media posts in Marathi", Social Network Analysis and Mining, 12, pp.10~18 (2019)
- "표준국어대사전", ~
- "고려대학교 한국어 대사전", ~