사회문제 해결 연구보고서 기반 문장 의미 식별 데이터셋 구축
Building Sentence Meaning Identification Dataset Based on Social Problem-Solving R&D Reports
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
일반적으로 사회문제 해결 연구는 과학기술을 활용하여 다양한 사회적 현안들에 의미있는 해결 방안을 제시함으로써 중요한 사회적 가치를창출하는 것을 연구 목표로 한다. 그러나 사회문제와 쟁점을 완화하기 위하여 많은 연구들이 국가적으로 수행되었음에도 불구하고 여전히 많은사회문제가 남아 있는 상황이다. 사회문제 해결 연구의 전 과정을 원활하게 하고 그 효과를 극대화하기 위해서는 사회적으로 시급한 현안들에대한 문제를 명확하게 파악하는 것이 중요하다. 사회문제 해결과 관련된 기존 R&D 보고서와 같은 자료에서 중요한 사안을 자동으로 식별할 수있다면 사회문제 파악 단계가 크게 개선될 수 있다. 따라서 본 논문은 다양한 국가 연구보고서에서 사회문제와 해결방안을 자동으로 감지하기위한 기계학습 모델을 구축하는 데에 필수적인 데이터셋을 제안하고자 한다. 우선 데이터를 구축하기 위해 사회문제와 쟁점을 다룬 연구보고서를총 700건 수집하였다. 수집된 연구보고서에서 사회문제, 목적, 해결 방안 등 사회문제 해결과 관련된 내용이 담긴 문장을 추출 후 라벨링을 수행하였다. 또한 4개의 사전학습 언어모델을 기반으로 분류 모델을 구현하고 구축된 데이터셋을 통해 일련의 성능 실험을 수행하였다. 실험 결과 KLUE-BERT사전학습 언어모델을 미세조정한 모델이 정확도 75.853%, F1 스코어 63.503%로 가장 높은 성능을 보였다.
Abstract
In general, social problem-solving research aims to create important social value by offering meaningful answers to various socialpending issues using scientific technologies. Not surprisingly, however, although numerous and extensive research attempts have beenmade to alleviate the social problems and issues in nation-wide, we still have many important social challenges and works to be done. In order to facilitate the entire process of the social problem-solving research and maximize its efficacy, it is vital to clearly identifyand grasp the important and pressing problems to be focused upon. It is understandable for the problem discovery step to be drasticallyimproved if current social issues can be automatically identified from existing R&D resources such as technical reports and articles. Thispaper introduces a comprehensive dataset which is essential to build a machine learning model for automatically detecting the socialproblems and solutions in various national research reports. Initially, we collected a total of 700 research reports regarding social problemsand issues. Through intensive annotation process, we built totally 24,022 sentences each of which possesses its own category or labelclosely related to social problem-solving such as problems, purposes, solutions, effects and so on. Furthermore, we implemented foursentence classification models based on various neural language models and conducted a series of performance experiments using ourdataset. As a result of the experiment, the model fine-tuned to the KLUE-BERT pre-trained language model showed the best performancewith an accuracy of 75.853% and an F1 score of 63.503%.
참고문헌 (18)
- Trends and characteristics of 2021 social problem-solving R&D investment, "J. H. Kim", KISTEP(Korea Institute of Science & Technology Evaluation & Planning), 3~29, pp.4 (2021)
- 송위진, "사회문제 해결형 연구개발은어떻게 수행되는가?", 과학기술학연구, 18(3), pp.255~288 (2018), 한국과학기술학회[DOI]
- Social problem-solving R&D guidelines for spreading field application, "Korea Institute of Science & Technology Evaluation and Planning", Ministry of Science and ICT, ~ (2021)
- W. J. Kim, "A study on the social problemsolving R&D policy improvement", Proceedings of the Korean Institute of Communication Sciences Conference, pp.228~229 (2018)
- S. J. Seong, "Rhetorical sentence classification using context information", Proceedings of the 33th Annual Conference on Human and Language Technology, pp.316~319 (2021)
- 송사광, "의료 문헌에서의 절차적 지식 추출", 정보과학회 컴퓨팅의 실제 논문지, 18(2), pp.123~127 (2012), 한국정보과학회
- Development of deep learning technologies and applications for the information extraction of S&T open texts, "J. S Yun", Korea Institute of Science and Technology Information, ~, pp.TRKO201700000489 (2017)
- Z. Nasar, "Tagging assistant for scientific articles", INTAP 2018 : Intelligent Technologies and Application, 932, pp.351~362 (2019)
- 이태훈, "의료 조언을 위한 질문 의도 인식: 학습 데이터 구축 및 의도 분류", 정보과학회논문지, 48(8), pp.878~884 (2021), 한국정보과학회[DOI]
- 이경호, "신문기사와 소셜 미디어를 활용한 한국어 문서요약 데이터 구축", 정보처리학회 논문지, 9(8), pp.251~258 (2020), 한국정보처리학회[DOI]
- 공혜수, "KorSciQA 2.0: 과학기술 분야 한국어 논문 기계독해를 위한 질의응답 데이터셋", 정보과학회논문지, 49(9), pp.686~695 (2022), 한국정보과학회[DOI]
- S. Park, "Klue : Korean language understanding evaluation", arXiv preprint arXiv : 2105. 09680, ~ (2021)
- "pdfminer.six"[URL]
- "Korean-Sentence-Splitter"[URL]
- "KLUE BERT base"[URL]
- "KcBERT: Korean Comments BERT"[URL]
- "KcELECTRA: Korean Comments ELECTRA"[URL]
- "KoELECTRA: Pretrained ELECTRA Model for Korean"[URL]