본문 바로가기
KERD
논문KCI 등재

UGC 표준형 말뭉치 구축을 위한 말뭉치언어학적 연구 - 유튜브 댓글을 중심으로 -

A corpus linguistic approach on constructing normalized corpus of UGC- Focused on Youtube reviews -

0

조회

0

다운로드

6

인용

0

참고문헌

키워드

초록

The hasty growth of CMC(Computer-Mediated Communication) are nowadays used by many Korean users to express their perspectives on various topics. However most of the data is difficult to process automatically due to the non-standard expressions, neologism including OOV(out-of-vocabulary) and web specific orthographic conventions. This study amis to propose the standardization procedure of Korean UGC corpus by constructing and analyzing Korean Youtube review corpus. For the purpose of this study, 250K word Youtube review corous was built: this was composed of all reviews on the K Drama channeds provided by three main Korean broadcasting companies. Chapter 2 presents the corpus analysis methodology for the research process including Youtube Comment Scraper tool and preprocessing. Chapter 3 addresses the classification of no standard forms, which focus on highly frequent forms in Korean UGC data. Chapter 4 deals with issues and considerations in constructing the parallel corpus between non-standard and standard forms for Korean linguistic analysis and NLP.

Abstract

The hasty growth of CMC(Computer-Mediated Communication) are nowadays used by many Korean users to express their perspectives on various topics. However most of the data is difficult to process automatically due to the non-standard expressions, neologism including OOV(out-of-vocabulary) and web specific orthographic conventions. This study amis to propose the standardization procedure of Korean UGC corpus by constructing and analyzing Korean Youtube review corpus. For the purpose of this study, 250K word Youtube review corous was built: this was composed of all reviews on the K Drama channeds provided by three main Korean broadcasting companies. Chapter 2 presents the corpus analysis methodology for the research process including Youtube Comment Scraper tool and preprocessing. Chapter 3 addresses the classification of no standard forms, which focus on highly frequent forms in Korean UGC data. Chapter 4 deals with issues and considerations in constructing the parallel corpus between non-standard and standard forms for Korean linguistic analysis and NLP.

참고문헌 (45)

  1. 강연임, "카카오톡 메신저의 소통 양상과 사회언어학적 특성", 어문연구, 92, pp.5~37 (2017), 어문연구학회[DOI]
  2. 구현정, "디지털 매체 언어와 소통", 새국어생활, 26(3), pp.27~44 (2016), 국립국어원
  3. 권연진, "컴퓨터 통신 언어의 유형별 실태 및 바람직한 방안", 언어과학, 7(2), pp.5~27 (2000), 한국언어학회 동남지회
  4. 김선철, "통신언어 준말의 형성에 대한 음운론·형태론적 고찰", 언어학, (61), pp.115~129 (2011), 사단법인 한국언어학회
  5. 김일환, "형태 분석 말뭉치 구축" (2019), 국립국어원
  6. 남길임, "웹 말뭉치를 활용한 언어 연구의 현황과 쟁점", 한국어 의미학, 60, pp.23~49 (2018), 한국어의미학회
  7. 남길임, "말뭉치언어학적 관점에서 본 감성표현 추출의 쟁점 - 사용자 리뷰 말뭉치를 중심으로-", 어문론총, (82), pp.207~236 (2019), 한국문학언어학회[DOI]
  8. 박동근, "통신언어의 유형에 따른 언어학적 기능 연구", 語文學硏究, 11, pp.0~17 (2001), 상명대학교 어문학연구소
  9. 박선우, "한국어 모바일 텍스트에 대한 인식과 태도", 어문론집, 62, pp.61~103 (2015), 중앙어문학회[DOI]
  10. 박현구, "플레이밍의 관점에서 본 온라인 유사언어 : 유사언어 유형과 언어의 공공성의 관계", 한국소통학보, (10), pp.7~37 (2008), 한국소통학회[DOI]
  11. 박현구, "컴퓨터통신언어에 대한 사용자의 지각과 컴퓨터통신언어 사용 실태의 관계", 언론과학연구, 11(3), pp.91~119 (2011), 한국지역언론학회
  12. 메신저 대화 자료 수집 및 말뭉치 구축, "박일섭", 국립국어원, ~ (2019)
  13. 안의정, "국어사전에서의 구어 어휘 선정과 기술 방안 연구", 박사, pp.2007
  14. 웹 말뭉치 구축, "이영희", 국립국어원, ~ (2019)
  15. 이정복, "인터넷 통신 언어의 이해" (2003), 도서출판 월인
  16. 이정복, "인터넷 통신 언어의 확산과 한국어 연구의 확대" (2009), 도서출판 소통
  17. 이희은, "유튜브의 기술문화적 의미에 대한 탐색: ‘흐름’과 알고리즘 개념의 재구성을 중심으로", 언론과 사회, 27(2), pp.5~46 (2019), 사단법인 언론과 사회
  18. 임규홍, "컴퓨터 통신 언어에 대하여", 배달말, 27, pp.23~59 (2000), 배달말학회
  19. 장경현, "인터넷 언어의 종결어미 회피 현상 연구", 언어사실과 관점, 31, pp.171~194 (2013), 언어정보연구원[DOI]
  20. 조상진, "인터넷 통신 언어의 연구", 석사, 국어교육, pp.2006
  21. 한영균, "웹 문서와 인터넷을 이용한 현대 한국어 참조 코퍼스의 구축", 어문학, (124), pp.129~166 (2014), 한국어문학회
  22. 허상희, "대학생들의 성별에 따른 카카오톡 사용양상 분석", 한민족어문학(구 영남어문학), (76), pp.163~200 (2017), 한민족어문학회
  23. Al‐Sa’Di, R. A., "“Synchronous online chat” English: Computer‐mediated communication", World Englishes, 24(4), pp.409~424 (2005)
  24. Chanier T., "The CoMeRe corpus for French : structuring and annotating heterogeneous CMC genres, in Building and Annotating Corpora of Computer-Mediated Discourse", Journal of Language Technology and Computational Linguistics, 29(2), pp.1~30 (2014)
  25. Chen, T., "Creating a live, public short message service corpus: the NUS SMS corpus", Language Resources & Evaluation, 47, pp.299~335 (2013)
  26. Collins, L., "Corpus Linguistics for Online Communication: A Guide for Research" (2019), Routledge
  27. Crystal, D., "Language and the Internet" (2006), Cambridge University Press
  28. "Meaningful levels of analysis in (corpus) linguistics" (2017)[URL]
  29. Flint E., "A text normalisation system for Non-Standard english words", Proceedings of the 3rd Workshop on Noisy User-generated Text, pp.107~115 (2017)
  30. Herring, S., "Research: Computer‐mediated communication", Bulletin of the American Society for Information Science and Technology, pp.41~44 (2014)
  31. Ljubešić, Nikola, "Standardizing Tweets with Character-level Machine Translation", Computational Linguistics and Intelligent Text Processing, pp.164~175 (2014)
  32. Saito, I., "Improving neural text normalization with data augmentation at character-and morphological levels", Proceedings of theEighth International Joint Conference on Natural Language Processing, pp.257~262 (2017)
  33. Eryiğit, G., "Social media text normalization for Turkish", Natural Language Engineering, 23(6), pp.835~ (2017)
  34. Schulz, S., "Multimodular text normalization of Dutch user-generated content", ACM Transactions on Intelligent Systems and Technology (TIST), 7(4), pp.1~22 (2016)
  35. Sindoni, M. G., "Spoken and written discourse in online interactions: A multimodal approach" (2014), Routledge
  36. Sproat, R., "Normalization of non-standard words", Computer speech & language, 15(3), pp.287~333 (2001)
  37. Yvon, F., "Rewriting the orthography of SMS messages", Natural Language Engineering, 16(2), pp.133~ (2010)
  38. "유튜브 서비스 약관"[URL]
  39. "유튜브 Open Data API"[URL]
  40. "Webometric Analyst"[URL]
  41. "soyspacing"[URL]
  42. "PyKoSpacing"[URL]
  43. "KBS Drama Classic"[URL]
  44. "MBCdrama"[URL]
  45. "SBS Drama"[URL]

관련 논문AI추천

이 간행물의 다른 논문 (10건)