본문 바로가기
KERD
논문KCI 등재

ChatGPT가 자동 생성한 더블린 코어 메타데이터의 품질 평가: 국내 도서를 대상으로

Quality Evaluation of Automatically Generated Metadata Using ChatGPT: Focusing on Dublin Core for Korean Monographs

이혜경|이용구|김선욱
한국정보관리학회|2023.06|정보관리학회지 (Journal of the Korean Society for Information Management)|제40권 제2호|pp. 183-209|DOI http://doi.org/10.3743/KOSIM.2023.40.2.183

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

메타데이터Dublin CoremetadataChatGPT챗GPT더블린 코어자동 추출자동 생성automatic extractionautomatic generation
주제분류문헌정보학

초록

이 연구의 목적은 ChatGPT가 도서의 표지, 표제지, 판권기 데이터를 활용하여 생성한 더블린코어의 품질 평가를 통하여 ChatGPT의 메타데이터의 생성 능력과 그 가능성을 확인하는 데 있다. 이를 위하여 90건의 도서의 표지, 표제지와 판권기 데이터를 수집하여 ChatGPT에 입력하고 더블린 코어를 생성하게 하였으며, 산출물에 대해 완전성과 정확성 척도로 성능을 파악하였다. 그 결과, 전체 데이터에 있어 완전성은 0.87, 정확성은 0.71로 준수한 수준이었다. 요소별로 성능을 보면 Title, Creator, Publisher, Date, Identifier, Right, Language 요소가 다른 요소에 비해 상대적으로 높은 성능을 보였다. Subject와 Description 요소는 완전성과 정확성에 대해 다소 낮은 성능을 보였으나, 이들 요소에서 ChatGPT의 장점으로 알려진 생성 능력을 확인할 수 있었다. 한편, DDC 주류인 사회과학과 기술과학 분야에서 Contributor 요소의 정확성이 다소 낮았는데, 이는 ChatGPT의 책임표시사항 추출 오류 및 데이터 자체에서 메타데이터 요소용 서지 기술 내용의 누락, ChatGPT가 지닌 영어 위주의 학습데이터 구성 등에 따른 것으로 판단하였다.

Abstract

The purpose of this study is to evaluate the Dublin Core metadata generated by ChatGPT using book covers, title pages, and colophons from a collection of books. To achieve this, we collected book covers, title pages, and colophons from 90 books and inputted them into ChatGPT to generate Dublin Core metadata. The performance was evaluated in terms of completeness and accuracy. The overall results showed a satisfactory level of completeness at 0.87 and accuracy at 0.71. Among the individual elements, Title, Creator, Publisher, Date, Identifier, Rights, and Language exhibited higher performance. Subject and Description elements showed relatively lower performance in terms of completeness and accuracy, but it confirmed the generation capability known as the inherent strength of ChatGPT. On the other hand, books in the sections of social sciences and technology of DDC showed slightly lower accuracy in the Contributor element. This was attributed to ChatGPT’s attribution extraction errors, omissions in the original bibliographic description contents for metadata, and the language composition of the training data used by ChatGPT.

참고문헌 (42)

  1. 노대원, "소설 쓰는 로봇 - ChatGPT와 AI 생성 문학 -", 한국문예비평연구, (77), pp.125~160 (2023), 한국현대문예비평학회[DOI]
  2. 송학준, "ChatGPT와 관광산업의 미래에 관한 연구", 호텔리조트연구, 22(1), pp.115~128 (2023), 한국호텔리조트학회
  3. 양기철, "Automatic Extraction of Metadata Information for Library Collections", The International Journal of Advanced Culture Technology, 6(2), pp.117~122 (2018), 국제문화기술진흥원[DOI]
  4. 용성중, "영상 콘텐츠의 오디오 분석을 통한 메타데이터 자동 생성 방법", 한국항행학회논문지, 25(6), pp.557~561 (2021), 한국항행학회
  5. 이경호, "정보학" (2011), 인쇄마당
  6. 이명규, "우리나라의 도서 판권기 기술서지 요소 고찰", 한국도서관·정보학회지, 41(1), pp.211~231 (2010), 한국도서관·정보학회[DOI]
  7. 이용구, "학술지 기사에 대한 메타데이터 품질의 계량화 방법에 관한 연구", 정보관리학회지, 28(1), pp.309~326 (2011), 한국정보관리학회[DOI]
  8. 이윤희, "ChatGPT에 관한 연구: 뉴스 빅데이터 서비스와 ChatGPT 활용 사례를 중심으로", (사)디지털산업정보학회 논문지, 19(1), pp.139~151 (2023), (사)디지털산업정보학회
  9. 이치주, "더블린 코어와 MARC", 도서관문화, 41(6), pp.4~34 (2000)
  10. 정종진, "데이터셋 검색 지원을 위한 메타데이터 자동 추출에 관한 연구", 한국통신학회 학술대회논문집, pp.867~868 (2020)
  11. 정한민, "ChatGPT를 이용한 문헌 작성 설계 및 이슈", 한국지식정보기술학회 논문지, 18(1), pp.31~40 (2023), 한국지식정보기술학회[DOI]
  12. "On the Multilingual Capabilities of Very Large-Scale English Language Models" (2021)[URL]
  13. Chapman, A., "A catalogue quality audit tool", Library management, 23(6, pp.7) (2002), 314~324
  14. Cox, C., "ChatGPT : Implications for academic libraries", College & Research Libraries News, 84(3), pp.99~ (2023)[DOI]
  15. "Bert: Pre-training of deep bidirectional transformers for language understanding" (2018)[URL]
  16. Guinchard, C., "Dublin Core use in libraries : a survey", OCLC Systems & Services : International digital library perspectives, 18(1), pp.40~50 (2002)[DOI]
  17. Han, H., "Automatic document metadata extraction using support vector machines", 2003 Joint Conference on Digital Libraries, pp.37~48 (2003)
  18. Huang, J., "Understanding jargon:Combining extraction and generation for definition modeling", Proceedings of the 2022Conference on Empirical Methods in Natural Language Processing, pp.3994~4004 (2022)
  19. Irvin, K. M., "Comparing information retrieval effectiveness of different metadata generation methods", Master, pp.2003
  20. James, R., "An assessment of Google Books’ metadata", Journal of Library Metadata, 12(1), pp.15~22 (2012)[DOI]
  21. "Assessing the accuracy and reliability of AI-generated medical responses: an evaluation of the Chat-gpt model" (2023)[URL]
  22. "OpenAI ChatGPT Generated Content and Similarity Index: A study of selected terms from the Library & Information Science (LIS)" (2023)[URL]
  23. Liu, V., "Design guidelines for prompt engineering text-to-image generative models", Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, 384, pp.1~23 (2022)
  24. "Chatting about ChatGPT : how may AI and GPT impact academia and libraries?" (2023)[URL]
  25. Margaritopoulos, M., "Quantifying and measuring metadata completeness", Journal of the American Society for Information Science and Technology, 63(4), pp.724~737 (2012)[DOI]
  26. "Gpt-3 models are poor few-shot learners in the biomedical domain" (2021)[URL]
  27. Ochoa, X., "Automatic evaluation of metadata quality in digital repositories", International journal on digital libraries, 10, pp.67~91 (2009)[DOI]
  28. Ojokoh, B. A., "Automated document metadata extraction", Journal of Information Science, 35(5), pp.563~570 (2009)[DOI]
  29. Park, J. R., "Metadata quality in digital repositories: A survey of the current state of the art", Cataloging & classification quarterly, 47(3-4), pp.213~228 (2009)[DOI]
  30. Qu, Y., "A text generation and prediction system: pre-training on new corpora using BERT and GPT-2", 2020 IEEE 10th international conference on electronics information and emergency communication (ICEIEC), pp.323~326 (2020), IEEE
  31. Radford, A., "Improving language understanding by generative pre-training", ~ (2018)
  32. Radford, A., "Language models are unsupervised multitask learners", OpenAI blog, 1(8), pp.9~ (2019)
  33. "Text-guided synthesis of artistic images with retrieval-augmented diffusion models" (2022)[URL]
  34. Sokvitne, L., "An evaluation of the effectiveness of current Dublin Core metadata for retrieval", VALA conference (2000)
  35. Underwood, W., "Automatic Extraction of Dublin Core Metadata from Presidential E-records", 2020 IEEE International Conference on Big Data (Big Data), pp.1931~1938 (2020)
  36. Valls-Vargas, J., "Narrative extraction, processing and generation for interactive fiction and computer games", Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment, 9(6), pp.37~40 (2013)
  37. "A prompt pattern catalog to enhance prompt engineering with chatgpt" (2023)[URL]
  38. Zavalina, O. L., "Assessing skill building in metadata instruction : quality evaluation of dublin core metadata records created by graduate students", Journal of Education for Library and Information Science, 62(4), pp.423~442 (2021)[DOI]
  39. Zhang, J., "Internet search engines’ response to metadata Dublin Core implementation", Journal of Information Science, 30(4), pp.310~320 (2004)[DOI]
  40. Zhang, J., "The impact of webpage content characteristics on webpage visibility in search engine results(Part I)", Information Processing & Management, 41(3), pp.665~690 (2005)[DOI]
  41. Zhang, J., "The impact of metadata implementation on webpage visibility in search engine results(Part II)", Information processing & management, 41(3), pp.691~715 (2005)[DOI]
  42. "Large language models are human-level prompt engineers" (2022)[URL]

관련 논문AI추천

서지 메타데이터 자동 생성 성능 비교 연구 - 국내외 대규모 언어모델(Large Language Model)을 중심으로 -김선욱, 이혜경한국비블리아학회 · 한국비블리아학회지2025 · 제36권 제4호ChatGPT를 활용한 대학도서관의 한국어 학습지원 도서 추천 방안에 대한 연구윤정임, 최상희한국정보관리학회 · 정보관리학회지2024 · 제41권 제3호생성형 AI 기반 도서관 운영평가 자동화 가능성에 대한 기초연구나민경, 오지은, 이지연한국정보관리학회 · 정보관리학회지2025 · 제42권 제4호ChatGPT, 생성형 AI 시대 도서관의 데이터 리터러시 교육에 대한 연구이정미한국문헌정보학회 · 한국문헌정보학회지2023 · 제57권 제3호챗GPT를 활용한 기록관리 메타데이터 추출 사례연구강성희, 김민지, 이해영한국기록관리학회 · 한국기록관리학회지2024 · 제24권 제2호대규모 언어모델 기반 학술 토픽 설명 생성의 정량․정성 평가 연구: OpenAlex 사례한 혁, 권태훈, 김상국한국산업경영시스템학회 · 한국산업경영시스템학회지2025 · 제48권 제4호

이 간행물의 다른 논문 (10건)

고양시 독서문화진흥 종합계획 수립을 위한 독서문화 환경 분석 및 관련 사업 성과 평가 연구황금숙, 장인호, 김수경, 송민선pp. 1-31과학영재학교 학생들의 정보요구 및 정보이용행태에 관한 연구박해인, 이지연pp. 33-57공동연구 특성을 고려한 연구자 유형 구분에 대한 연구이재윤pp. 59-80전문도서관 발전에 영향을 미치는 요인 분석에 관한 연구김은형, 노영희pp. 81-114딥러닝 언어 모델을 이용한 연구보고서의 참고문헌 자동추출 연구한유경, 최원석, 이민철pp. 115-135
원문 보기