국가기록포털 검색서비스 품질 점검을 위한 평가셋 구축 및 현황 분석
Test Set Construction for Quality Evaluation of NAK Portal’s Search Service and the Status Analysis
1
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
기록을 관리하는 궁극적인 목적은 안전한 보존과 효율적 활용이다. 그러나 공공기록물 관리의 수장인 국가기록원의 검색서비스인 국가기록포털은 검색 시스템이 도입된 지 10년이 넘어 노후화되었고, 검색도구도 이원화되어 있다. 또한, 국가기록물을 열람하고자 하는 이용자의 검색 만족도를 충족시키지 못해 개선이 필요하다. 본 연구는 국가기록물 검색 고도화를 위한 사전 연구로, 현재의 국가기록원 검색시스템의 검색 품질 현황을 파악하는 것을 목적으로 한다. 이를 위해 국가기록원에서 사용 중인 검색도구인 CAMS와 국가기록포털의 현황을 분석하고 검색서비스 품질을 점검하기 위한 평가셋을 구축, 이용자 관점에서 국가기록포털의 검색 품질 평가를 실시하였다. 국가기록포털의 성능평가를 위한 척도로는 정확률과 재현율, F-score, MRR 등을 활용, 다양한 각도에서 분석하였다. 검색 품질 평가결과 전반적으로 검색 성능이 낮은 것으로 나타났으며, 특히 ‘주제별상세검색’의 경우 정확률, 재현율, MRR이 모두 낮게 나와 개선이 시급할 것으로 보인다. 본 연구를 통해 구축된 평가셋이 향후 국가기록원 검색시스템의 고도화 이후 시스템의 성능이 얼마나 개선되었는지를 객관적으로 측정할 수 있는 기틀로 활용되기를 기대한다.
Abstract
The ultimate record management’s purpose is preservation and utilization. However, the National Archives of Korea (NAK)s Portal has problems such as search system aging and search tools dualization. As a result, the users’ search satisfaction is not satisfied, and the improvement demand increases. This study aimed to evaluate the NAK’s search quality as a preliminary study for NAK search system advancement. To this end, we analyzed the current status of CAMS and NAK’s Portal. Then, we established the test sets and evaluated the NAK’s Portal quality from the user’s point of view. Evaluation results were analyzed using Precision, Recall, F-score, and MRR. The analysis results showed that the overall search performance was low, particularly in the “advanced subject search,” which showed low performance in Precision, Recall, and MRR. Thus, improvement is urgently needed. The test sets established for this study are expected to be used as a basis for objectively measuring the improvement of the search performance after the NAK search system advancement.
참고문헌 (23)
- 2013년 국가기록 백서, "국가기록원", 국가기록원, ~ (2014)
- 2014년 국가기록 백서, "국가기록원", 국가기록원, ~ (2015)
- 국가기록원, "2021년 국가기록원 주요통계연보", 국가기록원, ~ (2021)
- 김장환, "국회기록정보 통합관리시스템 개발 방향에 관한 연구", 한국기록관리학회지, 15(2), pp.103~136 (2015), 한국기록관리학회[DOI]
- 김지현, "국가기록원 기록정보서비스에 대한 이용자 인식에 관한 연구", 한국기록관리학회지, 12(1), pp.167~187 (2012), 한국기록관리학회[DOI]
- 김현희, "FRBR 모형 기반 서지검색시스템의 검색 효율성 평가 연구", 한국도서관·정보학회지, 38(3), pp.223~246 (2007), 한국도서관·정보학회[DOI]
- 노명환, "4차 산업혁명 시대 데이터 아카이브와 기록관리의 길 - 국가기록원의 행정정보 데이터세트 기록관리 실행방안에 대한 비판적 검토와 중·장기 차원의 제안 -", 기록과 정보·문화 연구, (11), pp.7~43 (2020), 정보·기록학연구소[DOI]
- 박미성, "INEX Book Search 트랙의 실험 고찰", 한국도서관·정보학회지, 40(4), pp.199~225 (2009), 한국도서관·정보학회[DOI]
- 박민수, "표준 기록관리시스템에 대한 사용자 만족도 분석", 한국기록관리학회지, 12(1), pp.189~207 (2012), 한국기록관리학회[DOI]
- 박민수, "웹 사용성 개선에 관한 연구 - 국가과학기술정보시스템을 중심으로 -", 한국비블리아학회지, 22(4), pp.5~19 (2011), 한국비블리아학회
- 박상현, "EAD 기반 영구기록물 통합검색시스템 설계 및 구현", 한국기록관리학회지, 14(1), pp.101~124 (2014), 한국기록관리학회[DOI]
- 박소연, "주요 검색 포탈들의 통합 검색 서비스 비교 평가", 한국도서관·정보학회지, 39(1), pp.265~278 (2008), 한국도서관·정보학회[DOI]
- 박소연, "지식 검색 서비스 개선을 위한 문서의 적합도 및 신뢰도 분석", 한국문헌정보학회지, 40(2), pp.299~314 (2006), 한국문헌정보학회
- 설문원, "국가기록원의 기록제공서비스에 관한 탐색적 연구", 한국기록관리학회지, 22(3), pp.103~124 (2022), 한국기록관리학회[DOI]
- 이경남, "표준 기록관리시스템 검색 기능 평가", 기록학연구, (37), pp.273~305 (2013), 한국기록학회
- 이병길, "새마을운동 기록물의 개체기반 온톨로지 검색시스템 설계 및 평가", 한국기록관리학회지, 13(3), pp.67~97 (2013), 한국기록관리학회[DOI]
- 이상진, "검색엔진 최적화(SEO) 기법을 활용한전자무역 마케팅 성과에 관한 실증연구", 통상정보연구, 13(1), pp.3~28 (2011), 한국통상정보학회[DOI]
- 이윤령, "온라인 검색도구의 개선 방안에 관한 연구 - 국립기록관 검색도구에 대한 평가를 중심으로 -", 한국기록관리학회지, 14(1), pp.75~100 (2014), 한국기록관리학회[DOI]
- 이효진, "국가기록원 웹사이트 검색서비스의 사용성 평가를 통한 개선방안 연구", 한국기록관리학회지, 21(3), pp.187~215 (2021), 한국기록관리학회[DOI]
- 장인호, "온톨로지 기반 법률 검색시스템의 구축 및 평가에 관한 연구", 한국문헌정보학회지, 45(2), pp.345~366 (2011), 한국문헌정보학회[DOI]
- 장희정, "국가기록관 웹사이트의 평가에 관한 연구", 한국기록관리학회지, 12(2), pp.51~70 (2012), 한국기록관리학회[DOI]
- Sebastiani, F., "Machine learning in automated text categorization", ACM Computing Surveys, 34(1), pp.1~47 (2002)[DOI]
- Voorhees, E. M., "TREC-8 Question Answering Track Report", Proceedings of the 8th Text Retrieval Conference, pp.77~82 (1999)