메타데이터 확장을 통한 검색 및 추천 시스템
Search and Recommendation Systems with Metadata Extensions
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문은 멀티미디어 산업에서의 동영상 검색과 추천 시스템의 한계를 극복하기 위해 인공지능 기반의 동영상 메타데이터 확장 모델을 제안한다. 현재의 동영상 검색과 추천은 사전에 추가된 메타 데이터를 활용하는데, 이는 실제 콘텐츠 내용을 반영하지 못하거나 개인 정보 보호 문제가 발생할 수 있다. 따라서 본 연구는 동영상에서 프레임별로 객체를 추출하고 음성을 텍스트로 전환하여 맥락 데이터를 생성한다. 이 맥락 데이터는 객체 빈도와 스크립트를 동기화하여 하나의 정보로 구성된다. 그 후, 맥락 데이터를 기반으로 동영상-클립을 그룹화하여 인덱싱한다. 제안하는 모델은 파인튜닝 과정을 거쳐 성능을 개선할 수 있다. 이러한 모델은 다양한 콘텐츠 검색 및 추천 플랫폼에 접목될 수 있으며, 사용자들이 보다 유사한 동영상-클립을 탐색하는 데 활용할 수 있다.
Abstract
This paper proposes an AI-based video metadata extension model to overcome the limitations of video search and recommendation systems in the multimedia industry. Current video search and recommendation utilize pre-added metadata, which may not reflect the actual content content or may cause privacy issues. Therefore, this study extracts objects from videos frame by frame and converts speech to text to generate contextual data. This context data is organized into a single piece of information by synchronizing object frequency and transcript. After that, the video-clips are grouped and indexed based on the contextual data. The proposed model can be fine-tuned to improve its performance. This model can be incorporated into various content discovery and recommendation platforms and can be utilized by users to explore more similar videos and clips.
참고문헌 (10)
- J. C. Kim, "Knowledge expansion of metadata using script mining analysis in multimedia recommendation", Multimedia Tools and Applications, 80, pp.34679~34695 (2020)
- M. Ekstrand, "When recommenders fail : predicting recommender failure for algorithm selection and combination", Conf. In Proceedings of the sixth ACM conference on Recommender systems, pp.233~236 (2012)
- A. Ishikawa, "Combating the elsagate phenomenon : Deep learning architectures for disturbing cartoons", Conf. In 2019 7th International Workshop on Biometrics and Forensics, pp.1~6 (2019)
- A. Yousaf., "A cross-country analysis of the determinants of customer recommendation intentions for over-the-top (OTT)platforms", Information & Management, 58(8), pp.103543~ (2021)
- S. H. Abdulhussain, "Shot boundary detection based on orthogonal polynomial", Multimedia Tools and Applications, 78, pp.20361~20382 (2019)
- C. Ittichaichareon., "Speech recognition using MFCC", International conference on computer graphics, simulation and modeling, pp.135~138 (2012)
- A. H. Tan, "Text mining : The state of the art and the challenges", Proc. the pakdd 1999 workshop on knowledge disocovery from advanced databases, pp.65~70 (1999)
- M. C. Kim, "Metaverse Technology Trend and Construction Case Study", Journal of Artificial Intelligence Convergence Technology, 1(2), pp.48~54 (2021)
- S. M. Jo, "Faster R-CNN and VGG-19-based Intelligent Detection Model for Mask Wearing Detection", Journal of Artificial Intelligence Convergence Technology, 1(2), pp.56~60 (2021)
- J. S. Woo, "Plans to nurture new industries based on artificial intelligence technology", Journal of Artificial Intelligence Convergence Technology, 1(2), pp.61~66 (2021)