이미지 객체 및 메타정보 기반 GPT 활용 SNS 문장 작성 보조 시스템
GPT-enabled SNS Sentence writing support system Based on Image Object and Meta Information
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 SNS와 같이 이미지와 함께 글을 작성하는 활동을 보조하기 위해 YOLO와 GPT를 활용한 SNS 문장 작성 보조 시스템을 제안한다. YOLO 모델을 활용하여 글 작성 시 삽입되는 이미지에서 객체를 추출하고 메타정보인 GPS 정보, 생성 시간 정보도 추출하여 함께 GPT의 프롬프트 값으로 사용한다. YOLO 모델을 사용하기 위해 양식 이미지 데이터로 학습하여 사용했으며 해당 모델의 mAP score는 평균 약 0.25이다. GPT는 ‘맛집 리뷰' 주제의 1,000개의 블로그 텍스트 데이터를 학습하였으며, 본 연구에서 학습된 모델을 사용하여 이미지에서 추출한 2가지 타입의 키워드로 문장을 생성하였다. 생성된 문장의 실용성을 평가하기 위해 설문을 진행하였으며 설문 결과의 명확한 분석을 위해 폐쇄형 설문을 진행하였다. 삽입한 이미지와 키워드 문장을 제공하여 질문에 대해 3가지 평가 항목을 두어 진행하였다. 설문 결과 이미지의 핵심 키워드 경우 유의미한 문장을 생성한다는 결과를 얻을 수 있었다. 본 연구를 통해서 이미지 기반 문장 생성 시 이미지 키워드와 GPT 학습 내용과의 관계에 따라 결과물의 정확성이 달라진다는 결과를 얻을 수 있었다.
Abstract
In this study, we propose an SNS sentence writing assistance system that utilizes YOLO and GPT to assist users in writing texts with images, such as SNS. We utilize the YOLO model to extract objects from images inserted during writing, and also extract meta-information such as GPS information and creation time information, and use them as prompt values for GPT. To use the YOLO model, we trained it on form image data, and the mAP score of the model is about 0.25 on average. GPT was trained on 1,000 blog text data with the topic of ‘restaurant reviews’, and the model trained in this study was used to generate sentences with two types of keywords extracted from the images. A survey was conducted to evaluate the practicality of the generated sentences, and a closed-ended survey was conducted to clearly analyze the survey results. There were three evaluation items for the questionnaire by providing the inserted image and keyword sentences. The results showed that the keywords in the images generated meaningful sentences. Through this study, we found that the accuracy of image-based sentence generation depends on the relationship between image keywords and GPT learning contents.
참고문헌 (11)
- 한금윤, "대학 신입생의 글쓰기에 대한 생각과 글쓰기 교육에 대한 인식 탐색", 교양교육연구, 10(3), pp.549~576 (2016), 한국교양교육학회
- "New Blogging Statistics: What Content Strategies Work in 2022? We asked 1016 Bloggers" (2022)[URL]
- 조용화, "YOLO 기반 개체 검출과 Node.js 서버를 이용한 반려견 행동 분류 시스템 구현", 융합신호처리학회 논문지, 21(1), pp.29~37 (2020), 한국융합신호처리학회[DOI]
- J. Redmon, "You Only Look Once: Unified, Real-time Object Detection", IEEE Conference on, pp.779~788 (2015)
- "Beginner's Guide to Google's Vision API in Python" (2018)[URL]
- JEIDA, "Digital Still Camera Image File Format Standard(Exchangeable image file format for Digital Still Cameras : Exif)Version 2. 1", JEIDA, ~ (1998)
- 홍성진, "사진 파일의 Exif GPS정보 조작 여부의 판별 기법에 관한 연구", 디지털포렌식연구, 5(1), pp.41~54 (2011), 한국디지털포렌식학회
- Improving Language Understanding by Generative Pre-Training, "A. Radford", NIPS, ~ (2018)
- "Creating a koGPT2 chatbot" (2022)[URL]
- 김지범, "서베이조사실험을 통한 폐쇄형과 개방형 설문 응답 차이: 2016년 한국종합사회조사", 조사연구, 18(4), pp.127~147 (2017), 한국조사연구학회[DOI]
- "Check out YOLO V8 performance" (2023)[URL]