데이터가 부족한 플레이스를 대상으로 한 노이즈 리뷰 필터링 정확도 향상
Improving Accuracy of Noise Review Filtering for Places with Insufficient Training Data
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
소셜 리뷰를 수집하는 과정에서 주어진 검색어와 상관없는 노이즈 리뷰가 검색 결과에 다수 포함될수 있으며, 이들을 필터링하기 위해 기계 학습이 이용될 수 있다. 그러나 분석하고자 하는 대상의 리뷰수가 부족한 경우, 학습 데이터 부족으로 인한 정확도 저하 문제가 발생할 수 있다. 본 논문에서는리뷰 수가 부족한 플레이스를 대상으로 노이즈 리뷰 필터링의 정확도를 높이기 위한 지도 학습 방법을소개한다. 제안 방법에서는 개별 플레이스 단위로 학습을 수행하지 않고, 특성이 유사한 여러 플레이스를 그룹으로 묶어 학습을 수행한다. 학습을 통해 얻은 분류기는 그룹에 속한 임의의 플레이스에 공통으로 적용함으로써 학습 데이터 부족 문제를 해결하고자 하였다. 제안 방법의 검증을 위해, LSTM과BERT를 이용하여 노이즈 리뷰 필터링 모델을 구현하고, 온라인에서 수집된 실제 데이터를 활용한실험을 통해 필터링 정확도를 체크하였다. 실험 결과, 제안 방법의 정확도는 평균 92.4% 수준이었으며, 리뷰 수가 100개 미만인 플레이스를 대상으로 할 경우 87.5%의 정확도를 제공하였다.
Abstract
In the process of collecting social reviews, a number of noise reviews irrelevant to a given search keyword can be included in the search results. To filter out such reviews, machine learning can be used. However, if the number of reviews is insufficient for a target place to be analyzed, filtering accuracy can be degraded due to the lack of training data. To resolve this issue, we propose a supervised learning method to improve accuracy of the noise review filtering for the places with insufficient reviews. In the proposed method, training is not performed by an individual place, but by a group including several places with similar characteristics. The classifier obtained through the training can be used for the noise review filtering of an arbitrary place belonging to the group, so the problem of insufficient training data can be resolved. To verify the proposed method, a noise review filtering model was implemented using LSTM and BERT, and filtering accuracy was checked through experiments using real data collected online. The experimental results show that the accuracy of the proposed method was 92.4% on the average, and it provided 87.5% accuracy when targeting places with less than 100 reviews.
참고문헌 (24)
- K. H. Lee, "Parallel Data Processing with Map Reduce: a Survey", ACM SIGMOD Record, 40(4), pp.11~20 (2012)
- Emerson F. Cardoso, "Towards automatic filtering of fake reviews", Neurocomputing, 309, pp.106~116 (2018), Elsevier BV[DOI]
- "Naver Open API"[URL]
- "Google Developer API"[URL]
- 김현규, "소셜 빅데이터 분석에서 지도 학습을 이용한 노이즈 리뷰 필터링", 한국컴퓨터정보학회논문지, 28(6), pp.63~69 (2023), 한국컴퓨터정보학회[DOI]
- S. Hochreiterand, "Long short-term memory", Neural Comput, 9(8), pp.1735~1780 (1997)
- N. Jindal, "Review spam detection", Proc. of the 16st international conference on World Wide Web (WWW), pp.1189~1190 (2007)
- H. Li, "Analyzing and detecting opinion spam on a large-scale dataset via temporal and spatial patterns", Proc. of the 9th International AAAI Conference on Web and Social Media (ICWSM), pp.634~637 (2015)
- C. L. Lai, "Toward a language modeling approach for consumer review spam detection", Proc. of the IEEE International Conference on E-Business Engineering, pp.1~8 (2010)
- A. Mukherjee, "Spotting fake reviewer groups in consumer reviews", Proc. of the 21st international conference on World Wide Web (WWW), pp.191~200 (2012)
- A. Barushka, "Review spam detection using word embeddings and deep neural networks", Proc. of the 15th IFIP WG 12.5 International Conference, AIAI 2019, pp.340~350 (2019)
- G. M. Shahariar, "Spam review detection using deep learning", Proc. of the IEEE 10th Annual Information Technology, Electronics and Mobile Communication Conference (IEMCON), pp.27~33 (2019)
- P. Gupta, "Leveraging transfer learning techniques-bert, roberta, albert and distilbert for fake review detection", Forum for Information Retrieval Evaluation, 75(82), pp.75~82 (2021)
- Y. Shang, "T-bert: A spam review detection model combining group intelligence and personalized sentiment information", Proc. of 30th International Conference on Artificial Neural Networks, pp.14~17 (2021)
- Gourav Bathla, "Intelligent fake reviews detection based on aspect extraction and analysis using deep learning", Neural Computing and Applications, 34(22), pp.20213~20229 (2022), Springer Science and Business Media LLC[DOI]
- P. Bhuvaneshwari, "Spam review detection using self attention based CNN and bi-directional LSTM", Multimedia Tools and Applications, 80(12), pp.18107~18124 (2021), Springer Science and Business Media LLC[DOI]
- "Small Business Promotion Agency"[URL]
- 유양우, "소셜 빅데이터를 활용한 여행 경로 추천", 한국컴퓨터정보학회논문지, 27(5), pp.117~125 (2022), 한국컴퓨터정보학회[DOI]
- 김현규, "일일 스케줄링 템플릿을 활용한 여행 경로 추천 시스템 구현", 한국컴퓨터정보학회논문지, 27(10), pp.137~146 (2022), 한국컴퓨터정보학회[DOI]
- L. R. Medsker, "Recurrent neural networks", Design and Applications, 5, pp.64~67 (2001)
- "Google Keras"[URL]