본문 바로가기
KERD
논문KCI 등재

정형 및 비정형 데이터를 이용한 농산물 구매량 예측: 파프리카를 중심으로

Prediction of Agricultural Purchases Using Structured and Unstructured Data: Focusing on Paprika

조완섭|이경희|최은선|Somakhamixay Oui|라형철
사)한국빅데이터학회 (KOREA BIGDATA SOCIETY)|2021.12|한국빅데이터학회 학회지 (The Korea Journal of BigData)|제6권 제2호|pp. 169-179|DOI 10.36498/kbigdt.2021.6.2.169

0

조회

0

다운로드

2

인용

0

참고문헌

키워드

비정형 데이터Random ForestCNNLSTMXGBoostSHAPUnstructured data정형 데이터SVRstructured data

초록

소비자의 식품소비행동은 소비자 패널 데이터와 같은 정형 데이터 뿐 아니라 매스미디어와 소셜미디어(SNS) 등 비정형 데이터로부터 영향을 받을 가능성이 높아지고 있다. 본 연구에서는 식품소비 관련된 정형 데이터와 비정형 데이터를 연계한 융합데이터 셋에 대하여 딥러닝 기반의 소비예측 모델을 생성하고 이를 검증한다. 연구의 결과는 정형 데이터와 비정형 데이터를 결합할 때 모델 정확도가 향상되었음을 보여주었다. 또한비정형 데이터가 모델 예측 가능성을 향상시키는 것으로 나타났다. 변수들의 중요도를 식별하기 위해 SHAP 기법을 사용한 결과 블로그 및 비디오 데이터 관련 변수가 상위 목록에 있었고, 파프리카 구매 금액과양의 상관관계가 있음을 알 수 있었다. 또한 실험 결과에 따르면 머신러닝 모델이 딥러닝 모델보다 높은 정확도를 보였고, 기존의 시계열 분석 모델링에 대한 효율적인 대안이 될 수 있음을 확인하였다.

Abstract

Consumers’ food consumption behavior is likely to be affected not only by structured data such as consumer panel data but also by unstructured data such as mass media and social media. In this study, a deep learning-based consumption prediction model is generated and verified for the fusion data set linking structured data and unstructured data related to food consumption. The results of the study showed that model accuracy was improved when combining structured data and unstructured data. In addition, unstructured data were found to improve model predictability. As a result of using the SHAP technique to identify the importance of variables, it w as found that variables related to blog and video data were on the top list and had a positive correlation with the amount of paprika purchased. In addition, according to the experimental results, it was confirmed that the machine learning model showed higher accuracy than the deep learning model and could be an efficient alternative to the existing time series analysis modeling.

참고문헌 (22)

  1. Prabhu, C. S. R., "Big Data Analytics: Systems, Algorithms, Applications", pp.167~194 (2019)
  2. Schoen, H., "The power of prediction with social media", Internet Research, 23(5), pp.528~543 (2013)
  3. Schoen, H., "The power of prediction with social media", Internet Research (2013)
  4. Stock Market Prediction using Social Media Analysis, "Bahceci, O.", ~ (2015)
  5. Artola, C., "Can internet searches forecast tourism inflows?", International Journal of Manpower, 36, pp.103~116 (2015)
  6. 조완섭, "SNS 데이터 분석을 통한 스마트 충북관광 구축", 한국데이터정보과학회지, 26(2), pp.409~418 (2015), 한국데이터정보과학회[DOI]
  7. Meza, X. V., "Organic Products in Mexico and South Korea on Twitter", Journal of Business Ethics, 135, pp.587~603 (2016)
  8. Yoo, D.-i., "Vegetable Price Prediction Using Atypical Web-Search Data", Proceedings of 2016 Annual Meeting (2016)
  9. Lee, S.Y., "Analysis on how media report regarding FMD(Foot and mouse disease) affects house-holds’ consumption of meat product", pp.2014
  10. 최경덕, "식품안전 관련 유해정보가 소비자들의 소비패턴에 영향을 미치는가? - 일본 후쿠시마 원전사고를 중심으로 -", 한국경제연구, 34(1), pp.41~83 (2016), 한국경제연구학회
  11. 김재우, "소셜 데이터 기반 실시간 식자재 물가 예측 모형", 정보과학회논문지, 44(12), pp.1258~1268 (2017), 한국정보과학회
  12. 조용빈, "Relations Between Paprika Consumption and Unstructured Big Data, and Paprika Consumption Prediction", International Journal of Contents, 15(4), pp.113~119 (2019), 한국콘텐츠학회[DOI]
  13. 나형철, "정형 및 비정형 빅데이터를 이용한 양파 소비 예측", 한국콘텐츠학회 논문지, 18(11), pp.30~37 (2018), 한국콘텐츠학회[DOI]
  14. Som Akhamixay, O., "Predictive Modeling of the Amount Purchased Paprika Using Deep Learning and Machine Learning", pp.2021
  15. 오승원, "Prophet 모형을 이용한 마늘 가격의 장기 예측 및 트렌드 분석", Journal of The Korean Data Analysis Society, 22(6), pp.2325~2336 (2020), 한국자료분석학회
  16. 신성호, "LSTM 네트워크를 활용한 농산물 가격 예측 모델", 한국콘텐츠학회 논문지, 18(11), pp.416~429 (2018), 한국콘텐츠학회[DOI]
  17. 임진모, "인공지능을 이용한 과일 가격 예측 모델 연구", 문화기술의 융합, 4(2), pp.197~204 (2018), 국제문화기술진흥원[DOI]
  18. 김미혜, "기계학습을 이용한 복숭아 경락가격 및 거래량 예측모형 비교", Journal of The Korean Data Analysis Society, 20(6), pp.2933~2940 (2018), 한국자료분석학회[DOI]
  19. Jeong-min Ju, "A Study on the Prediction of Apartment Sale Price Using Machine Learning : Focused on the Collection of Internal and External Data and Price Prediction of Korean Apartments", Proceedings of the Korea Information Processing Society Conference, 27(2), pp.956~959 (2020)
  20. 노윤아, "Attention LSTM과 SHAP을 사용한 설명 가능한 COVID-19 확진자 수 예측 기법", 데이타베이스연구, 37(2), pp.37~51 (2021), 한국정보과학회
  21. Do Hyeon Lim, "LightGBM-based Dropout Prediction and Its Interpretation using SHAP", Proceedings of KIIT Conference, pp.91~93 (2021)
  22. 정혜린, "변수 중요도를 이용한 설명 가능한 인공지능 기법의 시각화에 대한 고찰과 보건정보 자료에의 응용", 보건정보통계학회지, 45(4), pp.317~334 (2020), 한국보건정보통계학회[DOI]

관련 논문AI추천

Relations Between Paprika Consumption and Unstructured Big Data, and Paprika Consumption Prediction나형철, 오은화, 유관희, 조완섭, 조용빈, 나스리디노프 아지즈한국콘텐츠학회 · International Journal of Contents2019 · 제15권 제4호참외 반입량 예측을 위한 AI 모형개발과 검증김평중, 조완섭, 하정성, KHOEURN SAKSONITA한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2023 · 제28권 제7호중장기 농산물 가격 예측을 위한 다단계 시계열 예측 모델박종현, 안현철, 임도현, 임영우, 최윤성한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2023 · 제28권 제2호인터넷 검색지수는 농식품 구매를 선행하는가?김성용, 김태영, 노호영한국농촌경제연구원 · 농촌경제2019 · 제42권 제2호농업 공공 빅데이터를 이용한 머신러닝 기반 생산량 및 판매 수익금 예측구현정, 김용기, 이현조, 채철주(사)한국스마트미디어학회 · 스마트미디어저널2022 · 제11권 제4호Lasso 회귀분석을 활용한 농산물 가격예측 모델 변수 선정 연구강민구, 박지홍, 양예원, 이도영, 이주형문화융복합아카이빙연구소 · 디지털문화아카이브지2021 · 제4권 제2호

이 간행물의 다른 논문 (15건)

부산지역 공공데이터 활용도 향상을 위한 정책연구배수현, 정석찬, 김성신pp. 1-15시뮬레이션 기반 풀필먼트센터 최적 AGV 및 AMR 운영 계획 수립신광섭, 최준혁pp. 17-28공항 근처 ADS-B 항적 자료에서의 클러스터링 기법 비교박종찬, 박헌진pp. 29-38실외공기측정기 자료를 이용한 도심 기상 예측 기계학습 모형 비교박종찬, 박헌진pp. 39-49웨어러블 디바이스 서비스 향상을 위한 개인 맞춤형 데이터 복원 알고리즘배혜림, 박기군pp. 51-60
원문 보기