캐글 타이타닉 대회의 전처리와 머신러닝 비교 분석
A Comparative Analysis of the Pre-Processing in the Kaggle Titanic Competition
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
데이터 과학과 관련한 과제를 제시하고 참가자가 이를 해결하는 캐글(Kaggle)의 대표적인 대회인 ‘Tatanic – Machine Learning from Disaster’ 문제를 기반으로 데이터 전처리 방식과 모델 구축이예측 정확도와 점수에 어떤 영향을 미치는지 확인하고자 한다. 중복된 모델을 사용하였거나 앙상블 기법을 사용한 경우를 제외하고 높은 점수를 획득하여 상위 순위에 위치한 7건의 해결 방식을선정하여 특징들을 비교 분석한다. 전처리를 진행하는 데 있어 대부분 고유하고 차별적인 특징을가진 것을 확인하였으며, 거의 동일할 정도의 전처리 과정을 거쳤으나 모델의 종류에 따라 점수차이가 존재하기도 하였다. 본 논문의 비교 분석 연구는 상위 점수 참가자의 전처리 방식의 특징과 분석 흐름을 이해함으로써 캐글 대회 참가자들과 데이터 과학 입문자들에게 많은 도움이 될것으로 생각한다.
Abstract
Based on the problem of 'Tatanic – Machine Learning from Disaster', a representative competition of Kaggle that presents challenges related to data science and solves them, we want to see how data preprocessing and model construction affect prediction accuracy and score. We compare and analyze the features by selecting seven top-ranked solutions with high scores, except when using redundant models or ensemble techniques. It was confirmed that most of the pretreatment has unique and differentiated characteristics, and although the pretreatment process was almost the same, there were differences in scores depending on the type of model. The comparative analysis study in this paper is expected to help participants in the kaggle competition and data science beginners by understanding the characteristics and analysis flow of the preprocessing methods of the top score participants.
참고문헌 (17)
- "Kaggle"[URL]
- "How to Use Kaggle"[URL]
- "Titanic KNN 2.0"[URL]
- "80.861% with RF+Mean encoding+BayesianOptimization"[URL]
- "Notebookd6fe1ff5cb"[URL]
- "Temp_1"[URL]
- S. H. Oh, "Python Deep Learning Machine Learning Introduction", pp.90~ (2021), Information Publishing Group
- "Titanic competition"[URL]
- "Titanic_1_"[URL]
- "Prophet Titanic"[URL]
- 유진은, "랜덤 포레스트: 의사결정나무의 대안으로서의 데이터 마이닝 기법", 교육평가연구, 28(2), pp.427~448 (2015), 한국교육평가학회
- S. H. Oh, "Python Machine Learning Pandas Data Analysis", pp.323~324 (2019), Information Publishing Group
- In Gook Chun, "Deep Learning EXPRESS", pp.183~ (2021), Life and Power Press
- Yan, J., "LightGBM: accelerated genomically designed crop breeding through ensemble learning", Genome biology, 22, pp.1~24 (2021)[DOI]
- 김지혜, "Gradient Boosting 기법을 활용한 다크넷 트래픽 탐지 및 분류", 정보보호학회논문지, 32(2), pp.371~379 (2022), 한국정보보호학회[DOI]
- "How training is performed"[URL]
- "CatBoost"[URL]