AI를 이용한 인구주택총조사의 자동 분류 개선: 산업 및 직업코드 연구
Improving the Classification of Population and Housing Census with AI: An Industry and Job Code Study
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 인구 조사에서 산업 및 직업 코드를 자동 분류하기 위한 인공지능 기반 시스템을제안한다. 산업 및 직업 코드의 정확한 분류는 정책 결정, 자원 할당 및 연구를 위해 매우 중요하지만, 기존의 방식은 사람이 작성한 사례 사전에 의존하는 규칙 기반 방식으로 규칙 생성에 필요한시간과 자원이 많이 소요되며 오류 발생 가능성이 높다. 우리는 본 논문에서 통계 기관에서 사용하는 기존의 규칙 기반 시스템을 대체하기 위해 사용자가 입력한 데이터를 이용하는 인공지능 기반시스템을 제안하였다. 이 논문에서는 여러 모델을 학습하고 평가하여 산업에서 86.76%의 일치율, 직업에서 81.84%의 일치율을 달성한 앙상블 모델을 개발하였다. 또한, 분류 확률 결과를 기반으로프로세스 개선 작업도 제안하였다. 우리가 제안한 방법은 전이 학습 기술을 활용하여 사전 학습된모델과 결합하는 앙상블 모델을 사용하였으며, 개별 모델과 비교하여 앙상블 모델의 성능이 더 높아짐을 보였다. 본 논문에서는 인공지능 기반 시스템이 인구 조사 데이터 분류의 정확성과 효율성을 향상시키는 잠재력을 보여주며, 인공지능으로 이러한 프로세스를 자동화함으로써 더 정확하고일관된 결과를 달성하며 기관 직원의 작업 부담을 줄일 수 있다는 점을 보여준다.
Abstract
In this paper, we propose an AI-based system for automatically classifying industry and occupation codes in the population census. The accurate classification of industry and occupation codes is crucial for informing policy decisions, allocating resources, and conducting research. However, this task has traditionally been performed by human coders, which is time-consuming, resource-intensive, and prone to errors. Our system represents a significant improvement over the existing rule-based system used by the statistics agency, which relies on user-entered data for code classification. In this paper, we trained and evaluated several models, and developed an ensemble model that achieved an 86.76% match accuracy in industry and 81.84% in occupation, outperforming the best individual model. Additionally, we propose process improvement work based on the classification probability results of the model. Our proposed method utilizes an ensemble model that combines transfer learning techniques with pre-trained models. In this paper, we demonstrate the potential for AI-based systems to improve the accuracy and efficiency of population census data classification. By automating this process with AI, we can achieve more accurate and consistent results while reducing the workload on agency staff.
참고문헌 (22)
- Thompson, Matthew, "Creating an automated industry and occupation coding process for the American Community Survey", ~ (2012)
- A. Bethmann, "Automatic Coding of Occupations", Proceedings of Statistics Canada Symposium (2014)
- Y. K. Kang, "Automatic coding system for industry and occupation classification", The Korean Association for Survey Research. Fall Conference 2001, pp.33~45 (2001)
- 임희석, "정보검색 기법을 이용한 산업", 직업 코드 자동 분류 시스템, 2004, pp.7(4), 51~60[DOI]
- 임희석, "예제기반 한국어 표준 산업", 직업 코드 분류, 2006, pp.7(4), 594~601[DOI]
- C. K. Woo, "Comparison of Korean Standard Industrial Classification Automatic Classification Model on Deep Learning", Proceedings of the Korea Information Processing Society Conference, pp.516~518 (2020)
- 임정우, "딥러닝 기법을 활용한 산업", 직업 자동코딩 시스템, 2021, pp.12(4), 23~30[DOI]
- Kim, San, "A model of cross-lingual knowledge-grounded response generation for open-domain dialogue systems", Findings of the Association for Computational Linguistics: EMNLP 2021 (2021)
- "KoBERT"[URL]
- "Kogpt: Kakaobrain korean (hangul) generative pre-trained transformer" (2021)[URL]
- "KoGPT2"[URL]
- "TUNiB-Electra" (2021)[URL]
- "lassl/bert-ko-base"[URL]
- Lee, Junbum, "Kcbert: Korean comments bert", Annual Conference on Human and Language Technology (2020), Human and Language Technology
- "KcELECTRA: Korean comments ELECTRA" (2021)[URL]
- Jangwon Park, "KoBigBird: Pretrained BigBird Model for Korean", ~ (2021)
- Park, Jangwon, "KoELECTRA: Pretrained ELECTRA Model for Korean", ~ (2020)
- Alqershi, Fattoh, "A robust consistency model of crowd workers in text labeling tasks", IEEE Access, 8(2020), pp.168381~168393
- Draws, Tim, "The effects of crowd worker biases in fact-checking tasks", 2022 ACM Conference on Fairness, Accountability, and Transparency (2022)
- Le, Quoc V, "A tutorial on deep learning part 2: Autoencoders, convolutional neural networks and recurrent neural networks", Google Brain, 20(2015), pp.1~20
- He, Kaiming, "Deep residual learning for image recognition", Proceedings of the IEEE conference on computer vision and pattern recognition (2016)