후보자의 표정과 유권자의 마음: 기계학습 기반 이미지 알고리즘을 활용한 후보자 선거포스터 정서분석을 중심으로
Candidates’ facial expressions and voters’ decision making: An application of machine learning analysis of vision data
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 후보자의 얼굴표정이 선거결과 및 유권자의 정치적 의사결정에 어떤 영향을 미치는지 살펴보았다. 이를 위해 아마존 웹 서비스의 Face Rekognition (FR) 알고리즘을 활용하였으며, 방법론적 삼각측량 관점에서 내용분석 연구, 관측연구, 실험연구를 실시하였다. 첫째, 제20대 국회의원 선거를 배경으로 245개 지역구, 총 920명의 후보자들의 선거포스터 이미지를 수집한 후, FR 알고리즘의 정서분석과 모든 후보자 얼굴들을 모두 인간코딩한 결과 사이의 합치수준을 살펴보았다. 분석결과 여러 정서들 중 행복(happy)에서만 FR알고리즘과 인간코더 사이에 용인가능한 합치도를 보였다. 둘째, 후보자 얼굴표정에서 나타난 행복정서 점수와 해당후보자의 지역구내 득표율·당선가능성의 관계를 살펴본 관측연구를 실시한 결과, 후보자 얼굴에서 행복정서가 나타날 때 약 4% 정도 득표율이 증가하고, 당선가능성은 약 1.71배 높아졌다. 셋째, 내적타당도 확보를 위해 무작위배치 기반 실험을 실시한 결과, 행복한 표정의 후보자를 접한 실험참가자일수록, 후 보자 대상 감정적 호감도가 높았으며, 이는 해당 후보자에 대한 투표의향으로 이어졌다. 연구결과를 바탕으로 연구의 이론적·방법론적 함의에 대해 논의하였다.
Abstract
This study examines the effect of candidates’ facial appearance on electoral consequences and individuals’ electoral decision-making. Specifically, this study harnesses the Face Rekognition (FR) algorithm developed and maintained by Amazon Web Services, one of the most popular vision data analytic algorithms based on machine learning. It conducts three studies: content analysis, observational study, and experimental study, under the rubric of methodological triangulation. First, after web-scraping image data from 920 candidates within 245 districts in the 20th Congressional Election in South Korea, we compared the emotions extracted from the FR algorithm against those judged by two human coders. Content analytic results showed that out of eight emotions, only happiness achieved an acceptable level of agreement between machine coding and human coding. Second, an observational study was conducted to examine the relationship between the degree of happiness on a candidate’s face and the candidate’s vote share as well as their likelihood of being elected. Results showed that candidates with a happy face are more likely to earn an additional 4% in vote share, and their probability of winning increases by a factor of approximately 1.71. Third, to secure internal validity, an experimental study with random assignment was conducted. Results show that participants exposed to a candidate with a happy face give higher affective evaluations of the candidate, resulting in a stronger intention to vote for that candidate. We discuss both methodological implications regarding the strengths and weaknesses of the vision data analytic algorithm, as well as theoretical implications about the psychological mechanisms embedded in the relationship between candidates’ facial appearance and voters’ decision-making.