반 사실적 설명을 사용한 인공지능 시스템 설명 인터페이스 개발
Explanation of AI Results: The Why not-How to-What if Interface Based on Counterfactual Explanation
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
인공지능 시스템의 신뢰도와 유용성을 높이기 위해 최근 연구에서는 설명가능 인공지능이라는 개념을 통해 시스템의 결과에 대한 설명 방법을 제안하고 있다. 그 중 하나는 반 사실적 설명을 사용하는 것이다. 그러나 기존 방법은 범주형 특성값을 사용해 반 사실적 설명을 생성할 수 없고 인간은 복잡한 입력 값의 조합과 의사 결정 경계의 근삿값을 모두 분석할 수 없다. 본 논문에서는 인간이 인과관계를 이해하는 과정을 반영한 반 사실적 설명 방법을 제안한다. Intelligibility type explanation을 기반으로 한 why not, how to, what if를 사용해 세 가지 순차적 단계를 통해 설명 인터페이스를 사용자들에게 제공한다. 제안한 인터페이스의 유효성을 확인하기 대출 예측을 수행하는 인공지능 시스템을 사용해 시나리오 기반의 실험을 수행하였다. 그 결과 제안된 설명 인터페이스를 사용할 경우 기존 시스템에 비해 신뢰도, 유용성 및 만족도가 향상되었다. 이를 통해 기존 블랙박스로 여겨지던 인공 지능 시스템을 이해하는데 제안한 설명 인터페이스가 도움이 된다는 것을 확인할 수 있었다.
Abstract
To enhance the trust and usability of the AI system, recent studies have adopted the concept of explainable artificial intelligence(XAI) and proposed explanation methods for the system’s result. One way to understand AI output is to utilize a counterfactual explanation. However, existing methods cannot properly address categorical features. In addition, human cannot analyze approximated decision boundary represented by counterfactual cases with complex features. In this paper, we extend counterfactual explanation with three sequential steps why not, how to, what if reflecting human causal cognition. To find the potential of the suggested interface, we perform a simple scenario-based experiment, where users communicate with an AI system’s results for loan prediction. The experiment results indicate that our interface had better performance in trustworthiness, usefulness, and satisfaction to the AI system, compared to an existing interface.
참고문헌 (21)
- D Byrne, "Social exclusion" (2005), McGraw-Hill Education(UK)
- Molnar C, "Interpretable Machine Learning" (2019), Lulu. com
- B J Fogg, "The elements of computer credibility", Proceedings of the SIGCHI conference on Human factors in computing systems - CHI’99, pp.80~87 (1999), ACM Press
- David Hume, "Seven masterpieces of philosophy", pp.191~284 (2016), Routledge
- Ruth M J Byrne, "Counterfactuals in explainable artificial intelligence (XAI): evidence from human reasoning", Proceeding of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, pp.6276~6282 (2019)
- Beem Kim, "Aadvances in neural information processing systems", Advances in neural information processing systems, pp.2280~2288 (2016)
- Brian Y. Lim, "Evaluating Intelligibility Usage and Usefulness in a Context-Aware Application", pp.92~101 (2013)
- Brian Y. Lim, "Why and why not explanations improve the intelligibility of context-aware intelligent systems", Proceedings of the 27th international conference on Human factors in computing systems - CHI 09 (2009), ACM Press
- Brian Y Lim, "Why these Explanations? Selecting Intelligibility Types for Explanation Goals", IUI Workshops, 7 (2019)
- Zachary Lipton, "The Mythos of Model Interpretability", ACM Queue, 16(3), pp.31~57 (2018)
- Arnold M Lund, "Measuring Usability with the USE Questionnaire 12, 8, 2: 3-6", Usability Interface, ~ (2001)
- Julian McAuley, "Hidden factors and hidden topics", Proceedings of the 7th ACM conference on Recommender systems-RecSys’13, pp.165~172 (2013), ACM Press
- Tim Miller, "Explanation in Artificial Intelligence:Insights from the Social Sciences" (2017)
- Brent Mittelstadt, "Explaining Explanations in AI", Proceeding of the Conference on Fairness, Accountability, and Transparency - FAT* ’19, pp.279~288 (2019), ACM Press
- Ramaravind Kommiya Mothilal, "Explaining Machine Learning Classifier through Diverse Counterfactual Explanations", arXiv preprint arXiv:1905.07697, ~ (2019)
- Bonnie M, Muir, "Trust in automation: Part I, Theoritical issues in the study of trust and human intervention in automated systems", Ergonomics, 37(11), pp.1905~1922 (1994)
- Marco Tulio Ribeiro, "Model-Agnostic Interpretability of Machine Learning", arXiv:1606.05386, ~ (2016)
- Neal Joseph Roese, "The Functional Basis Of Counterfactual Thinking", Journal of personality and Social Psychology, 66(5), pp.805~ (1994)
- Karen Simonyan, "Deep Inside Convolutional Networks:Visualising Image Classification Models and Saliency Maps", arXiv:1312.6034, ~ (2014)
- Paolo Tamagnini, "Interpreting black-box classifiers using instance-level visual explanations", Proceedings of the 2nd Workshop of Human-In-the-Loop Data Analytics (2017)
- Sandra Wachter, "Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR", Harv. JL & Tech, 31, pp.841~ (2017)