본문 바로가기
KERD
논문KCI 등재

인공지능 거버넌스에서 신뢰 개념에 대한 고찰 및 정책 유형화 연구

A Conceptual Framework for the Trust in Artificial Intelligence in AI Governance and Policy Typology

김수지|우지숙
법학연구소 (The Institute of Legal Studies Konkuk University)|2024.12|경제규제와 법|제17권 제2호|pp. 30-50|DOI 10.22732/CeLPU.2024.17.2.30

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

위험인공지능거버넌스Artificial Intelligence신뢰TrustGovernanceRiskTrustworthy AI정책 유형Policy Typology신뢰성 있는 인공지능기술 규제Regulation of Technology
주제분류법학

초록

인공지능이 급속히 확산되면서 인공지능을 수용할 수 있는 전제 조건으로서 인공지능 신뢰를 촉진하기 위한 정책적노력이 구체화되고 있다. 그러나 인공지능 신뢰가 무엇을의미하는지, 신뢰와 위험(risk)의 관계는 무엇인지, 신뢰는어떤 과정을 거쳐 형성되는지, 이를 촉진하기 위해 정책은어떤 역할을 수행해야 하는지 여전히 불분명하다. 본 연구는 이론적, 개념적 검토를 통해 신뢰는 위험이 존재하지 않는 상태에서 나타나는 것이 아니라 위험의 존재에도 ‘불구하고’ 그로 인해 취약해지는 것을 감수하려는 태도와 의지이며, 이러한 신뢰의 형성 과정에는 인공지능 신뢰성에 대한 이용자의 평가가 큰 영향을 미치지만, 신뢰성이 곧바로신뢰로 연결되는 것은 아니라는 점에서 신뢰의 형성은 복잡하고 능동적인 과정임을 강조하였다. 또한 본 연구는 인공지능 신뢰에 대한 접근방법을 ‘위험 축소형’과 ‘신뢰성 향상형’으로 나누고, 인공지능 신뢰 정책을 강화, 준수, 설명, 참여의 네 유형으로 분류하였다. 강화 정책과 준수 정책은 위험 축소 접근에 근거한 것으로서 인공지능의 위험 수준을줄이기 위한 기술적 조치들에 집중하거나(강화), 기업의 인공지능 개발 과정에서 발생할 수 있는 위험 요소를 제거하고자 한다(준수). 설명 정책과 참여 정책은 신뢰성 향상 접근방법에 근거하여 인공지능의 신뢰성을 평가하고 개선하는과정에 초점을 맞추며, 인공지능 기술의 신뢰성과 관련된정보를 이용자에게 제공하도록 독려하거나(설명), 이용자가인공지능 기업의 신뢰성을 평가하고 인공지능의 신뢰성에영향을 미칠 수 있는 의사결정 과정에 참여할 수 있는 환경을 조성하고자 한다(참여). 신뢰의 개념적 틀에 대한 고찰과인공지능 신뢰 정책의 유형화에 관한 본 연구는 인공지능신뢰 정책이 인공지능의 위험을 축소하기 위한 노력뿐 아니라 이용자가 인공지능 기술과 기업의 신뢰성을 적극적으로평가하고 관련 의사결정 과정에 참여할 수 있는 환경을 마련하는 데 초점을 맞출 필요가 있다는 점을 시사한다.

Abstract

As artificial intelligence (AI) becomes increasingly prevalent, policy efforts to foster trust in AI as a prerequisite for its acceptance are emerging. However, critical questions remain unanswered regarding the precise definition of trust in AI, its formation process, and the potential role of policy intervention in fostering such trust. Through a theoretical and conceptual review, this study defines trust in AI as “a state in which users accept the risk of being vulnerable to AI based on a comprehensive assessment of the trustworthiness of the AI technologies and AI companies.” This study also divides approaches to AI trust into "risk-reducing" and "trustworthiness-building" and divides the object of users’ trust into AI technologies and AI companies, and finally categorizes AI trust policies into four types: enhanced, complying, explanatory, and participatory. The enhanced policy and complying policy are based on the risk-reducing approach, focusing on technical measures to reduce the risk level of artificial intelligence(enhanced), or aiming to eliminate risk factors that may arise during the AI development process in companies(complying). The explanatory policy and participatory policy are based on the trustworthiness-building approach, focusing on evaluating and improving the trustworthiness of AI, encouraging the provision of information related to the trustworthiness of AI technologies to users(explanatory), or creating an environment where users can assess the trustworthiness of AI companies and participate in decision-making processes(participatory). Through a study of the conceptual framework of trust and a typology of AI trust policies, this study highlights the need for AI trust policies to focus on creating an environment where users can actively evaluate the trustworthiness of AI technologies and companies and participate in the decision-making process, alongside efforts to reduce the risks of AI.

참고문헌 (59)

  1. 이수영, "정부 신뢰 2요인론: 신뢰 요인과 불신 요인에 대한 탐색" (2022), 윤성사
  2. 최경진, "EU 인공지능법" (2024), 박영사
  3. Reeves, B., "The Media Equation : How People Treat Computers, Television, and New Media Like Real People and Places" (1996), Cambridge University Press
  4. 구본진, "안전·신뢰 AI", KISTEP lnl, 48, pp.60~69 (2024), 한국과학기술기획평가원 (KISTEP)
  5. 이상욱, "안전하고 신뢰 가능한 AI를 위한 국제 거버넌스와 AI 리터러시", D.E View, pp.14~25 (2024), 한국인터넷기업협회 디지털경제연구원
  6. 김태오, "사이버 안전의 공법적 기초－독일의 IT 기본권과 사이버 안전법을 중심으로", 행정법연구, 45, pp.105~134 (2016), 행정법이론실무학회
  7. 남구현, "인공지능 규율에 있어 위험 기반 접근 방식의 적합성 고찰", 법학논총, 36(1), pp.159~192 (2023)
  8. 박통희, "신뢰의 개념에 대한 비판적 검토와 재구성", 한국행정학보, 33(2), pp.1~17 (1999), 한국행정학회
  9. 선지원, "인공지능의 사회적 수용을 위한 국가법의 과제", 국가법연구, 16(3), pp.39~65 (2020), 한국국가법학회
  10. 심준섭, "원자력 발전소에 대한 신뢰, 인식된 위험과 혜택, 그리고 수용성", 한국정책학회보, 18(4), pp.93~132 (2009), 한국정책학회
  11. 윤혜선, "리스크규제에 관한 공법적 연구 : 식품안전법제를 중심으로", 박사, 법학, pp.2009
  12. 윤혜선, "인공지능의 사회적 수용성과 법제도의 기능적 관계에 관한 소고", 경제규제와 법, (1), pp.32~56 (2021), 서울대학교 공익산업법센터
  13. 윤혜선, "인공지능 거버넌스의 국제 동향과 한국의 좌표: 현황과 도전 과제", 서울대학교 공익산업법센터 제24회 국제학술대회, 『인공지능의 시대를 향한 규제 거버넌스의 모색』 (2024)
  14. 채원호, "정책 실패와 신뢰", 한국행정논집, 17(1), pp.1~28 (2005), 한국정부학회
  15. 최태현, "거버넌스에 대한 가치 지향과 신뢰", 한국행정학보, 49(2), pp.1~24 (2015), 한국행정학회
  16. Andrada, G., "Varieties of transparency: Exploring agency within AI systems", AI & society, 38(4), pp.1321~1331 (2023), Springer Science+Business Media
  17. Andras, P., "Trusting Intelligent Machines : Deepening Trust Within Socio-Technical Systems", IEEE Technology and Society Magazine, 37(4), pp.76~83 (2018), IEEE
  18. Artz, D., "A Survey of Trust in Computer Science and the Semantic Web", Journal of Web Semantics, 5(2), pp.58~71 (2007), SWSA
  19. Baier, A., "Trust and Antitrust", Ethics, 96(2), pp.231~260 (1986), The University of Chicago Press
  20. Bender, E. M., "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?", Proceedings of the 2021 ACM conference on fairness, accountability, and transparency, pp.610~623 (2021)
  21. Bodó, B., "Mediated Trust: A theoretical Framework to Address the Trustworthiness of Technological Trust Mediators", New Media & Society, 23(9), pp.2668~2690 (2021), SAGE
  23. Buolamwini, J., "Gender Shades : Intersectional Accuracy Disparities in Commercial Gender Classification", Conference on Fairness, Accountability and Transparency, pp.77~91 (2018)
  24. Coeckelbergh, M., "Can We Trust Robots?", Ethics and Information Technology, 14(1), pp.53~60 (2012), Springer
  25. de Fine Licht, K., "Artificial Intelligence, Transparency, and Public Decision-making : Why Explanations are Key When Trying to Produce Perceived Legitimacy"", AI & society, 35, pp.917~926 (2020), Springer Science+Business Media
  26. Dietz, G., "Measuring Trust Inside Organisations", Personnel Review, 35(5), pp.557~588 (2006), Emerald Group Publishing
  27. Felzmann, H., "Towards Transparency by Design for Artificial Intelligence", Science and Engineering Ethics, 26, pp.3333~3361 (2020), Springer Science+Business Media
  28. Felzmann, H., "Transparency You Can Trust: Transparency Requirements for Artificial Intelligence between Legal Norms and Contextual Concerns", Big Data & Society, 6(1), pp.1~14 (2019), Sage
  29. Floridi, L., "Faultless Responsibility: On the Nature and Allocation of Moral Responsibility for Distributed Moral Actions", Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, pp.1~13 (2016), The Royal Society Publishing
  30. Floridi, L., "On the Morality of Artificial Agent", Minds and Machines, 14, pp.349~379 (2004), Springer
  31. Fountain, J. E., "The Moon, the Ghetto and Artificial Intelligence: Reducing Systemic Racism in Computational Algorithms", Government Information Quarterly, 39(2), pp.681~690 (2022), Elsevier
  32. Gabriel, I., "Artificial Intelligence, Values, and Alignment", Minds and Machines, 30(3), pp.411~437 (2020), Springer Science+Business Media
  34. Hill, C., "A Cognitive Theory of Trust", Washington University Law Review, 87(7), pp.1717~1796 (2006), Washington University School of Law
  35. Jacovi, A., "Formalizing Trust in Artificial Intelligence: Prerequisites, Causes and Goals of Human Trust in AI", Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp.624~635 (2021)
  36. Jennings, W, "How Trust, Mistrust and Distrust Shape the Governance of the COVID-19 Crisis", Journal of European Public Policy, 28(8), pp.1174~1196 (2021), Taylor & Francis
  37. Jones, S. L., "Diagnosing the Locus of Trust : A Temporal Perspective for Trustor, Trustee, and Dyadic Influences on Perceived Trustworthiness", Journal of Applied Psychology, 101(3), pp.392~414 (2016), American Psychological Association
  38. Kemper, J., "Transparent to Whom? No Algorithmic Accountability without a Critical Audience", Information, Communication & Society, 22(14), pp.2081~2096 (2019), Routledge
  39. Laux, J., "Trustworthy Artificial Intelligence and the European Union AI act: On the Conflation of Trustworthiness and Acceptability of Risk", Regulation & Governance, 18(1), pp.3~32 (2024), John Wiley & Sons
  40. Lewis, J. D., "Trust as a Social Reality", Social Forces, 63(4), pp.967~985 (1985), Oxford University Press
  41. Mal, C. I., "Through the Looking Glass : The Factors That Influence Consumer Trust and Distrust in Brands", Psychology & Marketing, 35(3), pp.936~947 (2018), John Wiley & Sons
  42. Mayer, R. C., "An Integrative Model of Organizational Trust", Academy of Management Review, 20, pp.709~734 (1995), Academy of Management
  43. O'Neill, O., "Trust and Accountability in a Digital Age", Philosophy, 95(1), pp.3~17 (2020), Cambridge University Press
  44. Reinhardt, K., "Trust and Trustworthiness in AI Ethics", AI and Ethics, 3(3), pp.735~744 (2023), Springer
  45. Ryan, M., "In AI We Trust: Ethics, Artificial Intelligence, and Reliability", Science and Engineering Ethics, 26(4), pp.2749~2767 (2020), Springer
  46. Schiff, K. J., "Institutional Factors Driving Citizen Perceptions of AI in Government: Evidence from a Survey Experiment on Policing", Public Administration Review, pp.1~17 (2023), American Society for Public Administration
  47. Schoorman, F. D., "An Integrative Model of Organizational Trust : Past, Present, and Future", Academy of Management Review, 32(2), pp.344~354 (2007), Academy of Management
  48. Shapiro, D. L., "Business on a Handshake", Negotiation Journal, 8(4), pp.365~377 (1992), MIT Press
  49. Siau, K., "Building Trust in Artificial Intelligence, Machine Learning, and Robotics", Cutter Business Technology Journal, 31, pp.47~53 (2018), Cutter Consortium
  50. Söllner, M., "Why Different Trust Relationships Matter for Information Systems Users", European Journal of Information Systems, 25, pp.274~287 (2016), Taylor & Francis
  51. Spitale, G., "AI Model GPT-3 (Dis)informs Us Better than Humans", Science Advances, 9(26), pp.1~9 (2023), Science
  52. Tamò-Larrieux, A., "Regulating for Trust: Can Law Establish Trust in Artificial Intelligence?", Regulation & Governance, 18(3), pp.780~801 (2024), John Wiley & Sons
  53. Identifying and Eliminating CSAM in Generative ML Training Data and Models, "Thiel, D.", Stanford Internet Observatory Cyber Policy Center, 1~16 (2023)
  54. Toreini, E., "The Relationship between Trust in AI and Trustworthy Machine Learning Technologies", Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, pp.272~283 (2020)
  55. Vetter, D., "Lessons Learned from Assessing Trustworthy AI in Practice", Digital Society, 2(35) (2023), Springer Science+Business Media
  56. von Eschenbach, W. J., "Transparency and the Black Box Problem: Why We Do Not Trust AI", Philosophy & Technology, 34, pp.1607~1622 (2021), Springer Science+Business Media
  57. Wieringa, M., "What to Account for When Accounting for Algorithms: a Systematic Literature Review on Algorithmic Accountability", Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, pp.1~18 (2020)
  58. Yang, R., "User Trust in Artificial Intelligence: A Comprehensive Conceptual Framework", Electronic Markets, 32(4), pp.2053~2077 (2022), Springer Science+Business Media
  59. Zicari, R. V., "Z-Inspection®: A Process to Assess Trustworthy AI", IEEE Transactions on Technology and Society, 2(2), pp.83~97 (2021), IEEE

관련 논문AI추천

신뢰할 수 있는 인공지능의 이론적 고찰박도현한국법철학회 · 법철학연구2022 · 제25권 제2호인공지능의 신뢰에 관한 연구김길수한국자치행정학회 · 한국자치행정학보2020 · 제34권 제3호정부의 인공지능 활용에 대한 시민 신뢰 영향 요인 분석: 정부 AI 활용인식의 조절효과박이레한국공공관리학회 · 한국공공관리학보2025 · 제39권 제3호AI 시스템의 위험 완화를 위한 정책적 접근방안 연구: AI 영향평가를 중심으로김근혜, 박규동한국규제학회 · 규제연구2023 · 제32권 제2호신뢰의 관점에서 본 인공지능 규제이제희법학연구원 · 법학논총2025 · 제32권 제2호EU 인공지능법의 규제 체계에 대한 연구 - 위험 기반 접근법과 다층적 거버넌스를 중심으로 -염규현한국법제연구원 · 법제연구2025 · 제68호

이 간행물의 다른 논문 (5건)

U.S. Artificial Intelligence Regulation During the Biden AdministrationYoo Christopher S., Mueller Alexpp. 7-29인공지능 주권 논의와 데이터 법⋅정책에 관한 비판적 고찰이희옥pp. 51-75금융부문 AI 규제 체계에 관한 연구: EU의 입법례를 중심으로윤혜선pp. 76-106공공부문의 데이터 칸막이 해소를 위한 법제혁신 방안 – 입법 실무적 관점에서방극봉pp. 107-123국가계약 시범특례 제도에 대한 비교법적 고찰 –미국 「연방조달규칙」 특례제도와의 비교를 중심으로–김대인pp. 124-143
원문 보기