인공지능 신뢰성과 안전성의 경계 획정 = Province of AI Trustworthiness and Safety Determined

국문 초록 (Abstract)

2019년 유럽연합이 ‘신뢰할 수 있는 인공지능 윤리 가이드라인’을 발표한 이래, 전 세계를 주도해 온 인공지능 거버넌스 논의의 중핵에는 ‘신뢰성’이 자리 잡고 있었다. 그러던 중 안전성이 주요 키워드로 부상하면서 인공지능 거버넌스 논의는 새로운 국면으로 접어들었다. 인공지능 거버넌스에서 신뢰성과 안전성은 병치의 구조로 형성되기 시작했으나, 사실상 안전성의 내용을 들여다보면 기존의 신뢰성에서 논의된 내용과 별반 다를 것이 없었다. 한편 2024년 세계 최초로 승인된 유럽연합 인공지능법에서도 ‘위험 기반 규제’를 중심으로 기술하면서 기존의 ‘신뢰할 수 있는 인공지능 윤리 가이드라인’을 언급하고 이와 동시에 ‘안전성’ 개념을 함께 제시하였다. 이러한 기조를 따른 국내 인공지능 법안에서도 ‘위험 규제’와 ‘신뢰성’, ‘안전성’을 일관성 없이 혼용하고 있는 모습을 보이고 있다.
이에 본고는 인공지능 신뢰성과 별도로 안전성 개념을 구분하고 각 영역의 경계를 획정하여 이와 같은 문제를 해소하고자 하였다. 이를 위해 인공지능이 초래할 수 있는 위험을 안전성에 기반한 기술적 위험과 신뢰성에 기반한 사회적 위험으로 이원화하고 이 과정에서 종래 신뢰성 개념에서 다루어진 핵심 요소들을 재배치하였다. 이후 안전성과 신뢰성을 달성하는 데 효과적인 규칙 혹은 원칙의 법 형식을 검토하고 이를 인공지능의 거버넌스에 적용하였다. 이를 통해 적절한 인공지능 규범체계를 수립하는 데 필요한 법적 기반을 마련하고자 하였다.

다국어 초록 (Multilingual Abstract)

Ever since the European Union released its ‘Ethics Guidelines for Trustworthy AI’ in 2019, the concept of ‘trustworthiness’ has been at the center of the global artificial intelligence(AI) governance debates. Yet, the emergence of ‘safety’ as a significant keyword has brought the AI governance discourse into a new phase. The juxtaposition of trustworthiness and safety in AI governance began to take shape; however, in practice, the safety issues were scarcely distinguishable from earlier discussions on trustworthiness. On the other hand, the European Union’s AI Act, approved in 2024 as the world’s first comprehensive AI legislation, centered on ‘risk-based regulation’, incorporating the existing ‘Ethical Guidelines for Trustworthy AI’ while simultaneously incorporating the concept of ‘safety.’ South Korea’s AI legislation, which has followed this global trend, reflects an inconsistent integration of ‘risk-based regulation’, ‘trustworthiness’, and ‘safety.’ In this regard, this paper seeks to address these issues by distinguishing the concept of safety from that of trustworthiness and defining the role and scope of each. To this end, we have categorized the risks posed by AI into technical and societal dimensions, aligned with the principles of safety and trustworthiness, respectively. In the process, we have also rearranged the key elements that have been used to explain the existing concept of trustworthiness. Furthermore, we have reviewed the legal forms of rules or principles effective in achieving the objectives of trustworthiness and safety, applying them to AI governance. In doing so, this paper has aimed to provide the legal foundation necessary to establish an appropriate normative framework for AI.