신뢰할 수 있는 AI 가이드라인 — 적법성·윤리성·견고성으로 시스템을 설계하는 법

2019년 4월, EU는 AI 시스템이 "신뢰할 수 있다"고 말할 수 있으려면 무엇을 충족해야 하는지를 정리한 가이드라인을 내놓았다. 여기서 AI는 특정 목적 달성을 위해 환경을 분석하고 일정 수준의 자율성(autonomy)을 기반으로 지능적 행동을 수행하는 시스템으로 정의된다 — 음성·이미지 인식 소프트웨어나 검색 엔진처럼 순수 소프트웨어로 존재하기도 하고, 자율주행차·드론·로봇·IoT 기기처럼 하드웨어에 탑재되기도 한다.

적법성만으로는 부족하다

적법성(Lawful)

모든 법적 구속력이 있는 법률과 규정 준수가 필수다. 개인정보보호법, 공정거래법, 소비자보호법 등 관련 법규를 지켜야 하고, 국제법과 인권 협약도 준수해야 한다.

윤리성(Ethical)

법적 구속력이 없더라도 윤리적 원칙과 가치에 부합해야 한다. 사회적 합의와 도덕적 규범을 존중하고, 인간의 존엄성과 자율성을 존중하는 방향이어야 한다.

견고성(Robust)

기술적·사회적 관점에서 의도치 않은 피해를 방지해야 한다. 시스템의 안정성과 신뢰성을 확보하고, 예측 불가능한 상황에서도 안전하게 작동해야 한다.

이 요건 위에 놓이는 요구사항들

인간행위자와 감독

AI 시스템은 인간의 자율성과 의사결정을 지원해야 하며, 인간이 감독하고 통제할 수 있도록 설계돼야 한다. 실제 사례로 의료진 진단 보조 AI는 최종 의사결정권을 의사에게 부여한다.

기술적 견고성 및 안전

알고리즘의 정확성·신뢰성·재현성을 보장하고, 사이버 공격에 대한 복원력과 백업 계획을 세워야 한다. 오작동 시 대체 시스템(fallback plan)도 구축해야 한다. 자율주행차의 다중 안전장치와 비상 정지 시스템이 실제 사례다.

프라이버시와 데이터 거버넌스

사용자 데이터의 품질과 무결성을 보장하고, 개인정보 접근 통제 메커니즘을 구현해야 한다. 데이터 수집·저장·처리 과정의 투명성도 확보해야 한다. 의료 AI가 익명화된 환자 데이터를 활용하는 프로토콜이 실제 사례다.

투명성

AI 의사결정 과정의 추적 가능성과 설명 가능성을 제공하고, 사용자가 AI 시스템과 상호작용하고 있음을 명확히 인식하게 해야 한다. 알고리즘 작동 원리와 한계에 대한 정보도 공개해야 한다. 신용평가 AI의 결정 요인 설명 기능이 실제 사례다.

다양성·차별금지·공정성

다양한 인구 집단과 상황을 고려한 학습 데이터를 구성하고, 특정 집단에 대한 편향과 차별을 방지해야 한다. 소외 계층을 포함한 포용적 설계도 필요하다. 다양한 인종·성별·연령대를 고려한 얼굴인식 AI 학습이 실제 사례다.

사회·환경적 복지

AI 시스템의 사회적 영향과 환경적 영향을 평가하고, 지속가능한 발전과 생태적 책임을 고려해야 한다. 사회적 약자와 취약 계층 보호도 포함된다. 에너지 효율화를 위한 AI 시스템의 탄소 발자국 측정·최소화가 실제 사례다.

책임성

AI 시스템의 개발·배포·운영 전 과정에서 책임 소재를 명확히 하고, 문제 발생 시 적절한 구제책과 보상 체계를 마련해야 한다. 감사(audit) 메커니즘도 필요하다. AI 의사결정에 대한 이의 제기와 검토 시스템이 실제 사례다.

기술로 구현하는 방법

아키텍처 단계에서는 윤리적 고려사항을 반영한 시스템 설계 구조를 세우고, 모듈화된 설계로 각 구성요소를 독립적으로 검증할 수 있게 하며, 다층적 안전장치와 검증 메커니즘을 둔다.

설계 단계에는 Privacy by Design(설계 단계부터 개인정보보호 고려), Ethics by Design(윤리적 원칙을 아키텍처에 내재화), Security by Design(보안을 핵심 요소로 반영)이 있다.

설명가능한 AI(eXplainable AI)는 블랙박스 문제를 풀기 위한 알고리즘 설명력 강화, 의사결정 과정의 추적 가능성과 해석 가능성 제고, 사용자 친화적인 설명 메커니즘 개발을 포함한다.

시험과 검증 단계에서는 다양한 시나리오에서 성능과 안전성을 테스트하고, 적대적 공격(adversarial attacks)에 대한 방어력을 검증하며, 지속적인 모니터링과 성능 평가 체계를 구축한다.

기술만으로는 안 되는 것들

규제는 균형 잡힌 프레임워크를 구축하고 혁신을 저해하지 않는 적절한 수준을 도입하되, 국제적 협력과 조화를 통해 글로벌 규제 체계를 모색하는 방향이어야 한다. 행동강령은 산업별·분야별 AI 윤리 행동강령 개발과 자율규제·책임있는 혁신 문화 조성, 모범 사례(best practices) 공유를 통해 뒷받침된다.

표준화는 AI 기술·프로세스·거버넌스에 대한 국제 표준 개발과 상호운용성·호환성 확보를 목표로 하고, 인증은 신뢰할 수 있는 AI 시스템에 대한 인증 제도와 독립적인 제3자 검증·인증 체계, 정기적인 재인증 메커니즘으로 구성된다.

거버넌스는 기업·정부·시민사회·학계가 참여하는 협력 체계를 구축해 책임있는 AI 개발·활용을 위한 의사결정 구조를 정립하는 것이고, 교육과 인식은 개발자·사용자·정책 입안자 대상 윤리 교육과 일반 대중의 디지털 리터러시 강화, 전문인력 양성을 포함한다.

사회적 논의는 AI 윤리에 대한 공개적이고 포용적인 대화를 촉진해 다양한 가치와 관점을 반영한 합의를 도출하는 것이고, 포용적 설계팀은 기술 개발자 외에도 윤리학자·사회과학자·법률 전문가 등이 참여하는 다학제적 팀 구성을 뜻한다.

실행을 확인하는 방법

AI 프로젝트는 기획 단계부터 위의 요구사항들을 검토해야 하며, 140여 가지 세부 질문으로 구성된 평가 항목을 활용할 수 있다. 개발 주기 전반에 걸쳐 지속적으로 윤리성을 검토하고, 이해관계자가 참여하는 평가와 피드백 수렴 과정을 거친다.