인공 지능 시스템을 개발하거나 배포하는 조직은 AI를 사용하면 법적 및 규제적 결과, 잠재적인 평판 손상, 편견 및 투명성 부족과 같은 윤리적 문제를 포함한 다양한 위험이 수반된다는 것을 알고 있습니다. 또한 좋은 거버넌스를 통해 위험을 완화하고 AI 시스템이 책임감 있게 개발되고 사용되도록 할 수 있다는 것도 알고 있습니다. 목표에는 시스템이 공정하고 투명하며 책임감 있고 사회에 유익하도록 하는 것이 포함됩니다.
책임 있는 AI를 위해 노력하는 조직조차도 목표를 달성하고 있는지 평가하는 데 어려움을 겪습니다. 그것이 바로 IEEE-USA AI 정책 위원회 게시됨 “NIST AI 위험 관리 프레임워크를 기반으로 한 AI 거버넌스를 위한 유연한 성숙도 모델조직이 진행 상황을 평가하고 추적하는 데 도움이 되는 성숙도 모델은 미국에서 제시된 지침을 기반으로 합니다. 국립표준기술원‘에스 AI 위험 관리 프레임워크 (RMF) 및 기타 NIST 문서.
NIST의 작업을 기반으로
NIST의 RMF는 AI 거버넌스에 대한 존경받는 문서로, AI 위험 관리에 대한 모범 사례를 설명합니다. 하지만 이 프레임워크는 조직이 설명된 모범 사례를 향해 어떻게 발전할 수 있는지에 대한 구체적인 지침을 제공하지 않으며, 조직이 지침을 얼마나 따르고 있는지 평가할 수 있는 방법도 제안하지 않습니다. 따라서 조직은 프레임워크를 구현하는 방법에 대한 질문으로 어려움을 겪을 수 있습니다. 게다가 투자자와 소비자를 포함한 외부 이해 관계자는 이 문서를 사용하여 AI 제공자의 관행을 평가하는 데 어려움을 겪을 수 있습니다.
새로운 IEEE-USA 성숙도 모델은 RMF를 보완하여 조직이 책임 있는 AI 거버넌스 여정의 단계를 파악하고, 진행 상황을 추적하며, 개선을 위한 로드맵을 만들 수 있도록 합니다. 성숙도 모델 조직의 기술 표준에 대한 참여 또는 준수 정도와 특정 분야에서 지속적으로 개선할 수 있는 능력을 측정하는 도구입니다. 조직은 1980년대부터 이 모델을 사용하여 복잡한 역량을 평가하고 개발했습니다.
프레임워크의 활동은 다음과 같습니다. RMF의 4가지 기둥을 중심으로 구축신뢰할 수 있는 AI 시스템을 개발하는 데 있어 AI 위험과 책임을 관리하기 위한 대화, 이해 및 활동을 가능하게 하는 기둥은 다음과 같습니다.
- 지도: 맥락을 인식하고, 맥락과 관련된 위험을 식별합니다.
- 측정: 식별된 위험을 평가, 분석 또는 추적합니다.
- 관리: 예상 영향에 따라 위험의 우선순위를 정하고 조치를 취합니다.
- 거버넌스: 위험 관리 문화가 배양되어 존재하고 있습니다.
유연한 설문조사
IEEE-USA 성숙도 모델의 기초는 RMF에 기반한 유연한 설문지입니다. 설문지에는 하나 이상의 권장 RMF 활동을 다루는 진술문 목록이 있습니다. 예를 들어, 한 진술문은 “우리는 AI 시스템으로 인해 발생하는 편견과 공정성 문제를 평가하고 문서화합니다.”입니다. 이 진술문은 “우리의 AI 시스템은 공정합니다.”와 같은 일반적이고 추상적인 진술을 피하면서 회사가 수행할 수 있는 구체적이고 검증 가능한 조치에 초점을 맞춥니다.
진술문은 RFM의 기둥과 일치하는 주제로 구성됩니다. 주제는 RMF에 설명된 대로 AI 개발 라이프 사이클의 단계, 즉 계획 및 설계, 데이터 수집 및 모델 구축, 배포로 구성됩니다. 특정 단계에서 AI 시스템을 평가하는 평가자는 관련 주제만 쉽게 검토할 수 있습니다.
채점 지침
성숙도 모델에는 RMF에 제시된 이상을 반영하는 다음과 같은 채점 지침이 포함됩니다.
- 견고성은 임시적인 활동부터 체계적인 활동 구현까지 확장됩니다.
- 적용 범위, 아무 활동에도 참여하지 않는 것부터 모든 활동에 참여하는 것까지 다양합니다.
- 입력 다양성은 다음과 같습니다. 단일 팀의 의견부터 내부 및 외부 이해관계자의 다양한 의견까지 반영하여 활동을 진행합니다.
평가자는 개별 진술이나 더 큰 주제를 평가하여 평가의 세분성 수준을 제어할 수 있습니다. 또한 평가자는 할당된 점수를 설명하기 위해 문서 증거를 제공해야 합니다. 증거에는 절차 매뉴얼과 같은 내부 회사 문서, 연례 보고서, 뉴스 기사 및 기타 외부 자료가 포함될 수 있습니다.
개별 진술이나 주제에 점수를 매긴 후 평가자는 결과를 집계하여 전체 점수를 얻습니다. 성숙도 모델은 평가자의 관심사에 따라 유연성을 허용합니다. 예를 들어, NIST 기둥에 의해 점수를 집계하여 “지도”, “측정”, “관리” 및 “통치” 기능에 대한 점수를 생성할 수 있습니다.
성숙도 모델을 조직 내부에서 사용하면 조직이 책임 있는 AI에 대한 입장을 파악하고 거버넌스를 개선하기 위한 단계를 파악하는 데 도움이 될 수 있습니다.
집계는 조직의 AI 책임에 대한 접근 방식의 체계적 약점을 노출할 수 있습니다. 예를 들어, 회사의 점수가 “거버넌스” 활동에 대해 높지만 다른 기둥에 대해 낮다면, 실행되지 않는 건전한 정책을 만들고 있을 수 있습니다.
점수를 매기는 또 다른 옵션은 RMF에서 강조된 AI 책임의 일부 차원, 즉 성과, 공정성, 프라이버시, 생태, 투명성, 보안, 설명 가능성, 안전 및 제3자(지적 재산 및 저작권)에 따라 숫자를 집계하는 것입니다. 이 집계 방법은 조직이 특정 문제를 무시하고 있는지 여부를 판단하는 데 도움이 될 수 있습니다. 예를 들어 일부 조직은 소수의 위험 영역에서의 활동을 기반으로 AI 책임을 자랑하면서도 다른 범주는 무시할 수 있습니다.
더 나은 의사결정을 향한 길
내부적으로 사용될 경우, 성숙도 모델은 조직이 책임 있는 AI에 대한 입장을 파악하고 거버넌스를 개선하기 위한 단계를 식별하는 데 도움이 될 수 있습니다. 이 모델을 통해 회사는 목표를 설정하고 반복적인 평가를 통해 진행 상황을 추적할 수 있습니다. 투자자, 구매자, 소비자 및 기타 외부 이해 관계자는 이 모델을 사용하여 회사와 제품에 대한 의사 결정을 알릴 수 있습니다.
내부 또는 외부 이해 관계자가 사용할 경우 새로운 IEEE-USA 성숙도 모델은 NIST AI RMF를 보완하고 조직의 책임 있는 거버넌스 진행 상황을 추적하는 데 도움이 될 수 있습니다.