AI가 생성하는 아동 성적 학대 영상(CSAM)을 제작할 수 있는 도구를 개발하고 배포하는 데 수백만 달러, 수십억 달러의 가치가 있는 AI 기업들은 왜 그렇게 평가받는 걸까요?
AI 회사인 Stable Diffusion 버전 1.5라는 이미지 생성기는 통로 자금 지원으로 안정성 AICSAM 제작에 특히 연루되었습니다. 그리고 다음과 같은 인기 있는 플랫폼 껴안는 얼굴 그리고 시비타스 해당 모델과 다른 모델을 호스팅하고 있었을 수도 있습니다. 실제 이미지로 훈련됨 아동 성적 학대의 경우. 어떤 경우에는 회사가 서버에 합성 CSAM 자료를 호스팅하여 법을 위반할 수도 있습니다. 그리고 Google, Nvidia, Intel, Salesforce와 같은 주류 회사와 투자자가 앤드리슨 호로비츠 펌핑 수억 달러 이런 회사들로? 그들의 지원은 소아성애자들의 콘텐츠에 보조금을 주는 것과 마찬가지다.
AI 안전 전문가로서, 우리는 이러한 질문을 통해 이러한 회사들을 지적하고 아래에 설명한 시정 조치를 취하도록 압력을 가했습니다. 그리고 오늘 우리는 한 가지 큰 승리를 보고하게 되어 기쁩니다. 우리의 질문에 대한 응답으로 Stable Diffusion 버전 1.5가 Hugging Face에서 제거되었습니다. 하지만 아직 해야 할 일이 많고, 의미 있는 진전을 이루려면 법률이 필요할 수 있습니다.
CSAM 문제의 범위
아동 안전 옹호자들은 작년에 경각심을 고조하기 시작했습니다. 스탠포드 인터넷 전망대 그리고 기술 비영리 가시 문제가 있는 것을 출판했다 보고서 2023년 6월에 그들은 광범위하게 이용 가능하고 “오픈 소스”인 AI 이미지 생성 도구가 이미 악의적인 행위자들에 의해 아동 성적 학대 자료를 만드는 데 오용되고 있다는 것을 발견했습니다. 어떤 경우에는 악의적인 행위자들이 이러한 모델의 자체 사용자 정의 버전(미세 조정이라고 알려진 프로세스)을 만들어 실제 아동 성적 학대 자료를 사용하여 특정 피해자의 맞춤형 이미지를 생성했습니다.
지난 10월, 보고서 영국 비영리 단체에서 인터넷 워치 재단 (아동 성적 학대 자료 신고 핫라인을 운영)은 악의적인 행위자들이 이제 규모에 맞게 사실적인 AI 생성 아동 성적 학대 자료를 만드는 용이성에 대해 자세히 설명했습니다. 연구자들은 다크 웹 CSAM 포럼 하나에 대한 “스냅샷” 연구를 포함하여 한 달 동안 게시된 11,000개 이상의 AI 생성 이미지를 분석했습니다. 그 중 약 3,000개가 범죄로 분류될 만큼 심각하다고 판단되었습니다. 이 보고서는 생성 AI 모델에 대한 더 강력한 규제 감독을 촉구했습니다.
AI 모델은 이전에 예를 본 적이 있기 때문에 이 자료를 만드는 데 사용할 수 있습니다. 스탠포드의 연구원 발견하다 작년 12월, 이미지 생성 모델을 훈련하는 데 사용되는 가장 중요한 데이터 세트 중 하나에 수천 개의 CSAM이 포함되어 있다는 사실이 밝혀졌습니다. 인기 있는 다운로드 가능한 오픈소스 AI 이미지 생성기 중 다수는 인기 있는 안정된 확산 버전 1.5 모델이었습니다. 이 데이터를 사용하여 훈련됨. 그 버전의 안정적 확산은 다음에 의해 만들어졌습니다. 통로그렇지만 안정성 AI 컴퓨팅 파워에 대한 비용을 지불했습니다 데이터 세트를 생성하다 그리고 모델을 훈련하다Stability AI가 후속 버전을 출시했습니다.
Runway는 논평 요청에 응답하지 않았습니다. Stability AI 대변인은 회사가 Stable Diffusion 버전 1.5를 출시하거나 유지하지 않았으며, 회사는 후속 모델에서 CSAM에 대한 “강력한 보호 장치”를 구현했다고 말했으며, 여기에는 학습을 위한 필터링된 데이터 세트 사용이 포함됩니다.
또한 작년 12월 소셜 미디어 분석 회사의 연구원들은 제도법 수십 개의 확산을 발견했습니다 “옷 벗기” 서비스많은 오픈소스 AI 이미지 생성기를 기반으로 하며, 여기에는 Stable Diffusion도 포함될 가능성이 높습니다. 이러한 서비스를 사용하면 사용자가 옷을 입은 사람들의 사진을 업로드하고 미성년자와 성인 모두의 비합의적 친밀한 이미지(NCII)라고 하는 전문가 용어를 생성할 수 있습니다. 딥페이크 포르노. 이러한 웹사이트는 Google 검색을 통해 쉽게 찾을 수 있으며, 사용자는 온라인에서 신용 카드를 사용하여 서비스 비용을 지불할 수 있습니다. 이러한 서비스 중 다수 일만하다 여성과 소녀에 대한 이러한 유형의 도구는 여성 유명인을 타겟팅하는 데 사용되었습니다. 테일러 스위프트 그리고 정치인들 미국 대표처럼 알렉산드리아 오카시오-코르테스.
AI가 생성한 CSAM은 실제적인 영향을 미칩니다. 아동 안전 생태계는 이미 과부하 상태이며, 매년 수백만 건의 CSAM 의심 파일이 핫라인에 신고됩니다. 이러한 콘텐츠의 급류에 추가되는 모든 것, 특히 사실적인 학대 자료는 적극적으로 위험에 처한 아동을 찾는 것을 더욱 어렵게 만듭니다. 상황을 더욱 악화시키는 것은 일부 악의적인 행위자가 기존 CSAM을 사용하여 이러한 생존자의 합성 이미지를 생성하고 있다는 것입니다. 이는 그들의 권리를 다시 끔찍하게 침해하는 것입니다. 다른 사람들은 쉽게 구할 수 있는 “누드화” 앱을 사용하여 실제 아동의 무해한 이미지에서 성적 콘텐츠를 만든 다음 새로 생성된 콘텐츠를 성적 강탈 계획.
AI가 생성한 CSAM에 대한 한 번의 승리
작년 12월 스탠포드 조사에 따르면 AI 커뮤니티에서는 Stable Diffusion 1.5가 잘 알려져 있습니다. 아동 성적 학대 자료에 대한 교육을 받음다른 모든 모델이 훈련된 것과 마찬가지로 라이온-5B 데이터 세트. 이러한 모델은 악의적인 행위자에 의해 AI가 생성한 CSAM을 만드는 데 적극적으로 오용되고 있습니다. 그리고 더 무해한 자료를 생성하는 데 사용되더라도, 이러한 사용은 본질적으로 학대 이미지가 훈련 데이터에 들어간 어린이를 다시 피해자로 만듭니다. 그래서 우리는 인기 있는 AI 호스팅 플랫폼에 물었습니다. 껴안는 얼굴 그리고 시비타스 왜 그들은 Stable Diffusion 1.5와 파생 모델을 호스팅하고 무료로 다운로드할 수 있게 했을까요?
그것은 주목할 가치가 있습니다 제프 앨런데이터 과학자 정직성 연구소Stable Diffusion 1.5가 지난달 Hugging Face에서 600만 번 이상 다운로드되어 플랫폼에서 가장 인기 있는 AI 이미지 생성기가 되었음을 발견했습니다.
우리가 Hugging Face에 왜 계속해서 모델을 호스팅하는지 물었을 때 회사 대변인 Brigitte Tousignant는 질문에 직접 대답하지 않았지만 대신 회사는 플랫폼에서 CSAM을 용납하지 않으며 다양한 안전 도구를 통합하고 커뮤니티가 CSAM을 사용하도록 장려한다고 말했습니다. 안전한 안정적 확산 모델 부적절한 이미지를 식별하여 억제합니다.
그러다 어제 허깅페이스를 체크해보니 스테이블 디퓨전 1.5가 더 이상 사용할 수 없습니다. Tousignant는 Hugging Face가 그것을 내리지 않았다고 말했고, Runway에 연락하라고 제안했습니다. 우리는 다시 연락했지만, 아직 답변을 받지 못했습니다.
이 모델을 더 이상 Hugging Face에서 다운로드할 수 없다는 것은 의심할 여지 없이 성공입니다. 안타깝게도 Civitai에서는 여전히 사용할 수 있으며, 수백 개의 파생 모델도 마찬가지입니다. Civitai에 문의했을 때 대변인은 Stable Diffusion 1.5에서 어떤 훈련 데이터를 사용했는지 전혀 모른다고 말했고, 오용의 증거가 있는 경우에만 삭제할 것이라고 말했습니다.
플랫폼은 책임에 대해 긴장해야 합니다. 지난주에는 파벨 두로프의 체포메신저 앱 텔레그램의 CEO인 , CSAM 및 기타 범죄와 관련된 조사의 일환으로.
AI가 생성한 CSAM에 대해 어떤 조치를 취하고 있나요?
AI가 생성한 CSAM과 NCII에 대한 불안한 보고와 뉴스의 꾸준한 드럼비트는 멈추지 않았습니다. 일부 회사는 기술 연합우리는 더 광범위한 문제에서 어떤 진전을 보았나요?
4월에는 Thorn과 모든 기술은 인간이다 발표했다 계획 주류 기술 기업, 생성 AI 개발자, 모델 호스팅 플랫폼 등을 하나로 모아 정의하고 이를 위해 노력합니다. 설계에 의한 안전 아동 성적 학대 예방을 제품 개발 프로세스의 중심에 두는 원칙. 10개 회사(Amazon, Civitai, Google, Meta, Microsoft, OpenAI, Stability AI 포함) 이러한 원칙을 준수합니다그리고 다른 몇몇 사람들이 공동 저자로 참여했습니다. 관련 논문 더 자세한 권장 완화책과 함께. 이 원칙은 기업에 아동 안전 위험을 사전에 해결하는 AI 모델을 개발, 배포 및 유지하도록 요구합니다. 생산되는 모든 학대 자료를 안정적으로 감지할 수 있는 시스템을 구축하고, 이 학대 자료를 만드는 데 사용되는 기본 모델과 서비스의 배포를 제한합니다.
이런 종류의 자발적인 헌신은 시작일 뿐입니다. 레베카 포트노프Thorn의 데이터 과학 책임자는 이 이니셔티브가 기업에 완화 단계의 진행 상황에 대한 보고서를 발행하도록 요구함으로써 책임을 묻고자 한다고 말합니다. 또한 IEEE와 NIST와 같은 표준 설정 기관과 협력하여 노력을 새 표준과 기존 표준에 통합하고 있으며, “명예 시스템을 넘어선” 제3자 감사의 문을 열고 있다고 Portnoff는 말합니다. Portnoff는 또한 Thorn이 정책 입안자들과 협력하여 기술적으로 실행 가능하고 영향력 있는 법안을 고안하도록 돕고 있다고 언급합니다. 실제로 많은 전문가들은 자발적인 약속을 넘어설 때라고 말합니다.
우리는 현재 AI 산업에서 무모한 하향 경쟁이 진행 중이라고 믿습니다. 회사들은 너무나 맹렬하게 싸우고 있습니다. 기술적으로 그들 중 많은 사람들이 이를 무시하고 있다는 점에서 선두에 서 있습니다. 윤리적인 그리고 아마도 심지어 합법적인 제품의 결과. 유럽 연합을 포함한 일부 정부가 AI 규제에 진전을 이루고 있지만 아직은 충분하지 않습니다. 예를 들어, 법률에서 CSAM을 생성할 수 있는 AI 시스템을 제공하는 것을 불법으로 규정하면 기술 회사가 주목할 수 있습니다.
현실은 일부 회사가 자발적 약속을 준수하는 반면, 많은 회사가 준수하지 않는다는 것입니다. 그리고 준수하는 회사 중에서도 많은 회사가 준비가 되지 않았거나 경쟁 우위를 유지하기 위해 고군분투하고 있기 때문에 너무 느리게 조치를 취할 것입니다. 그동안 악의적인 행위자는 이러한 서비스로 몰려들어 파괴를 일으킬 것입니다. 그러한 결과는 용납할 수 없습니다.
기술 회사가 AI가 생성한 CSAM에 대해 해야 할 일
전문가들은 이 문제가 멀리서부터 다가오고 있다는 것을 알고 있었고, 아동 안전 옹호자들은 이를 해결하기 위한 상식적인 전략을 권고했습니다. 상황을 해결하기 위한 조치를 취할 수 있는 이 기회를 놓치면 우리 모두가 책임을 져야 합니다. 최소한 오픈 소스 모델을 출시하는 회사를 포함한 모든 회사는 Thorn의 Safety by Design 원칙에 명시된 공약을 따라야 합니다.
- 생성 AI 모델을 학습시키기 전에 학습 데이터 세트에서 CSAM을 탐지, 제거하고 보고합니다.
- 강력한 워터마크를 통합하고 콘텐츠 출처 시스템 생성된 이미지를 생성한 모델에 연결할 수 있도록 생성 AI 모델로 전환할 수 있습니다. 이는 캘리포니아 법안에 따라 요구되는 사항입니다. 디지털 콘텐츠 출처 표준 주에서 사업을 하는 기업을 위한 것입니다. 이 법안은 다음 달에 Gavin Newson 주지사의 서명을 받을 가능성이 높습니다.
- CSAM에서 훈련되었거나 CSAM을 생성할 수 있는 것으로 알려진 모든 생성 AI 모델을 플랫폼에서 제거합니다. CSAM이 제거된 완전히 재구성되지 않는 한 이러한 모델을 다시 호스팅하는 것을 거부합니다.
- CSAM에서 의도적으로 미세 조정된 모델을 식별하여 해당 플랫폼에서 영구히 제거합니다.
- 앱 스토어에서 “누드화” 앱을 제거하고, 이러한 도구와 서비스에 대한 검색 결과를 차단하고, 결제 서비스 제공업체와 협력하여 제작자에 대한 결제를 차단합니다.
이유가 없다 생성적 AI가 어린이에 대한 끔찍한 학대를 돕고 방조해야 하는 이유. 하지만 우리는 방향을 바꾸고 바닥으로의 경쟁을 멈추기 위해 자발적인 약속, 규제, 대중의 압력 등 손에 있는 모든 도구가 필요할 것입니다.
저자는 감사합니다 레베카 포트노프 가시의, 데이비드 티엘 스탠포드 인터넷 관측소의 제프 앨런 Integrity Institute의 라빛도탄 TechBetter의 기술 정책 연구원 오웬 도일 이 기사를 쓰는 데 도움을 주신 분들께 감사드립니다.