AI 시스템 평가 전문 기관 휴메인 인텔리전스(Humane Intelligence)가 경쟁 이는 개발자가 온라인에서 혐오스러운 이미지 기반 선전을 추적할 수 있는 컴퓨터 비전 모델을 만들도록 요구합니다. 북유럽 대테러 단체인 Revontulet과 협력하여 조직된 현상금 프로그램은 9월 26일에 시작됩니다. 18세 이상이라면 누구나 참가할 수 있으며 우승자에게는 10,000달러의 상금이 약속됩니다.
이는 AI의 사회적 영향을 조사하고 저명한 AI 연구원인 Rumman Chowdhury가 2022년에 시작한 비영리 단체인 Humane Intelligence에서 계획된 10개의 ‘알고리즘 편견 포상금’ 프로그램 시리즈 중 두 번째입니다. 이 시리즈는 Google.org에서 지원합니다. , Google의 자선 사업 부문입니다.
Chowdhury는 “우리 현상금 프로그램의 목표는 첫째로 사람들에게 알고리즘 평가 방법을 가르치는 것입니다. 둘째, 현장에서 시급한 문제를 실제로 해결하도록 가르치는 것입니다.”라고 말했습니다.
그것은 첫 번째 도전 참가자들에게 모델 훈련에 사용될 수 있는 샘플 데이터 세트의 격차, 즉 실제로 부정확하거나 편향되거나 오해의 소지가 있는 출력을 생성할 수 있는 격차를 평가하도록 요청했습니다.
두 번째 과제는 온라인에서 증오 이미지를 추적하는 것입니다. 이는 엄청나게 복잡한 문제입니다. 생성적 AI는 이러한 유형의 콘텐츠가 폭발적으로 증가하도록 했으며, 콘텐츠가 소셜 미디어에서 삭제되지 않도록 조작하는 데도 AI가 배포되었습니다. 예를 들어, 극단주의 단체는 AI를 사용하여 플랫폼에서 이미 금지한 이미지를 약간 변경하여 자동 탐지 시스템으로 쉽게 표시할 수 없는 수백 개의 서로 다른 복사본을 빠르게 생성할 수 있습니다. 극단주의 네트워크는 AI를 사용하여 인간의 눈으로는 감지할 수 없지만 감지 시스템을 혼란시키고 회피하는 패턴을 이미지에 삽입할 수도 있습니다. 본질적으로 극단주의 단체와 온라인 플랫폼 간의 고양이와 쥐 게임을 만들었습니다.
이 챌린지는 두 가지 다른 모델을 요구합니다. 첫 번째는 중급 수준의 작업으로 혐오 이미지를 식별하는 작업입니다. 두 번째는 고급 도전으로 간주되며 첫 번째 모델을 속이려고 시도하는 모델입니다. Chowdhury는 “이는 실제 세계에서 작동하는 방식을 실제로 모방한 것입니다.”라고 말했습니다. “선한 사람은 한 가지 접근 방식을 취하고, 그 다음에는 나쁜 사람이 접근합니다.” 목표는 극단주의 완화 주제에 대해 기계 학습 연구자들을 참여시키는 것입니다. 이를 통해 증오 이미지를 효과적으로 선별할 수 있는 새로운 모델을 만들 수 있습니다.
이 프로젝트의 핵심 과제는 증오에 기반한 선전이 상황에 따라 크게 달라질 수 있다는 것입니다. 그리고 특정 상징이나 기표에 대한 깊은 이해가 없는 사람은 무엇이 백인 민족주의 단체의 선전 자격이 있는지조차 알지 못할 수도 있습니다.
“만약에 [the model] 현상금과 관련이 없는 워털루 대학교 컴퓨터 과학 교수 지미 린(Jimmy Lin)은 전 세계의 일부 지역에서 혐오스러운 이미지의 예를 본 적이 없다면 이를 감지하는 데 아무런 소용이 없을 것이라고 말합니다. 프로그램.
많은 모델이 문화적 맥락에 대한 방대한 지식을 갖고 있지 않기 때문에 이 효과는 전 세계적으로 증폭됩니다. 이것이 바로 Humane Intelligence가 이 특정 과제를 위해 미국 이외의 조직과 협력하기로 결정한 이유입니다. Chowdhury는 “이러한 모델의 대부분은 미국 사례에 맞게 조정되는 경우가 많으므로 북유럽 대테러 그룹과 협력하는 것이 중요합니다.”라고 말합니다.
하지만 Lin은 이러한 문제를 해결하려면 알고리즘 변경 이상의 것이 필요할 수 있다고 경고합니다. “우리는 가짜 콘텐츠를 생성하는 모델을 가지고 있습니다. 그렇다면 가짜로 생성된 콘텐츠를 탐지할 수 있는 다른 모델을 개발할 수 있을까요? 예, 그것은 확실히 그것에 대한 한 가지 접근 방식입니다.”라고 그는 말합니다. “하지만 전반적으로 보면 훈련, 읽고 쓰는 능력, 교육 노력이 실제로 더 유익하고 오래 지속되는 영향을 미칠 것이라고 생각합니다. 왜냐하면 당신은 이 고양이와 쥐 게임을 당하지 않을 것이기 때문입니다.”
챌린지는 2024년 11월 7일까지 진행됩니다. 중급 챌린지 우승자와 고급 챌린지 우승자 2명이 선정됩니다. 그들은 각각 4,000달러와 6,000달러를 받게 됩니다. 참가자들은 또한 Revontulet의 모델 검토를 받게 되며, Revontulet은 이를 극단주의에 맞서기 위한 현재 도구 모음에 추가하기로 결정할 수도 있습니다.
