챗봇 혁명은 AI가 생성한 텍스트로 세상을 가득 채웠습니다. 뉴스 피드, 학기 보고서, 받은 편지함에 침투했습니다. 그것은 터무니없이 풍부하여 이동과 대응을 제공하기 위해 산업이 생겨났습니다. 일부 회사에서는 다음과 같은 서비스를 제공합니다. AI 생성 텍스트 식별 다른 사람들은 그들의 도구가 “인간화하다“AI가 생성한 텍스트를 감지할 수 없게 만듭니다. 두 가지 유형의 도구 모두 의심스러운 성능챗봇이 점점 더 좋아질수록 단어가 인간에 의해 결합되었는지 아니면 알고리즘에 의해 결합되었는지 구별하는 것이 더욱 어려워질 것입니다.
또 다른 접근 방식은 다음과 같습니다. 처음부터 텍스트에 일종의 워터마크나 콘텐츠 자격 증명을 추가하면 사람들이 텍스트가 AI에서 생성되었는지 쉽게 확인할 수 있습니다. 새로운 연구 오늘 저널에 설명된 Google DeepMind의 내용입니다. 자연이를 수행할 수 있는 방법을 제공합니다. SynthID-Text라고 불리는 이 시스템은 “텍스트 생성의 품질, 정확성, 창의성 또는 속도”를 손상시키지 않습니다. 푸시미트 콜리Google DeepMind 연구 부사장이자 논문의 공동 저자입니다. 그러나 연구원들은 자신들의 시스템이 완벽하지 않으며 아직 모든 사람이 사용할 수 없다는 점을 인정합니다. 이는 확장 가능한 솔루션이라기보다는 시연에 가깝습니다.
Google은 이미 이 새로운 워터마킹 시스템을 쌍둥이자리 챗봇, 회사가 오늘 발표했습니다. 또한 도구를 오픈소스로 공개했으며 사용 가능하게 만들었습니다 개발자와 기업은 이 도구를 사용하여 텍스트 출력이 자신의 대규모 언어 모델에서 나온 것인지 확인할 수 있습니다(LLM), 챗봇을 구동하는 AI 시스템입니다. 그러나 현재는 Google과 해당 개발자만이 워터마크를 확인하는 감지기에 액세스할 수 있습니다. Kohli는 “SynthID가 AI 생성 콘텐츠를 식별하는 데 만능은 아니지만 보다 안정적인 AI 식별 도구를 개발하기 위한 중요한 구성 요소입니다.”라고 말했습니다.
콘텐츠 자격 증명의 증가
콘텐츠 자격 증명 이미지와 비디오에서 뜨거운 주제가 되어 왔으며, 딥페이크. 기술 기업과 주요 언론 매체가 다음과 같은 계획에 함께 참여했습니다. C2PA는 암호화된 메타데이터를 이미지 및 비디오 파일에 첨부하여 실제인지 AI에서 생성되었는지 나타내는 시스템을 개발했습니다. 그러나 텍스트는 훨씬 더 어려운 문제입니다. 텍스트는 워터마크를 가리거나 제거하기 위해 쉽게 변경될 수 있기 때문입니다. SynthID-Text는 텍스트용 워터마킹 시스템을 생성하려는 첫 번째 시도는 아니지만 2천만 개의 프롬프트에서 테스트된 첫 번째 시도입니다.
콘텐츠 자격 증명을 연구하는 외부 전문가들은 DeepMind 연구를 좋은 단계로 보고 있습니다. “문서 및 원시 텍스트에 대해 C2PA의 내구성 있는 콘텐츠 자격 증명 사용을 향상시킬 수 있는 가능성이 있습니다.”라고 말합니다. 앤드류 젠크스Microsoft의 미디어 출처 이사이자 C2PA 집행위원장입니다. “이것은 해결하기 어려운 문제이며 어느 정도 진전이 이루어지고 있는 것을 보니 반갑습니다.”라고 말합니다. 브루스 맥코맥C2PA 운영위원회 회원입니다.
Google의 텍스트 워터마크 작동 방식
SynthID-Text는 생성 과정을 은밀하게 방해하는 방식으로 작동합니다. 챗봇 인간에게는 보이지 않지만 SynthID 감지기에게는 명확한 방식으로 사용자에게 출력됩니다. 연구원들은 논문에서 “이러한 수정은 생성된 텍스트에 통계적 서명을 도입합니다.”라고 썼습니다. “워터마크 감지 단계에서 서명을 측정하여 텍스트가 실제로 워터마크가 표시된 LLM에 의해 생성되었는지 여부를 확인할 수 있습니다.”
챗봇을 구동하는 LLM은 단어별로 문장을 생성하고 이전에 나온 내용의 맥락을 살펴보고 가능성 있는 다음 단어를 선택하는 방식으로 작동합니다. 기본적으로 SynthID-Text는 후보 단어에 숫자 점수를 무작위로 할당하고 LLM이 더 높은 점수를 갖는 단어를 출력하도록 하여 방해합니다. 나중에 탐지기는 텍스트 조각을 가져와 전체 점수를 계산할 수 있습니다. 워터마크가 있는 텍스트는 워터마크가 없는 텍스트보다 높은 점수를 갖습니다. DeepMind 팀은 생성 프로세스를 변경하는 다른 텍스트 워터마킹 도구와 비교하여 시스템 성능을 확인한 결과 워터마킹된 텍스트를 더 잘 감지한다는 사실을 발견했습니다.
그러나 연구자들은 Gemini가 생성한 텍스트를 변경하고 탐지기를 속이는 것이 여전히 쉽다는 점을 논문에서 인정합니다. 사용자가 어떤 단어를 바꿔야 할지 알 수 없더라도 텍스트를 크게 편집하거나 다른 챗봇에게 텍스트 요약을 요청하면 워터마크가 가려질 가능성이 높습니다.
대규모 텍스트 워터마크 테스트
SynthID-Text가 실제로 챗봇의 응답을 악화시키지 않도록 하기 위해 팀은 2천만 개의 프롬프트를 대상으로 테스트했습니다. 쌍둥이자리. 해당 프롬프트 중 절반은 SynthID-Text 시스템으로 라우팅되어 워터마크가 표시된 응답을 받았고 나머지 절반은 표준 Gemini 응답을 받았습니다. 사용자의 “좋아요” 및 “거부” 피드백으로 판단하면 워터마크가 표시된 응답은 표준 응답만큼 사용자에게 만족스러웠습니다.
이는 Google과 Gemini를 기반으로 하는 개발자에게 좋은 일입니다. 그러나 AI가 생성한 텍스트를 식별하는 전체 문제를 해결하려면(일부는 이를 AI 슬롭) 더 많은 AI 회사가 워터마킹 기술을 구현해야 합니다. 이상적으로는 하나의 감지기가 여러 LLM의 텍스트를 식별할 수 있도록 상호 운용 가능한 방식으로 구현해야 합니다. 그리고 모든 주요 AI 회사가 일부 계약에 서명하는 경우에도 워터마킹 기능을 제거하기 위해 쉽게 변경할 수 있는 오픈 소스 LLM의 문제는 여전히 남아 있습니다.
C2PA의 MacCormack은 구현에 대해 실질적으로 생각하기 시작할 때 감지가 특히 문제가 된다고 지적합니다. “야생에서 텍스트를 검토할 때 신호를 찾는 방법과 위치를 알기 위해 어떤 워터마킹 모델이 적용되었는지 알아야 하는 문제가 있습니다.”라고 그는 말합니다. 전반적으로 연구원들은 여전히 그들의 작업이 중단되어 있다고 그는 말합니다. MacCormack은 이러한 노력이 “막다른 골목은 아니지만 긴 여정의 첫 번째 단계”라고 말합니다.