생성적 AI 붐이 시작된 이래로, 콘텐츠 제작자는 자신의 작업이 동의 없이 AI 모델에 스크랩되었다고 주장해 왔습니다. 하지만 지금까지 특정 텍스트가 실제로 훈련 데이터 세트에 사용되었는지 아는 것은 어려웠습니다.
이제 그들은 그것을 증명할 새로운 방법을 갖게 되었습니다: “c권리 침해의 함정“임페리얼 칼리지 런던의 한 팀이 개발한, 작가와 출판사가 자신의 작품에 미묘하게 표시를 하여 나중에 AI 모델에서 사용되었는지 여부를 감지할 수 있는 숨겨진 텍스트 조각입니다. 이 아이디어는 저작권 소유자가 역사를 통틀어 사용해 온 함정과 비슷합니다. 지도에 가짜 위치를 포함하거나 사전에 가짜 단어를 포함하는 것과 같은 전략입니다.
이러한 AI 저작권 함정은 AI에서 가장 큰 싸움 중 하나에 개입합니다. 여러 출판사와 작가가 기술 회사를 상대로 소송을 진행 중이며, 그들의 지적 재산이 허가 없이 AI 훈련 데이터 세트에 스크랩되었다고 주장합니다. 뉴욕 타임즈‘ OpenAI에 대한 현재 진행 중인 소송은 아마도 가장 주목받는 소송일 것입니다.
현재 트랩을 생성하고 감지하는 코드는 다음과 같습니다. GitHub에서 사용 가능하지만 해당 팀은 사람들이 직접 저작권 트랩을 생성하고 삽입할 수 있는 도구도 개발할 계획입니다.
“모델을 훈련하는 데 어떤 콘텐츠를 사용하는지에 대한 투명성이 전혀 없으며 이로 인해 적절한 균형을 찾는 데 방해가 된다고 생각합니다. [between AI companies and content creators]”라고 연구를 이끈 Imperial College London의 응용 수학 및 컴퓨터 과학 부교수인 Yves-Alexandre de Montjoye가 말했습니다. 이는 이번 주 비엔나에서 열리는 최고의 AI 컨퍼런스인 International Conference on Machine Learning에서 발표되었습니다.
함정을 만들기 위해 팀은 단어 생성기를 사용하여 수천 개의 합성 문장을 만들었습니다. 이러한 문장은 길고 횡설수설이 가득하며 다음과 같이 보일 수 있습니다. “혼란의 시기가 오면… 무엇이 세일을 하는지, 그리고 더 중요한 것은 언제가 가장 좋은지, 이 목록은 밤에 Thrs.에서 누가 오픈하는지, 정기 세일 시간과 이웃의 다른 오픈 시간을 알려줍니다. 여전히요.”
팀은 100개의 함정 문장을 생성한 다음 무작위로 하나를 선택하여 텍스트에 여러 번 삽입했다고 de Montjoy는 설명합니다. 함정은 여러 가지 방법으로 텍스트에 삽입될 수 있습니다. 예를 들어 흰색 배경에 흰색 텍스트로 삽입하거나 기사의 소스 코드에 삽입할 수 있습니다. 이 문장은 텍스트에서 100~1,000번 반복해야 했습니다.
함정을 감지하기 위해 그들은 생성한 100개의 합성 문장을 대규모 언어 모델에 입력하고, 그것이 그것들을 새로운 것으로 플래그하는지 여부를 살펴보았습니다. 만약 모델이 훈련 데이터에서 함정 문장을 보았다면, 그것은 더 낮은 “놀람”(또는 “퍼플렉시티”로 알려짐) 점수를 나타낼 것입니다. 하지만 만약 모델이 ~였다 문장에 대해 “놀랐다”는 것은 그 문장을 처음 접한다는 의미이고, 따라서 그 문장은 함정이 아니라는 의미입니다.
과거에 연구자들은 언어 모델이 훈련 데이터를 기억하여 그 데이터에 무언가가 나타났는지 여부를 판단한다는 사실을 이용하는 것을 제안했습니다. 이 기술은 “멤버십 추론 공격“는 훈련 중에 많은 양의 데이터를 기억하는 경향이 있는 대규모 최신 모델에서 효과적으로 작동합니다.
반면, 인기를 얻고 있으며 모바일 기기에서 실행할 수 있는 더 작은 모델은 기억하는 양이 적기 때문에 멤버십 추론 공격에 덜 취약하여 특정 저작권이 있는 문서에서 훈련되었는지 여부를 판단하기가 더 어렵다고 워털루 대학교의 컴퓨터 과학 조교수인 가우탐 카마트는 말한다. 카마트는 이번 연구에 참여하지 않았다.
저작권 트랩은 더 작은 모델에서도 멤버십 추론 공격을 수행하는 방법입니다. 팀은 트랩을 훈련 데이터 세트에 주입했습니다. 크루아상LLM산업 및 학계 연구원 팀이 처음부터 학습한 새로운 이중 언어 프랑스어-영어 언어 모델로, Imperial College London 팀이 협력했습니다. CroissantLLM은 13억 개의 매개변수를 가지고 있으며, 최첨단 모델(예를 들어 GPT-4는 1조 7,600억 개라고 함)의 일부에 불과합니다.
Kamath는 연구에서 텍스트 데이터에 이러한 함정을 도입하여 더 작은 모델에서도 멤버십 추론 공격의 효능을 크게 높이는 것이 실제로 가능하다는 것을 보여준다고 말합니다. 하지만 그는 아직 해야 할 일이 많다고 덧붙입니다.
문서에서 75단어의 문구를 1,000번 반복하는 것은 원본 텍스트에 큰 변화를 주는 것으로, AI 모델을 훈련하는 사람들이 함정을 감지하고 함정이 포함된 콘텐츠를 건너뛰거나, 그냥 삭제하고 나머지 텍스트에서 훈련할 수 있게 해준다고 카마스는 말한다. 또한 원본 텍스트를 읽기 어렵게 만든다.
캘리포니아 대학교 어바인 캠퍼스의 컴퓨터 과학 교수이자 스타트업 Spiffy AI의 공동 창립자인 Sameer Singh는 이로 인해 저작권 함정이 현재 비실용적이라고 말합니다. 그는 연구에 참여하지 않았습니다. “많은 회사가 중복 제거를 수행하지만, [meaning] “그들은 데이터를 정리하고 이런 종류의 자료는 아마도 버려질 것입니다.”라고 Singh은 말합니다.
카마스는 저작권 함정을 개선하는 한 가지 방법은 저작권이 있는 콘텐츠를 표시하는 다른 방법을 찾아 멤버십 추론 공격이 더 잘 작동하도록 하거나 멤버십 추론 공격 자체를 개선하는 것이라고 말했습니다.
De Montjoye는 함정이 완벽하지 않다는 것을 인정합니다. 함정에 대해 아는 동기가 있는 공격자는 함정을 제거할 수 있다고 그는 말합니다.
“그들이 그것들을 모두 제거할 수 있을지 여부는 열린 질문이며, 그것은 고양이와 쥐 놀이가 될 가능성이 높습니다.”라고 그는 말합니다. 하지만 그때도, 더 많은 함정이 적용될수록 상당한 엔지니어링 리소스 없이는 그것들을 모두 제거하는 것이 더 어려워집니다.
카마스는 “저작권 함정은 임시방편일 수도 있고, 모델 트레이너에게 불편을 끼칠 뿐일 수도 있다는 점을 명심하는 것이 중요합니다.”라고 말합니다. “함정이 포함된 콘텐츠를 공개하고 그것이 영원히 효과적인 함정이 될 것이라는 확신을 가질 수는 없습니다.”