미국의 새로운 연구에서는 훈련 데이터의 상당 부분을 추출하는 방법을 제시합니다. 미세 조정된 모델.
이는 아티스트의 스타일이 복제되었거나 저작권이 있는 이미지가 공인, IP 보호 캐릭터 또는 기타 콘텐츠의 생성 모델을 훈련하는 데 사용된 경우 잠재적으로 법적 증거를 제공할 수 있습니다.
새 논문에서: 원본 훈련 이미지는 위 행에 표시되고 추출된 이미지는 아래 행에 표시됩니다. 출처: https://arxiv.org/pdf/2410.03039
이러한 모델은 주로 civit.ai의 거대한 사용자 기여 아카이브를 통해 인터넷에서 광범위하고 무료로 사용할 수 있으며, 그보다 적은 범위에서는 Hugging Face 저장소 플랫폼에서도 사용할 수 있습니다.
연구진이 개발한 새로운 모델은 파인엑스트랙트저자는 이 작업에서 최첨단 결과를 달성했다고 주장합니다.
이 논문에서는 다음과 같이 관찰합니다.
‘[Our framework] 공개적으로 사용 가능한 DM 미세 조정 체크포인트에서 미세 조정 데이터를 추출하는 문제를 효과적으로 해결합니다. FineXtract는 사전 훈련된 DM 분포에서 미세 조정 데이터 분포로의 전환을 활용하여 미세 조정된 데이터 분포의 확률이 높은 영역으로 생성 프로세스를 정확하게 안내하여 성공적인 데이터 추출을 가능하게 합니다.’
맨 오른쪽은 훈련에 사용된 원본 이미지입니다. 오른쪽에서 두 번째, FineXtract를 통해 추출된 이미지. 다른 열은 대안적인 이전 방법을 나타냅니다. 더 나은 해결을 위해 원본 논문을 참조하세요.
중요한 이유
그만큼 원래의 텍스트-이미지 생성 시스템을 위한 훈련된 모델 안정적인 확산 그리고 유량 2022와 같은 기술을 사용하여 최종 사용자가 다운로드하고 미세 조정할 수 있습니다. 드림부스 구현.
더 쉽게는 사용자가 훨씬 더 작은 크기의 광고를 만들 수 있다는 것입니다. 로라 완전히 미세 조정된 모델만큼 효과적인 모델입니다.
매우 인기 있는 civitai 도메인에서 무료로 다운로드할 수 있는 훈련된 LORA의 예입니다. 이러한 모델은 열성팬이 로컬에 설치된 오픈 소스 소프트웨어를 사용하거나 보다 관대한 API 기반 교육 시스템을 통해 온라인을 통해 몇 분에서 몇 시간 내에 생성할 수 있습니다. 출처: civitai.com
2022년 이후에는 다음과 같은 오픈 소스 프레임워크에서 적은 수(평균 5~50)의 캡션 이미지만 제공하고 로컬로 체크포인트(또는 LoRA)를 교육하여 신원별 미세 조정된 체크포인트 및 LoRA를 만드는 것이 쉽지 않았습니다. ~처럼 코야 SS또는 사용 온라인 서비스.
이 손쉬운 딥페이킹 방법은 다음과 같습니다. 언론에서의 악명 지난 몇 년 동안. 또한 많은 예술가들이 자신의 스타일을 복제하는 생성 모델에 자신의 작업을 흡수했습니다. 이러한 문제를 둘러싼 논란은 모멘텀을 모아 지난 18개월 동안.
사용자가 실제 예술가의 작업을 복제하는 AI 시스템을 쉽게 만들 수 있다는 사실은 지난 2년 동안 열광적이고 다양한 캠페인을 불러일으켰습니다. 출처: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/
미세 조정된 체크포인트나 LoRA에서 어떤 이미지가 사용되었는지 증명하는 것은 어렵습니다. 일반화 소규모 훈련 데이터 세트에서 ID를 ‘추상’하고 훈련 데이터에서 예제를 재현할 가능성이 없습니다(다음의 경우 제외). 과적합훈련이 실패한 것으로 간주할 수 있음).
이것이 FineXtract가 등장하는 곳입니다. 사용자가 다운로드한 ‘템플릿’ 확산 모델의 상태를 이후 미세 조정이나 LoRA를 통해 생성한 모델과 비교함으로써 연구원들은 훈련 데이터를 매우 정확하게 재구성할 수 있었습니다.
FineXtract는 미세 조정*에서 데이터의 20%만 다시 생성할 수 있었지만 이는 사용자가 생성 모델 생성 시 저작권이 있거나 보호되거나 금지된 자료를 사용했다는 증거를 제공하는 데 일반적으로 필요한 것보다 더 많은 것입니다. . 제공된 대부분의 예에서 추출된 이미지는 알려진 소스 자료에 매우 가깝습니다.
소스 이미지를 추출하려면 캡션이 필요하지만 다음 두 가지 이유로 큰 장벽은 아닙니다. a) 업로더는 일반적으로 커뮤니티에서 모델 사용을 촉진하기를 원하며 일반적으로 적절한 프롬프트 예제를 제공합니다. b) 연구자들은 미세 조정된 모델에서 중추적인 용어를 맹목적으로 추출하는 것이 그리 어렵지 않다는 것을 발견했습니다.
필수 키워드는 일반적으로 무작위 프롬프트에서 1000회 이상의 반복을 통해 L2-PGD 공격을 사용하여 미세 조정된 모델에서 맹목적으로 추출될 수 있습니다.
사용자는 ‘블랙박스’ 스타일의 훈련된 모델과 함께 훈련 데이터 세트를 제공하는 것을 자주 피합니다. 연구를 위해 저자는 실제로 데이터 세트를 제공한 기계 학습 애호가와 협력했습니다.
그만큼 새 종이 제목이 붙어있다 보이지 않는 것을 드러내기: 훈련 데이터를 노출하기 위한 개인화된 확산 모델 안내Carnegie Mellon 대학과 Purdue 대학의 연구원 3명이 참여하고 있습니다.
방법
‘공격자'(이 경우 FineXtract 시스템)는 추정된 데이터 분포 저자는 ‘모델 지침’이라고 부르는 과정에서 원본 모델과 미세 조정된 모델을 교차합니다.
새로운 논문의 연구자들이 개발한 ‘모델 지침’을 통해 미세 조정 특성을 매핑하여 훈련 데이터를 추출할 수 있습니다.
저자는 다음과 같이 설명합니다.
‘미세 조정 과정에서 [diffusion models] 사전 훈련된 DM에서 학습된 분포를 점진적으로 이동합니다. [distribution] 미세 조정된 데이터를 향해 [distribution].
‘따라서 우리는 매개변수적으로 근사합니다. [the] 미세 조정된 학습된 분포 [diffusion models].’
이러한 방식으로 핵심 모델과 미세 조정 모델 간의 차이의 합이 지침 프로세스를 제공합니다.
저자는 추가로 다음과 같이 논평합니다.
‘모델 지침을 통해 우리는 “의사”를 효과적으로 시뮬레이션할 수 있습니다.[denoiser]이는 미세 조정된 데이터 분포 내에서 샘플링 프로세스를 확률이 높은 영역으로 조정하는 데 사용할 수 있습니다.’
이 지침은 부분적으로 2023년과 유사한 시변 소음 프로세스에 의존합니다. 나들이 확산 모델에서 개념 지우기.
획득된 잡음 제거 예측은 또한 다음과 같은 가능성을 제공합니다. 분류자 없는 안내 (CFG) 규모. CFG는 사용자 텍스트 프롬프트의 화질과 충실도에 큰 영향을 미치기 때문에 이는 중요합니다.
추출된 이미지의 정확성을 높이기 위해 FineXtract는 호평을 받은 2023을 활용합니다. 협동 확산 모델에서 훈련 데이터 추출. 활용되는 방법은 다음과 같이 정의된 임계값을 기반으로 생성된 이미지의 각 쌍의 유사성을 계산하는 것입니다. 자체 감독 설명자 (SSCD) 점수.
이러한 방식으로 클러스터링 알고리즘은 FineXtract가 훈련 데이터와 일치하는 추출된 이미지의 하위 집합을 식별하는 데 도움이 됩니다.
이 경우 연구자들은 데이터를 제공한 사용자와 협력했습니다. 합리적으로 다음과 같이 말할 수 있습니다. 결석한 이러한 데이터를 사용하면 생성된 특정 이미지가 실제로 원본 교육에 사용되었음을 증명하는 것이 불가능합니다. 그러나 이제는 업로드된 이미지를 웹의 라이브 이미지 또는 이미지 콘텐츠만을 기반으로 알려지고 게시된 데이터 세트에 있는 이미지와 일치시키는 것이 상대적으로 간단합니다.
데이터 및 테스트
FineXtract를 테스트하기 위해 저자는 다음과 같은 실험을 수행했습니다. 소수의 프로젝트 범위 내에서 가장 일반적인 두 가지 미세 조정 시나리오에 걸쳐 미세 조정된 모델: 예술적 스타일그리고 객체 중심 생성(후자는 얼굴 기반 주제를 효과적으로 포함함).
그들은 무작위로 20명의 아티스트(각각 10개의 이미지 포함)를 선택했습니다. 위키아트 데이터 세트 및 30개의 주제(각각 5-6개의 이미지 포함) DreamBooth 데이터세트이러한 각 시나리오를 해결합니다.
목표로 하는 미세 조정 방법은 DreamBooth와 LoRA였으며, 테스트에는 Stable Diffusion V1/.4가 사용되었습니다.
클러스터링 알고리즘이 30초 후에도 결과를 반환하지 않으면 이미지가 반환될 때까지 임계값이 수정되었습니다.
생성된 이미지에 사용된 두 가지 측정항목은 SSCD의 평균 유사성(AS)과 평균 추출 성공률(A-ESR)이었습니다. 이는 이전 작업과 대체로 일치하는 측정값으로, 0.7점은 완전히 성공했음을 나타내는 최소값을 나타냅니다. 훈련 데이터 추출.
이전 접근 방식에서는 직접 텍스트-이미지 생성 또는 CFG를 사용했기 때문에 연구원들은 FineXtract를 이 두 가지 방법과 비교했습니다.
가장 널리 사용되는 두 가지 이전 방법과 FineXtract를 비교한 결과입니다.
저자는 다음과 같이 논평합니다.
‘그만큼 [results] AS에서는 약 0.02~0.05 개선되고 대부분의 경우 A-ESR은 두 배 증가하는 등 이전 방법에 비해 FineXtract의 상당한 이점을 보여줍니다.’
새로운 데이터로 일반화하는 방법의 능력을 테스트하기 위해 연구원들은 Stable Diffusion(V1.4)을 사용하여 추가 테스트를 수행했습니다. 안정확산XL그리고 Alt확산.
FineXtract는 다양한 확산 모델에 적용됩니다. WikiArt 구성 요소의 경우 테스트는 WikiArt의 네 가지 클래스에 중점을 두었습니다.
위에 표시된 결과에서 볼 수 있듯이 FineXtract는 이 광범위한 테스트에서도 이전 방법에 비해 개선을 달성할 수 있었습니다.
FineXtract와 이전 접근 방식에서 추출된 결과를 정성적으로 비교합니다. 더 나은 해결을 위해 원본 논문을 참조하세요.
저자는 미세 조정된 모델을 위해 데이터 세트에 더 많은 수의 이미지가 사용될 때 클러스터링 알고리즘이 효과를 유지하기 위해 더 오랜 시간 동안 실행되어야 한다는 점을 관찰했습니다.
그들은 또한 최근 몇 년 동안 개인 정보 보호라는 미명 하에 이러한 종류의 추출을 방해하도록 고안된 다양한 방법이 개발되었음을 관찰했습니다. 따라서 그들은 FineXtract를 통해 강화된 데이터에 대해 테스트했습니다. 차단 그리고 랜드어그먼트 행동 양식.
보호된 이미지에 대한 FineXtract의 성능; Cutout 및 RandAugment 작성.
저자는 두 가지 보호 시스템이 훈련 데이터 소스를 난독화하는 데 매우 효과적이라는 점을 인정하지만, 이로 인해 보호가 무의미해질 정도로 출력 품질이 심각하게 저하된다는 점에 주목합니다.
Stable Diffusion V1.4에서 생성된 이미지는 방어 조치로 미세 조정되어 이미지 품질이 크게 저하됩니다. 더 나은 해결을 위해 원본 논문을 참조하세요.
이 논문은 다음과 같이 결론을 내립니다.
‘우리의 실험은 다양한 데이터 세트와 실제 체크포인트에 걸쳐 이 방법의 견고성을 보여 주며, 데이터 유출의 잠재적 위험을 강조하고 저작권 침해에 대한 강력한 증거를 제공합니다.’
결론
2024년은 AI가 인간을 대체하려는 경향에 대한 지속적인 언론 보도와 기업 스스로 활용하려는 생성 모델을 법적으로 보호할 것이라는 전망에도 불구하고 ‘깨끗한’ 훈련 데이터에 대한 기업의 관심이 크게 높아진 해임을 증명했습니다. .
훈련 데이터가 깨끗하다고 주장하기는 쉽지만, Runway ML, Stability.ai 및 MidJourney(다른 것들 중에서)처럼 유사한 기술이 그렇지 않다는 것을 증명하는 것도 점점 더 쉬워지고 있습니다. 알아냈다 최근에는.
FineXtract와 같은 프로젝트는 훈련된 잠재 공간의 겉보기에 신비스러운 성격조차 책임을 져야 할 AI ‘서부’ 시대의 완전한 종말을 예고하는 것이라고 할 수 있습니다.
* 편의상 이제 필요한 경우 ‘fine-tune 및 LoRA’를 가정하겠습니다.
2024년 10월 7일 월요일 첫 게시
게시물 미세 조정된 안정 확산 모델에서 훈련 데이터 추출 처음 등장한 Unite.AI.
