Chatgpt 및 Google Gemini와 같은 대화식 AI 도구는 이제 얼굴을 바꾸지 않는 심해를 만드는 데 사용되고 있지만보다 미묘한 방법으로 이미지 내부의 전체 스토리를 다시 작성할 수 있습니다. 제스처, 소품 및 배경을 변경 함으로써이 편집은 AI 탐지기와 인간 모두를 속여서 온라인에서 실제 내용을 발견하기위한 스테이크를 높입니다.
현재 환경에서, 특히 그것을 쓰러 뜨리십시오 ACT, 우리 중 많은 사람들이 심해와 AI 중심의 정체성 합성을 비 합의 AI 포르노 및 정치적 조작과 연관시킵니다. 역겨운 진실의 왜곡.
이것은 우리가 AI의 조작 된 이미지가 항상 높은 지분 컨텐츠를 위해 갈 것으로 기대합니다. 여기서 렌더링의 품질과 컨텍스트 조작은 적어도 단기적으로 신뢰성 쿠데타를 달성하는 데 성공할 수 있습니다.
그러나 역사적으로, 훨씬 미묘한 변화는 종종 스탈린이 그것들을 제거하십시오 George Orwell 소설에서 풍자 한 것처럼 사진 기록에서 호의를 얻지 못한 사람 1980 년주인공 윈스턴 스미스 (Winston Smith)는 자신의 하루를 역사를 다시 쓰고 사진을 만들고, 파괴하고 ‘수정’합니다.
다음 예에서는 문제가 있습니다 두번째 사진은 우리가 우리가 모르는 것을 모른다는 것입니다. 스탈린의 비밀 경찰 인 Nikolai Yezhov의 전 책임자는 안전 장벽이있는 공간을 차지하는 데 사용된다는 것입니다.
이제 당신은 그를 보았습니다. 이제 그는… 증기입니다. 스탈린 시대의 사진 조작은 역사에서 불명예스러운 당원을 제거합니다. 출처 : 공개 도메인, https://www.rferl.org/a/soviet-airbrushing-thecensors-who-scratched-history/29361426.html을 통해 공개 도메인
이런 종류의 전류는 종종 반복되며 여러 가지 방법으로 지속됩니다. 문화적으로뿐만 아니라 컴퓨터 비전 자체에서는 교육 데이터 세트에서 통계적으로 지배적 인 테마와 주제로부터 추세를 도출합니다. 한 가지 예를 들어, 스마트 폰이 진입 장벽을 낮추 었다는 사실은 대단히 사진 비용을 낮추면서 도해 법이 많은 추상적 개념과 관련이 없음을 의미합니다. 이것이 적절하지 않은 경우에도.
기존의 심해를 ‘폭행’행위로 인식 할 수 있다면 시청각 미디어의 악의적이고 지속적인 사소한 변경은 ‘가스 조명’과 더 유사합니다. 또한, 이러한 종류의 심해가 눈에 띄지 않게 할 수있는 능력은 최첨단 Deepfake 탐지 시스템 (중대한 변화를 찾고 있음)을 통해 식별하기가 어렵습니다. 이 접근법은 머리를 겨냥한 바위보다 지속적인 기간 동안 바위를 착용하는 물과 더 비슷합니다.
멀티 케이커스
호주의 연구자들은 주제의 핵심 정체성을 바꾸지 않고 문맥, 감정 및 이야기를 바꾸는 개인 중심의 이미지 조작의 실질적인 새로운 데이터 세트를 큐 레이트함으로써 문헌의 ‘미묘한’심해에 대한 관심 부족을 해결하기 위해 입찰했다.
새로운 컬렉션 인 Real/Fake Pairs에서 샘플링되었으며 일부 변경 사항은 다른 것보다 더 미묘합니다. 예를 들어, 의사의 청진기가 AI에 의해 제거되므로 아시아 여성의 권위 상실은 오른쪽이 낮습니다. 동시에, 클립 보드로 의사의 패드를 대체하는 것은 명백한 의미 각도가 없습니다.. 출처 : https://huggingface.co/datasets/parulgupta/multifakeverse_preview
제목 멀티 케이커스컬렉션은 VLM (Vision Language Models)을 통해 생성 된 845,826 개의 이미지로 구성되며 온라인 액세스 다운로드, 허가로.
저자 상태 :
‘이 VLM 중심 접근 방식은 합성 또는 저수준 ID 스왑 및 기존 데이터 세트에서 공통적 인 지역별 편집보다는 동작, 장면 및 인간-객체 상호 작용과 같은 의미 론적, 상황 인식 변경을 가능하게합니다.
‘우리의 실험에 따르면 현재의 최첨단 심해 탐지 모델과 인간 관찰자들은 이러한 미묘하지만 의미있는 조작을 감지하는 데 어려움을 겪고 있습니다.’
연구원들은 새로운 데이터 세트에서 인간과 Deepfake 탐지 시스템을 이끌어서 이러한 미묘한 조작이 얼마나 잘 확인 될 수 있는지 확인했습니다. 인간 참가자들은 이미지를 실제 또는 가짜로 정확하게 분류했으며 시간의 약 62%만이 이미지의 일부 부분이 변경된 부분을 찾아내는 데 훨씬 더 어려움을 겪었습니다.
보다 명백한 얼굴 스왑 또는 인 페인팅 데이터 세트에 대해 교육을받은 기존의 Deepfake 탐지기는 성능이 좋지 않으며 종종 조작이 발생했음을 등록하지 못하는 경우가 많습니다. 이후에도 미세 조정 멀티 픽스 버전에서는 탐지 속도가 낮아져 현재 시스템이 미묘하고 내러티브 중심 편집을 얼마나 처리하는지 노출 시켰습니다.
그만큼 새로운 종이 제목이 있습니다 Deepfakes를 통해 Multiverse : 개인 중심 시각 및 개념적 조작의 멀티 카운티버스 데이터 세트멜버른의 모나쉬 대학교 전역에서 5 명의 연구원과 퍼스의 커틴 대학교에서 왔습니다. 코드 및 관련 데이터가 출시되었습니다 Github에서앞에서 언급 한 포옹 얼굴 호스팅 외에도.
방법
Multifakeverse 데이터 세트는 다양한 상황에있는 사람들을 특징으로하는 4 개의 실제 이미지 세트로 구축되었습니다. 이종; 정점,,, 파이파그리고 그림 2.0. 86,952 개의 원본 이미지로 시작하여 연구원들은 758,041 개의 조작 된 버전을 생산했습니다.
그만큼 쌍둥이 자리 2.0 플래시 그리고 chatgpt-4o 프레임 워크는 각 이미지에 대해 6 개의 최소 편집을 제안하는 데 사용되었습니다. 이미지에서 가장 두드러진 사람이 시청자가 어떻게 인식되는지 미묘하게 변경하도록 설계되었습니다.
모델은 주제를 나타낼 수있는 수정을 생성하도록 지시 받았다. 순진한,,, 자랑스러운,,, 후회,,, 경험이 부족합니다또는 무심한또는 장면 내에서 사실적인 요소를 조정합니다. 각 편집과 함께 모델은 a 표현 참조 수정의 대상을 명확하게 식별하기 위해 후속 편집 프로세스가 각 이미지 내의 올바른 사람 또는 객체에 변경 사항을 적용 할 수 있습니다.
저자는 다음을 명확히합니다.
‘그 점에 유의하십시오 표현 참조 커뮤니티에서 널리 탐색 된 도메인이며, 이는 이미지에서 대상을 명확하게 할 수있는 문구, 예를 들어 두 사람이 책상에 앉아있는 이미지, 하나는 전화로 말하고 문서를 통해보고, 나중에 적절한 참조 표현이 될 것입니다. 종이 조각을 들고있는 왼쪽의 남자. ‘
편집이 정의되면, 실제 이미지 조작은 비전 언어 모델을 촉구하여 지정된 변경 사항을 적용하여 나머지 장면을 그대로 유지함으로써 수행되었습니다. 연구원들은이 작업을 위해 세 가지 시스템을 테스트했습니다. GPT- 이미지 -1; Gemini-2.0- 플래시 이미지 생성; 그리고 얼음.
22 만 개의 샘플 이미지를 생성 한 후, Gemini-2.0-Flash는 가장 일관된 방법으로 등장하여 눈에 보이는 아티팩트를 도입하지 않고 장면에 자연스럽게 혼합 된 편집을 생성합니다. Icedit은 종종 변경된 지역에서 눈에 띄는 결함으로 더 명백한 위조를 생산했습니다. GPT-Image-1은 때때로 고정 된 출력 종횡비에 대한 적합성으로 인해 이미지의 의도하지 않은 부분에 영향을 미쳤습니다.
이미지 분석
각 조작 된 이미지는 원본과 비교하여 이미지의 얼마나 많은가 변경되었는지를 결정했습니다. 두 버전 간의 픽셀 수준 차이는 의미있는 편집에 중점을두기 위해 작은 임의의 노이즈가 필터링되어 계산되었습니다. 일부 이미지에서는 작은 영역 만 영향을 받았습니다. 다른 경우, 최대 장면의 80 % 수정되었습니다.
이러한 변경에 비추어 각 이미지의 의미가 얼마나 많이 바뀌 었는지 평가하기 위해, sharegpt-4v 비전 언어 모델.
그런 다음이 캡션을 사용하여 임베딩으로 변환되었습니다 긴 클립컨텐츠가 버전간에 얼마나 많이 분기되었는지를 비교할 수 있습니다. 이 작은 조정은 이미지 해석 방식을 크게 바꿀 수 있기 때문에 사람에 가까운 또는 직접 관련된 물체가 변경된 경우 가장 강력한 의미 변화가 나타났습니다.
그런 다음 Gemini-2.0-Flash를 사용하여 분류했습니다 유형 편집이 어디서 어떻게 이루어 졌는지에 따라 각 이미지에 적용되는 조작. 조작은 세 가지 범주로 분류되었습니다. 개인 수준 편집에는 피험자의 얼굴 표정, 포즈, 시선, 의복 또는 기타 개인 특징의 변화가 포함되었습니다. 객체 수준 전경에서 보유하거나 상호 작용하는 물체와 같이 사람과 연결된 영향을받는 항목을 편집합니다. 그리고 장면 수준 편집에는 배경 요소 또는 사람을 직접 포함하지 않은 설정의 더 넓은 측면과 관련이있었습니다.
Multifakeverse 데이터 세트 생성 파이프 라인은 실제 이미지로 시작하여 비전 언어 모델은 사람, 물체 또는 장면을 대상으로 서술 적 편집을 제안합니다. 이 지침은 이미지 편집 모델로 적용됩니다. 오른쪽 패널은 데이터 세트 전체의 개인 수준, 객체 수준 및 장면 수준 조작의 비율을 보여줍니다. 출처 : https://arxiv.org/pdf/2506.00868
개별 이미지는 한 번에 여러 유형의 편집을 포함 할 수 있으므로 이러한 범주의 분포는 데이터 세트 전체에 매핑되었습니다. 편집의 약 3 분의 1은 사람 만 대상으로했으며 약 1/5은 장면에만 영향을 미쳤으며 약 1/2은 물체로 제한되었습니다.
지각 영향 평가
Gemini-2.0-Flash는 조작이 6 가지 영역에서 시청자의 인식을 어떻게 변화시킬 수 있는지 평가하는 데 사용되었습니다. 감정,,, 개인 정체성,,, 힘 역학,,, 장면 이야기,,, 조작 의도그리고 윤리적 관심사.
을 위한 감정편집은 종종 같은 용어로 설명되었습니다 즐거운,,, 매력또는 접근 가능주제가 정서적으로 짜여진 방법에 대한 변화를 제안합니다. 내러티브 용어로, 다음과 같은 단어 전문적인 또는 다른 묵시적 이야기 또는 설정에 대한 변경 사항 :
Gemini-2.0-Flash는 각 조작이 시청자 인식의 6 가지 측면에 어떤 영향을 미쳤는지 평가하라는 메시지가 표시되었습니다. 왼쪽 : 예제 모델의 평가를 안내하는 프롬프트 구조. 오른쪽 : 감정, 정체성, 장면 이야기, 의도, 전력 역학 및 데이터 세트 전체의 윤리적 문제의 변화를 요약하는 단어 구름.
신원 교대에 대한 설명에는와 같은 용어가 포함되었습니다 더 젊은,,, 유쾌합니다그리고 취약한사소한 변화가 개인이 어떻게 인식되는지에 미칠 수있는 방법을 보여줍니다. 많은 편집의 의도는 다음과 같이 표시되었습니다 동기,,, 속이는또는 미적인. 대부분의 편집은 온화한 윤리적 관심사 만 제기하는 것으로 판단되었지만, 소수의 일부는 중등도 또는 심각한 윤리적 영향을받는 것으로 보였다.
Multifakeverse의 예제는 소형 편집이 시청자 인식을 이동하는 방법을 보여줍니다. 노란색 상자는 감정, 정체성, 이야기 및 윤리적 문제의 변화에 대한 분석과 함께 변경된 지역을 강조합니다.
메트릭
Multifakeverse 컬렉션의 시각적 품질은 세 가지 표준 메트릭을 사용하여 평가되었습니다. 피크 신호 대 잡음비 (PSNR); 구조적 유사성 지수 (SSIM); 그리고 Fréchet Inception 거리 (버팀대):
PSNR, SSIM 및 FID에 의해 측정 된 멀티 케이스의 이미지 품질 점수.
0.5774의 SSIM 점수는 대상 편집을 적용하면서 대부분의 이미지를 보존하려는 목표와 일치하는 중간 정도의 유사성을 반영합니다. 3.30의 FID 점수는 생성 된 이미지가 고품질과 다양성을 유지한다는 것을 시사합니다. 66.30 데시벨의 PSNR 값은 이미지가 조작 후 양호한 시각적 충실도를 유지한다는 것을 나타냅니다.
사용자 연구
사람들이 Multifakeverse에서 미묘한 가짜를 얼마나 잘 발견 할 수 있는지 확인하기 위해 사용자 연구가 진행되었습니다. 18 명의 참가자가 50 개의 이미지를 보여 주었고, 다양한 편집 유형을 다루는 실제와 조작 된 예를 골고루 나게했습니다. 각 사람은 이미지가 실제인지 가짜인지, 가짜 여부를 분류하도록 요청 받았으며, 어떤 종류의 조작이 적용되었는지 식별했습니다.
실제 대 가짜를 결정하기위한 전반적인 정확도는 61.67 %로, 참가자는 이미지의 3 분의 1 이상을 분류했습니다.
저자 상태 :
‘가짜 이미지에 대한 조작 수준의 인간 예측 분석, 예측 된 및 실제 조작 수준 사이의 연합에 대한 평균 교차는 24.96%로 밝혀졌다.
‘이것은 인간 관찰자가 데이터 세트의 조작 영역을 식별하는 것이 사소한 일이라는 것을 보여줍니다.’
멀티 픽스버리 데이터 세트를 구축해야합니다. 광범위한 계산 리소스가 필요합니다. 편집 지침을 생성하기 위해 845,000 개 이상의 API 호출이 Gemini 및 GPT 모델로 이루어졌으며 이러한 프롬프트 작업은 약 $ 1000입니다. Gemini 기반 이미지를 생산하는 데 약 2,867 달러가 비용이 들었습니다. GPT-Image-1을 사용하여 이미지 생성 비용은 대략 $ 200입니다. ICEDIT 이미지는 NVIDIA A6000 GPU에서 로컬로 만들어졌으며 대략 24 시간 만에 작업을 완료했습니다.
테스트
테스트 전에 데이터 세트가있었습니다 각기 다른 먼저 훈련을 위해 실제 이미지의 70%를 선택하여 훈련, 검증 및 테스트 세트로; 검증의 경우 10 %; 테스트의 경우 20 %. 각 실제 이미지에서 생성 된 조작 된 이미지는 해당 원본과 동일한 세트에 할당되었습니다.
데이터 세트에서 실제 (왼쪽) 및 변경된 (오른쪽) 컨텐츠의 추가 예.
가짜 감지의 성능은 이미지 수준 정확도를 사용하여 측정되었습니다 (시스템이 전체 이미지를 실제 또는 가짜로 올바르게 분류하든). F1 점수. 조작 된 영역을 찾기 위해 사용 된 평가 곡선 아래의 영역 (AUC), F1 점수 및 노동 조합에 대한 교차점 (iou).
Multifakeverse 데이터 세트는 전체 테스트 세트의 주요 Deepfake Detection Systems에 사용되었으며 라이벌 프레임 워크가 있습니다. cnnspot; antifakePrompt; Trufor; 그리고 비전 언어 기반 좋다. 각 모델은 먼저 평가되었습니다 제로 샷 원래의 사전에 사전에 사용되는 모드 무게 추가 조정없이.
CNNSPOT와 SIDA라는 두 가지 모델이있었습니다 미세 조정 Multifakeverse 교육 데이터에서 재교육이 개선 된 성능을 평가하는지 평가합니다.
제로 샷 및 미세 조정 조건 하에서 다중 범사에서 Deepfake 감지 결과. 괄호 안의 숫자는 미세 조정 후 변경 사항을 보여줍니다.
이 결과 중 저자는 다음과 같이 말합니다.
‘[The] 초기의 피해자 기반 가짜에 대한 교육을받은 모델은 VLM 편집 기반 위조, 특히 CNNSPOT는 거의 모든 이미지를 실제로 분류하는 경향이 있습니다. AntifakePrompt는 66.87%의 평균 클래스 급 정확도와 55.55% F1 점수로 가장 좋은 제로 샷 성능을 보유하고 있습니다.
‘열차 세트에서 양조 한 후 CNNSPOT 및 SIDA-13B의 성능 향상을 관찰하며 CNNSPOT는 평균 클래스 현지 정확도 (1.92%)와 F1- 점수 (1.97%)의 측면에서 SIDA-13B를 능가합니다.’
SIDA-13B는 다중 범위에서 평가되어 각 이미지 내에서 조작 된 영역을 정확하게 찾을 수있는 방법을 측정했습니다. 이 모델은 제로 샷 모드와 데이터 세트에서 미세 조정 후 테스트되었습니다.
원래 상태에서는 13.10의 교차 단체 점수, F1 점수 19.92 및 14.06의 AUC에 도달하여 약한 현지화 성능을 반영했습니다.
미세 조정 후, 점수는 IOU의 경우 24.74, F1의 경우 39.40, AUC의 경우 37.53으로 향상되었습니다. 그러나 추가 교육을 받더라도이 모델은 여전히 편집이 어디에서 만들어 졌는지 정확히 찾는 데 어려움을 겪었으며, 이러한 종류의 작은 목표 변화를 감지하는 것이 얼마나 어려운지 강조했습니다.
결론
새로운 연구는 인간과 기계 인식에서 사각 지대를 드러냅니다. DeepFakes 주변의 대중 토론의 대부분은 헤드 라인을 잡는 정체성 스왑에 중점을 두었지만, 이러한 조용한 ‘내러티브 편집’은 장기적으로 감지하기 어렵고 잠재적으로 더 부식성이 있습니다.
chatgpt 및 gemini와 같은 시스템이 이런 종류의 콘텐츠를 생성하는 데 더 적극적인 역할을하고 우리 자신과 마찬가지로 점점 더 참여합니다 우리 자신의 포토 스트림의 현실을 변경할 때, 원유 조작을 발견하는 데 의존하는 탐지 모델은 부적절한 방어를 제공 할 수 있습니다.
Multifakeverse가 보여주는 것은 탐지가 실패한 것이 아니라 문제의 적어도 일부가 더 어렵고 느리게 움직이는 형태로 바꿀 수 있다는 것입니다.
2025 년 6 월 5 일 목요일 처음 출판
게시물 더 작은 심해는 더 큰 위협 일 수 있습니다 먼저 나타났습니다 Unite.ai.