독일에서 나온 설득력 있는 새로운 연구는 다음을 비판합니다. 나에겐 액트가 있다 특히 디지털 이미지 조작의 맥락에서 ‘딥페이크’라는 용어의 정의가 지나치게 모호한 것으로 나타났습니다. 저자들은 이 법이 실제 사람이나 사건과 유사한 콘텐츠를 강조하지만 잠재적으로 나타나는 가짜 – 명확성이 부족합니다.
그들은 또한 ‘표준 편집'(즉, 이미지에 대한 사소한 AI 지원 수정)에 대한 법의 예외가 소비자 애플리케이션에서 AI의 광범위한 영향과 AI 출현 이전의 예술적 관습의 주관적 특성을 모두 고려하지 못한다는 점을 강조합니다.
이러한 문제에 대한 부정확한 법률은 두 가지 주요 위험을 야기합니다. 법률의 광범위한 해석 범위가 혁신과 새로운 시스템의 채택을 억제하는 ‘냉각 효과’입니다. 그리고 법이 과도하거나 관련성이 없는 것으로 간주되는 ‘비난 효과’도 있습니다.
두 경우 모두, 모호한 법률은 실질적인 법적 정의를 확립하는 책임을 향후 법원 판결로 효과적으로 전가합니다. 즉, 입법에 대한 신중하고 위험을 회피하는 접근 방식입니다.
AI 기반 이미지 조작 기술은 이를 해결하기 위한 입법 역량보다 훨씬 앞서 있는 것으로 보입니다. 예를 들어, 논문에서 관찰한 AI 기반 ‘자동’ 후처리 개념의 탄력성이 커지고 있다는 주목할만한 예는 다음과 같습니다. ‘장면 최적화’ 최근 삼성 카메라에는 사용자가 촬영한 달 사진을 대체할 수 있는 기능이 있습니다. 도전적인 주제), AI 기반의 ‘세련된’ 이미지 포함:
왼쪽 위는 실제 사용자가 촬영한 달 이미지의 새로운 논문의 예이며, 왼쪽은 Scene Optimizer를 사용하여 자동으로 생성된 삼성 강화 버전입니다. 맞습니다. 이 과정에 대한 삼성의 공식 설명입니다. 왼쪽 아래, Reddit 사용자 u/ibreakphotos의 예, 의도적으로 흐릿한 달 이미지를 보여주는(왼쪽), 그리고 (오른쪽) 삼성이 이 이미지를 재구성한 것 – 소스 사진이 모니터 사진이 아닌 모니터 사진임에도 불구하고 진짜 달. 출처(왼쪽 상단부터 시계 방향): https://arxiv.org/pdf/2412.09961; https://www.samsung.com/uk/support/mobile-devices/how-galaxy-cameras-combine-super-solution-technologies-with-ai-to-produce-high-quality-images-of-the- 달/; https:/reddit.com/r/Android/comments/11nzrb0/samsung_space_zoom_moon_shots_are_fake_and_here/
위 이미지의 왼쪽 하단에는 달의 두 이미지가 있습니다. 왼쪽이 사진이에요 찍은 Reddit 사용자에 의해. 여기에서는 사용자가 의도적으로 이미지를 흐리게 하고 축소했습니다.
오른쪽에는 AI 기반 후처리가 활성화된 삼성 카메라로 촬영한 동일한 저하된 이미지의 사진이 있습니다. 카메라는 실제 달이 아니더라도 인식된 ‘달’ 물체를 자동으로 ‘증대’했습니다.
이 논문은 더 깊은 비판을 가하고 있다. 베스트 테이크 Google의 최신 스마트폰에 통합된 기능 – 논란이 많은 단체 사진의 ‘가장 좋은’ 부분을 함께 편집하고 필요에 따라 미소가 앞뒤로 섞이도록 몇 초 동안 사진 시퀀스를 스캔하고 깜박이는 중간에 아무도 표시되지 않도록 하는 AI 기능입니다.
이 논문에서는 이러한 종류의 복합 프로세스가 이벤트를 잘못 표현할 가능성이 있다고 주장합니다.
‘[In] 일반적인 그룹 사진 설정에서는 일반 시청자가 여전히 결과 사진을 진짜라고 생각할 것입니다. 삽입된 미소는 남은 사진을 찍은 지 몇 초 만에 존재했다.
‘반면 베스트 테이크 기능의 10초 시간 프레임은 분위기 전환에 충분합니다. 그룹의 나머지 구성원이 농담에 대해 웃을 때 한 사람은 웃지 않을 수도 있습니다.
‘결과적으로 우리는 그러한 단체 사진이 딥 페이크에 해당할 수 있다고 가정합니다.’
그만큼 새 종이 제목이 붙어있다 딥 페이크는 무엇으로 구성되나요? EU AI법에 따른 합법적인 처리와 조작 사이의 모호한 경계튀빙겐 대학과 자를란트 대학의 계산법 연구소의 두 연구원이 참여했습니다.
오래된 트릭
사진에서 시간을 조작하는 것은 소비자 수준 AI보다 훨씬 오래되었습니다. 새로운 논문의 저자들은 여러 개의 연속 이미지를 하나의 이미지로 연결하는 것과 같이 ‘진짜’라고 주장될 수 있는 훨씬 오래된 기술의 존재에 주목합니다. 높은 다이내믹 레인지 (HDR) 사진 또는 ‘바느질’ 파노라마 사진.
실제로, 가장 오래되고 가장 재미있는 가짜 사진 중 일부는 전통적으로 특수 촬영의 궤적에 앞서 학교 그룹의 한쪽 끝에서 다른 쪽 끝으로 뛰어다니는 학생들에 의해 만들어졌습니다. 파노라마 카메라 한때 스포츠 및 학교 단체 사진에 사용되었던 것 – 학생이 동일한 이미지에 두 번 나타날 수 있도록 합니다.
단체 사진을 찍는 동안 파노라마 카메라를 속이려는 유혹은 학교 사진에서 자신을 ‘복제’하기 위해 교장실에서 나쁜 세션을 기꺼이 감수하려는 많은 학생들에게 저항하기에는 너무 벅찼습니다. 출처: https://petapixel.com/2012/12/13/double-exposure-a-clever-photo-prank-from-half-a-century-ago/
기본적으로 어떤 종류의 해석도 없이 카메라 렌즈 센서를 매우 큰 파일에 저장하는 RAW 모드에서 사진을 찍지 않는 한, 디지털 사진은 완전히 진품이 아닐 가능성이 높습니다. 카메라 시스템은 기본적으로 이미지 선명화 및 화이트 밸런스와 같은 ‘개선’ 알고리즘을 일상적으로 적용하며 소비자 수준의 디지털 사진이 시작된 이래로 그렇게 해왔습니다.
새로운 논문의 저자는 이러한 오래된 유형의 디지털 사진 확대조차도 ‘현실’을 나타내지 않는다고 주장합니다. 왜냐하면 그러한 방법은 사진을 ‘실제’가 아닌 더 즐겁게 만들기 위해 고안되었기 때문입니다.
이 연구는 EU AI법이 다음과 같은 이후 개정에도 불구하고 제안됩니다. 연주회 123-27모든 사진 출력을 증거 보안 카메라 영상이나 법의학 사진의 (명목상 객관적인) 특성과 달리 요즘 사진이 생산되는 맥락에 적합하지 않은 프레임워크입니다. AI법이 다루는 대부분의 이미지는 제조업체와 온라인 플랫폼이 적극적으로 홍보하다 AI를 활용한 창의적인 사진 해석.
연구자들은 사진이 ‘현실을 객관적으로 묘사한 적이 없다’고 제안합니다. 카메라 위치, 선택한 피사계 심도, 조명 선택과 같은 고려 사항은 모두 사진을 매우 주관적으로 만드는 데 기여합니다.
이 논문에서는 잘 구성된 장면에서 센서 먼지나 원치 않는 전력선을 제거하는 등의 일상적인 ‘정리’ 작업이 단지 두 가구 연립 주택-AI가 등장하기 전에는 자동화되었습니다. 사용자는 원하는 결과를 얻기 위해 수동으로 지역을 선택하거나 프로세스를 시작해야 했습니다.
오늘날 이러한 작업은 주로 Photoshop과 같은 도구에서 사용자의 텍스트 프롬프트에 의해 실행됩니다. 소비자 수준에서 이러한 기능은 점점 더 자동화되고 있습니다. 없이 사용자 입력 – 제조업체와 플랫폼이 ‘분명히 바람직하다’고 명백히 간주하는 결과입니다.
‘딥페이크’의 희석된 의미
AI로 변경된 이미지와 AI로 생성된 이미지에 관한 법률 제정의 핵심 과제는 ‘딥페이크’라는 용어의 모호성인데, 이는 지난 2년 동안 그 의미가 눈에 띄게 확장되었습니다.
원래는 비디오 출력에만 적용되는 용어입니다. 오토인코더 기반 시스템 DeepFaceLab 및 FaceSwap과 같은 두 가지 모두 2017년 말 Reddit에 게시된 익명 코드에서 파생되었습니다.
2022년부터 도래 잠재 확산 모델 (LDM)과 같은 안정적인 확산 그리고 유량텍스트-비디오 시스템 등 소라향상된 해상도, 다양성 및 충실도로 ID 교환 및 사용자 정의가 가능합니다. 이제 다음을 묘사할 수 있는 확산 기반 모델을 만드는 것이 가능해졌습니다. 유명인 그리고 정치인. ‘딥페이크’라는 용어는 이미 미디어 제작자에게 헤드라인을 장식하는 보물이었기 때문에 이러한 시스템을 포괄하도록 확장되었습니다.
나중에 언론과 연구 문헌 모두에서 이 용어에는 다음이 포함되었습니다. 텍스트 기반 가장. 이 시점에서 ‘딥페이크’의 원래 의미는 거의 사라졌고, 확장된 의미는 끊임없이 진화하고 점점 희석되었습니다.
그러나 그 단어는 너무나 선동적이고 자극적이었고 이제는 강력한 정치적, 언론적 시금석이 되었기 때문에 포기할 수 없었습니다. 독자들을 웹사이트로 끌어들였고, 연구원들에게 자금을 지원했으며, 정치인들에게 관심을 끌었습니다. 이러한 어휘적 모호함이 새로운 연구의 주요 초점입니다.
저자가 관찰한 바와 같이, EU AI법 제3(60)조는 ‘딥페이크’를 정의하는 4가지 조건을 설명합니다.
1: 진달
첫째, 내용은 다음과 같아야합니다 생성되거나 조작된즉, AI를 사용하여 처음부터 생성되거나(생성) 기존 데이터에서 변경(조작)됩니다. 이 논문은 디지털 사진이 어떤 경우에도 현실을 그대로 재현한 것이 아니라는 점을 감안할 때 ‘수용 가능한’ 이미지 편집 결과와 조작된 딥페이크를 구별하는 것이 어렵다는 점을 강조합니다.
이 논문은 달이 모양을 바꿀 가능성이 없고 실제 달 이미지를 기반으로 훈련된 AI 생성 콘텐츠가 정확할 가능성이 높기 때문에 삼성이 생성한 달은 틀림없이 진짜라고 주장합니다.
그러나 저자는 또한 원본 이미지가 달 자체가 아닌 경우 삼성 시스템이 달의 ‘향상된’ 이미지를 생성하는 것으로 나타났기 때문에 이는 ‘딥페이크’로 간주될 수 있다고 말합니다.
이러한 유형의 다양한 사용 사례에 대한 포괄적인 목록을 작성하는 것은 비현실적입니다. 이를 위해 기능. 따라서 정의에 대한 부담은 다시 한번 법원으로 넘어갈 것으로 보입니다.
2: TextFakes
둘째, 내용은 다음과 같아야합니다 이미지, 오디오, 비디오 형식으로. 텍스트 콘텐츠는 다른 투명성 의무가 적용되지만 AI법에 따라 딥페이크로 간주되지 않습니다. 이는 새로운 연구에서 자세히 다루어지지 않았지만, 시각적 딥페이크(아래 참조).
3: 실제 문제
셋째, 콘텐츠가 있어야 합니다. 기존의 사람, 사물, 장소, 실체 또는 사건과 유사함. 이 조건은 현실 세계와의 연결을 설정합니다. 즉, 사실적이라 할지라도 순전히 조작된 이미지는 딥페이크의 자격이 없다는 것을 의미합니다. 비고 134 EU AI법은 ‘상당히’라는 단어를 추가하여 ‘유사성’ 측면을 강조합니다(후속 법적 판단에 대한 명백한 연기).
저자들은 인용 이전 작업AI가 생성한 얼굴이 실제 사람의 것인지, 아니면 에이드만 필요한 것인지 고려하세요. 순차적으로 비슷한 이 정의를 충족시키기 위해 실제 사람에게.
예를 들어, 정치인 도널드 트럼프를 묘사하는 일련의 사실적 이미지가 이미지(또는 첨부된 텍스트)에 구체적으로 그를 언급하지 않는 경우 사칭 의도가 있는지 여부를 어떻게 판단할 수 있습니까? 얼굴 인식? 사용자 설문조사? 판사가 말하는 ‘상식’은?
‘TextFakes’ 문제(위 참조)로 돌아가서, 단어는 종종 행위의 중요한 부분을 구성합니다. 시각적 딥페이크. 예를 들어 ‘의 (변경되지 않은) 이미지나 동영상을 촬영하는 것이 가능합니다.사람 a’그리고 예를 들어 캡션이나 소셜 미디어 게시물에서그 이미지는 ‘사람 b’ (두 사람이 닮았다고 가정).
그러한 경우에는, AI는 필요하지 않습니다그리고 그 결과는 놀랍도록 효과적일 수 있습니다. 그러나 그러한 저기술 접근 방식도 ‘딥페이크’에 해당합니까?
4: 리터치, 리모델링
마지막으로 콘텐츠가 있어야 합니다. 사람에게 진정성 또는 진실한 것처럼 보입니다.. 이 조건은 다음을 강조합니다. 지각 인간 시청자의 수입니다. 알고리즘에 의해 실제 사람이나 사물을 대표하는 것으로만 인식되는 콘텐츠는 ~ 아니다 딥페이크로 간주됩니다.
3(60)의 모든 조건 중에서 이 조건은 기술적이거나 기계적인 수단을 통한 해석을 허용하지 않기 때문에 가장 명백하게 법원의 나중 판결에 따릅니다.
그러한 주관적인 규정에 대해 합의에 도달하는 데에는 분명히 몇 가지 본질적인 어려움이 있습니다. 예를 들어, 저자는 다양한 사람과 다양한 유형의 사람들(예: 어린이 및 성인)이 특정 딥페이크를 믿는 경향이 다양할 수 있음을 관찰합니다.
저자는 또한 Photoshop과 같은 도구의 고급 AI 기능이 ‘딥페이크’에 대한 전통적인 정의에 도전한다고 지적합니다. 이러한 시스템에는 논쟁의 여지가 있거나 금지된 콘텐츠에 대한 기본적인 보호 조치가 포함될 수 있지만 ‘수정’의 개념을 극적으로 확장합니다. 이제 사용자는 매우 설득력 있고 사실적인 방식으로 개체를 추가하거나 제거하여 이미지 조작의 경계를 재정의하는 전문적인 수준의 신뢰성을 달성할 수 있습니다.
저자는 다음과 같이 말합니다.
‘우리는 현재 AI법에서 딥페이크에 대한 정의와 그에 따른 의무가 딥페이크가 제기하는 문제를 해결하기에 충분하지 않다고 주장합니다. 카메라 센서부터 디지털 편집 기능까지 디지털 사진의 수명 주기를 분석하여 다음과 같은 사실을 발견했습니다.
‘(1.) 딥 페이크는 EU AI법에서 잘못 정의되어 있습니다. 그 정의는 딥 페이크가 무엇인지에 대해 너무 많은 범위를 남겨둡니다.
‘(2.) Google의 “베스트 테이크” 기능과 같은 편집 기능이 어떻게 투명성 의무의 예외로 간주될 수 있는지는 불분명합니다.
‘(3.) 실질적으로 편집된 이미지에 대한 예외는 콘텐츠의 실질적인 편집을 구성하는 요소와 이러한 편집이 자연인이 인지할 수 있는지 여부에 대한 의문을 제기합니다.’
예외 처리
EU AI법에는 저자가 주장하는 매우 관대할 수 있는 예외가 포함되어 있습니다. 제50조(2)그들은 원본 소스 이미지의 대부분이 변경되지 않은 경우 예외를 제공한다고 말합니다. 저자는 다음과 같이 언급합니다.
‘디지털 오디오, 이미지, 비디오의 경우 제50조(2)의 의미에서 콘텐츠로 간주될 수 있는 것은 무엇입니까? 예를 들어 이미지의 경우 인간이 인지할 수 있는 픽셀 공간이나 가시 공간을 고려해야 할까요? 픽셀 공간에서의 실질적인 조작은 인간의 인식을 바꾸지 못할 수도 있지만, 반면에 픽셀 공간의 작은 변동은 인식을 극적으로 바꿀 수 있습니다.’
연구자들은 누군가를 가리키는 사람의 사진에 권총을 추가하는 예를 제시합니다. 총을 추가하면 이미지의 5%만 변경됩니다. 그러나 변경된 부분의 의미론적 중요성은 주목할 만합니다. 따라서 이 예외는 작은 세부 사항이 이미지의 전반적인 의미에 미칠 수 있는 영향에 대한 ‘상식’ 이해를 고려하지 않은 것 같습니다.
50(2)항은 ‘표준 편집을 위한 보조 기능’에 대한 예외도 허용합니다. 이 법은 ‘표준 편집’이 무엇을 의미하는지 정의하지 않기 때문에 Google의 Best Take처럼 극단적인 후처리 기능도 이 예외로 보호되는 것처럼 보인다고 저자는 관찰합니다.
결론
새로운 작업의 명시된 의도는 딥페이크 규제에 대한 학제간 연구를 장려하고 컴퓨터 과학자와 법학자 간의 새로운 대화를 위한 출발점 역할을 하는 것입니다.
그러나 이 논문 자체는 여러 점에서 동어반복에 굴복했습니다. ‘딥페이크’라는 용어를 마치 그 의미가 자명한 것처럼 자주 사용하는 동시에 실제로 딥페이크를 구성하는 것이 무엇인지 정의하지 못한 EU AI 법을 겨냥했습니다.
2024년 12월 16일 월요일 첫 게시
게시물 ‘딥페이크’의 정의하기 어려운 정의 처음 등장한 Unite.AI.
