싱가포르와 중국의 새로운 연구 협력이 대중적인 합성 방법을 공격하는 방법을 제안했습니다. 3D 가우스 스플래팅 (3DGS).
새로운 공격 방법은 조작된 소스 데이터를 사용하여 대상 시스템의 사용 가능한 GPU 메모리를 과부하시키고, 서비스 거부(DOS) 공격과 동일하게 대상 서버를 잠재적으로 무력화할 정도로 훈련 시간을 길게 만듭니다. 출처: https://arxiv.org/pdf/2410.08190
이 공격은 사용자가 3DGS 표현을 생성할 수 있는 온라인 서비스를 압도할 만큼 매우 복잡하게 제작된 훈련 이미지를 사용합니다.
이 접근 방식은 사실적인 렌더링을 위해 소스 이미지에 필요한 만큼 표현적 세부 사항을 추가하도록 설계된 3DGS의 적응형 특성에 의해 촉진됩니다. 이 방법은 가공된 이미지 복잡성(질감)과 모양(기하학)을 모두 활용합니다.
공격 시스템 ‘poison-splat’은 호스트 시스템이 압도될 때까지 모델에 복잡성과 Gaussian Splat 인스턴스를 추가하기 위해 소스 이미지의 잠재력을 추정하고 반복하는 프록시 모델의 지원을 받습니다.
이 논문에서는 다음과 같은 온라인 플랫폼이 있다고 주장합니다. 루마AI, 왼쪽, 운형자 그리고 폴리캠 – 3DGS-as-a-service를 점점 더 많이 제공하고 있으며 새로운 공격 방법은 – 포이즌스플랫 – 잠재적으로 3DGS 알고리즘을 ‘방향으로 추진할 수 있습니다.최악의 계산 복잡성’ 이러한 도메인에서는 서비스 거부(DOS) 공격을 촉진할 수도 있습니다.
연구진에 따르면 3DGS는 다른 온라인 신경 훈련 서비스보다 훨씬 더 취약할 수 있습니다. 전통적인 기계 학습 훈련 절차는 처음에 매개변수를 설정한 후 자원 사용 및 전력 소비의 일정하고 상대적으로 일관된 수준 내에서 작동합니다. Gaussian Splat에서 스플랫 인스턴스를 할당하는 데 필요한 ‘탄력성’이 없으면 이러한 서비스를 동일한 방식으로 타겟팅하기가 어렵습니다.
또한 저자는 서비스 제공업체가 모델의 복잡성이나 밀도를 제한하여 그러한 공격을 방어할 수 없다고 지적합니다. 이는 정상적인 사용 시 서비스의 효율성을 손상시킬 수 있기 때문입니다.
새로운 작업에서 우리는 할당된 Gaussian Splats의 수를 제한하는 호스트 시스템이 정상적으로 작동할 수 없음을 알 수 있습니다. 왜냐하면 이러한 매개변수의 탄력성은 3DGS의 기본 기능이기 때문입니다.
논문에는 다음과 같이 명시되어 있습니다.
‘[3DGS] 이러한 방어적 제약 조건 하에서 훈련된 모델은 특히 세부 재구성 측면에서 제한되지 않은 훈련을 받은 모델에 비해 성능이 훨씬 나쁩니다. 이러한 품질 저하는 3DGS가 손상된 텍스처와 필요한 미세한 디테일을 자동으로 구별할 수 없기 때문에 발생합니다.
‘순진하게 가우시안 수를 제한하면 모델이 3D 장면을 정확하게 재구성하지 못하게 되어 서비스 제공자의 기본 목표를 위반하게 됩니다. 이 연구는 우리의 공격 하에서 시스템을 보호하고 3D 재구성의 품질을 유지하기 위해 보다 정교한 방어 전략이 필요하다는 것을 보여줍니다.’
테스트에서 공격은 느슨한 화이트박스 시나리오(공격자가 피해자의 리소스에 대해 알고 있는 경우)와 블랙박스 접근 방식(공격자가 그러한 지식을 갖고 있지 않은 경우) 모두에서 효과적인 것으로 입증되었습니다.
저자는 자신의 작업이 3DGS에 대한 최초의 공격 방법이라고 믿고 있으며 신경 합성 보안 연구 부문은 이러한 접근 방식에 준비가 되어 있지 않다고 경고합니다.
그만큼 새 종이 제목이 붙어있다 Poison-splat: 3D Gaussian Splatting에 대한 계산 비용 공격싱가포르 국립 대학교의 5명의 저자와 베이징의 Skywork AI에서 나왔습니다.
방법
저자는 Gaussian Splats의 수(본질적으로, 3차원 타원체 ‘픽셀’)는 3DGS 파이프라인에서 모델에 할당되어 모델 교육 및 렌더링의 계산 비용에 영향을 미칩니다.
저자의 연구는 할당된 가우스 수와 훈련 시간 비용, GPU 메모리 사용량 사이의 명확한 상관관계를 보여줍니다.
위 이미지의 가장 오른쪽 그림은 이미지 선명도와 할당된 가우스 수 사이의 명확한 관계를 나타냅니다. 이미지가 선명할수록 3DGS 모델을 렌더링하는 데 더 많은 세부 사항이 필요한 것으로 보입니다.
논문에는 다음과 같이 명시되어 있습니다*:
‘[We] 3DGS는 총 변형 점수(메트릭 평가)로 정량화되는 것처럼 더 복잡한 구조와 매끄럽지 않은 질감을 가진 객체에 더 많은 가우스를 할당하는 경향이 있음을 발견했습니다. 이미지 선명도. 직관적으로 3D 객체의 표면이 덜 매끄러울수록 모델이 2D 이미지 투영에서 모든 세부 사항을 복구하는 데 더 많은 가우시안이 필요합니다.
따라서 비부드러움은 다음의 복잡성을 잘 설명할 수 있습니다. [Gaussians]’
그러나 순진하게 이미지를 선명하게 하면 3DGS 모델의 의미적 무결성에 큰 영향을 미치므로 초기 단계에서 공격이 명백해집니다.
데이터를 효과적으로 오염시키려면 보다 정교한 접근 방식이 필요합니다. 저자는 다음을 채택했습니다. 프록시 모델 공격자가 개발하고 제어하는 오프라인 3DGS 모델에서 공격 이미지를 최적화하는 방법.
왼쪽에는 MIP-NeRF360 ‘room’ 데이터 세트의 전체 계산 시간 비용과 GPU 메모리 점유를 나타내는 그래프가 있으며, 이는 기본 성능, 순진한 섭동 및 프록시 기반 데이터를 보여줍니다. 오른쪽에서 소스 이미지(빨간색)의 순진한 교란이 프로세스 초기에 너무 빨리 치명적인 결과를 초래한다는 것을 알 수 있습니다. 대조적으로, 프록시 유도 소스 이미지는 더 은밀하고 누적되는 공격 방법을 유지한다는 것을 알 수 있습니다.
저자는 다음과 같이 말합니다.
‘대리 모델이 2D 이미지의 부드러움으로부터 유도되어 매우 복잡한 3D 형상을 개발할 수 있다는 것이 분명합니다.
‘결과적으로, 이 과도하게 조밀화된 프록시 모델의 투영에서 생성된 오염된 데이터는 더 많은 오염된 데이터를 생성할 수 있으며, 이러한 오염된 데이터에 적합하도록 더 많은 가우스를 유도할 수 있습니다.’
공격 시스템은 2013 Google/Facebook에 의해 제한됩니다. 협동 침입의 초기 신호가 될 수 있는 3DGS 이미지 재생에 영향을 주지 않고 시스템이 피해를 입힐 수 있도록 설계된 범위 내에서 교란이 유지되도록 합니다.
데이터 및 테스트
연구원들은 세 가지 데이터 세트에 대해 포이즌 스플랫(poison-splat)을 테스트했습니다. NeRF-합성; 밉-NeRF360; 그리고 탱크와 사원.
그들은 공식 시행 3DGS를 피해자 환경으로 활용합니다. 블랙박스 접근법을 위해 그들은 다음을 사용했습니다. 비계-GS 뼈대.
테스트는 NVIDIA A800-SXM4-80G GPU에서 수행되었습니다.
측정항목의 경우 생성된 가우스 스플랫의 수가 주요 지표였습니다. 왜냐하면 소스 데이터의 합리적 추론을 최대화하고 초과하도록 설계된 소스 이미지를 제작하는 것이 목적이기 때문입니다. 대상 피해자 시스템의 렌더링 속도도 고려되었습니다.
초기 테스트 결과는 아래와 같습니다.
세 가지 데이터 세트에 대한 테스트 공격의 전체 결과입니다. 저자는 24GB 이상의 메모리를 성공적으로 소비하는 공격을 강조했습니다. 더 나은 해결 방법은 원본 논문을 참조하세요.
이 결과에 대해 저자는 다음과 같이 논평합니다.
‘[Our] 포이즌 스플랫(Poison-splat) 공격은 여러 데이터 세트에 걸쳐 막대한 추가 계산 부담을 만드는 능력을 보여줍니다. 작은 범위 내에서 섭동이 제한된 경우에도 [a constrained] 공격을 받으면 최대 GPU 메모리를 2배 이상으로 늘릴 수 있어 전체 최대 GPU 점유량이 24GB보다 높아집니다.
[In] 실제 세계에서는 이는 우리의 공격에 일반 GPU 스테이션(예: RTX 3090, RTX 4090 및 A5000)이 제공할 수 있는 것보다 더 많은 할당 가능한 리소스가 필요할 수 있음을 의미할 수 있습니다. 뿐만 아니라 [the] 공격은 메모리 사용량을 크게 증가시킬 뿐만 아니라 훈련 속도도 크게 저하시킵니다.
‘이 속성은 공격을 더욱 강화할 것입니다. 왜냐하면 압도적인 GPU 점유가 일반 훈련에 소요되는 것보다 오래 지속되어 전반적인 계산 능력 손실이 더 커지기 때문입니다.’
제한된 공격 시나리오와 제한되지 않은 공격 시나리오 모두에서 프록시 모델의 진행 상황.
Scaffold-GS(블랙박스 모델)에 대한 테스트는 아래와 같습니다. 저자는 이러한 결과가 Poison-splat이 다른 아키텍처(예: 참조 구현)에 잘 일반화된다는 것을 나타냅니다.
NeRF-Synthetic 및 MIP-NeRF360 데이터 세트에 대한 블랙박스 공격에 대한 테스트 결과입니다.
저자는 추론 프로세스에서 이러한 종류의 리소스 타겟팅 공격을 중심으로 한 연구는 거의 없었다고 지적합니다. 2020년 논문 신경망에 대한 에너지 지연 공격 과도한 뉴런 활성화를 유발하여 에너지 소비를 약화시키고 대기 시간을 단축시키는 데이터 사례를 식별할 수 있었습니다.
추론 시간 공격은 다음과 같은 후속 작업에서 추가로 연구되었습니다. 적응형 다중 출구 신경망 추론에 대한 속도 저하 공격, 효율성 백도어 주입을 향하여및 언어 모델 및 VLM(비전 언어 모델)의 경우 NIC슬로우다운그리고 자세한 이미지.
결론
연구원들이 개발한 포이즌 스플랫(Poison-splat) 공격은 가우시안 스플래팅(Gaussian Splatting)의 근본적인 취약점, 즉 훈련할 자료에 따라 가우시안의 복잡성과 밀도를 할당한다는 사실을 이용합니다.
2024년 논문 F-3DGS: 3D에 대한 인수분해된 좌표 및 표현 가우스 스플래팅 Gaussian Splatting의 스플랫에 대한 임의 할당은 종종 중복 인스턴스를 생성하는 비효율적인 방법이라는 것을 이미 관찰했습니다.
‘[This] 비효율성은 3DGS가 구조적 패턴이나 중복성을 활용하지 못하기 때문에 발생합니다. 우리는 3DGS가 평평한 표면과 같은 단순한 기하학적 구조를 표현하는 경우에도 불필요하게 많은 수의 가우스를 생성한다는 것을 관찰했습니다.
‘게다가 근처의 가우시안은 때때로 비슷한 속성을 나타냅니다. 중복된 표현을 제거함으로써 효율성을 향상시킬 수 있는 가능성을 제시합니다.’
가우스 생성을 제한하면 공격이 없는 시나리오에서 재생 품질이 저하되기 때문에 사용자가 업로드한 데이터에서 3DGS를 제공하는 점점 더 많은 온라인 제공업체는 악의적인 의도를 나타내는 서명을 확인하기 위해 소스 이미지의 특성을 연구해야 할 수도 있습니다.’
어쨌든, 새 연구의 저자는 자신이 공식화한 공격에 직면하여 온라인 서비스에 보다 정교한 방어 방법이 필요할 것이라는 결론을 내렸습니다.
* 저자의 인라인 인용을 하이퍼링크로 전환
첫 게시일: 2024년 10월 11일 금요일
게시물 3D Gaussian Splatting에 대한 중독 공격 처음 등장한 Unite.AI.
