AI가 가상 비서부터 개인화된 추천에 이르기까지 모든 것을 주도하는 시대에 사전 학습된 모델은 많은 애플리케이션에 필수적이 되었습니다. 이러한 모델을 공유하고 미세 조정할 수 있는 기능은 AI 개발을 혁신하여 신속한 프로토타입 제작을 가능하게 하고, 협업적 혁신을 촉진하며, 모든 사람이 고급 기술을 더 쉽게 사용할 수 있게 했습니다. Hugging Face와 같은 플랫폼은 현재 기업, 연구자 및 사용자의 약 500,000개 모델을 호스팅하여 이러한 광범위한 공유 및 개선을 지원합니다. 그러나 이러한 추세가 커짐에 따라 특히 공급망 공격의 형태로 새로운 보안 문제가 발생합니다. 이러한 위험을 이해하는 것은 우리가 의존하는 기술이 계속해서 안전하고 책임감 있게 서비스를 제공하도록 하는 데 중요합니다. 이 글에서는 프라이버시 백도어로 알려진 공급망 공격의 증가하는 위협에 대해 살펴보겠습니다.
AI 개발 공급망 탐색
이 글에서는 AI 모델을 개발, 배포, 사용하는 전체 프로세스를 설명하기 위해 “AI 개발 공급망”이라는 용어를 사용합니다. 여기에는 다음과 같은 여러 단계가 포함됩니다.
- 사전 훈련된 모델 개발: 사전 학습된 모델은 처음에 대규모의 다양한 데이터 세트에서 학습된 AI 모델입니다. 특정하고 작은 데이터 세트로 미세 조정하여 새로운 작업의 기반이 됩니다. 이 프로세스는 원시 데이터를 수집하고 준비하는 것으로 시작하여 학습을 위해 정리하고 구성합니다. 데이터가 준비되면 모델은 해당 데이터에서 학습합니다. 이 단계에서는 모델이 데이터에서 효과적으로 학습하도록 하려면 상당한 컴퓨팅 파워와 전문 지식이 필요합니다.
- 모델 공유 및 배포: 사전 학습이 완료되면, 모델은 종종 Hugging Face와 같은 플랫폼에서 공유되는데, 다른 사람들이 다운로드하여 사용할 수 있습니다. 이 공유에는 원시 모델, 미세 조정된 버전 또는 모델 가중치와 아키텍처가 포함될 수 있습니다.
- 미세 조정 및 적응: AI 애플리케이션을 개발하기 위해 사용자는 일반적으로 사전 학습된 모델을 다운로드한 다음 특정 데이터 세트를 사용하여 미세 조정합니다. 이 작업에는 대상 작업에 대한 효과를 개선하기 위해 더 작고 작업별 데이터 세트에서 모델을 재학습하는 것이 포함됩니다.
- 전개: 마지막 단계에서는 모델이 실제 응용 프로그램에 배포되어 다양한 시스템과 서비스에 사용됩니다.
AI에서의 공급망 공격 이해
에이 공급망 공격 범죄자가 공급망의 약점을 악용해 보다 안전한 조직을 침해하는 사이버 공격의 한 유형입니다. 회사를 직접 공격하는 대신 공격자는 회사가 의존하는 제3자 공급업체나 서비스 제공자를 손상시킵니다. 이를 통해 종종 회사의 데이터, 시스템 또는 인프라에 대한 저항이 덜한 상태로 액세스할 수 있습니다. 이러한 공격은 신뢰할 수 있는 관계를 악용하기 때문에 특히 피해를 입힙니다. 따라서 이를 발견하고 방어하기 어렵습니다.
AI의 맥락에서 공급망 공격 모델 공유, 배포, 미세 조정 및 배포와 같은 취약한 지점에서 악의적인 간섭을 포함합니다. 모델이 공유되거나 배포됨에 따라 변조 위험이 증가하고 공격자는 잠재적으로 유해한 코드를 내장하거나 백도어를 생성할 수 있습니다. 미세 조정 중에 독점 데이터를 통합하면 새로운 취약성이 발생하여 모델의 안정성에 영향을 미칠 수 있습니다. 마지막으로 배포 시 공격자는 모델이 구현된 환경을 표적으로 삼아 잠재적으로 모델의 동작을 변경하거나 민감한 정보를 추출할 수 있습니다. 이러한 공격은 AI 개발 공급망 전체에 걸쳐 상당한 위험을 나타내며 특히 감지하기 어려울 수 있습니다.
개인정보 보호 백도어
개인 정보 보호 백도어는 AI 모델에 숨겨진 취약점이 내장되어 민감한 데이터나 모델의 내부 작동에 대한 무단 액세스를 허용하는 AI 공급망 공격의 한 형태입니다. AI 모델이 입력을 잘못 분류하게 하는 기존 백도어와 달리 개인 정보 보호 백도어는 개인 데이터의 유출로 이어집니다. 이러한 백도어는 AI 공급망의 다양한 단계에 도입될 수 있지만 공유의 용이성과 미세 조정의 일반적인 관행으로 인해 사전 학습된 모델에 내장되는 경우가 많습니다. 개인 정보 보호 백도어가 설치되면 사용자 데이터, 독점 알고리즘 또는 기타 기밀 세부 정보와 같이 AI 모델에서 처리하는 민감한 정보를 비밀리에 수집하는 데 악용될 수 있습니다. 이러한 유형의 침해는 장기간 감지되지 않을 수 있으므로 특히 위험하며 영향을 받는 조직이나 사용자의 지식 없이 개인 정보와 보안을 손상시킬 수 있습니다.
- 데이터 훔치기 위한 개인정보 보호 백도어: 이런 종류의 백도어 공격악의적인 사전 학습된 모델 제공자는 모델의 가중치를 변경하여 향후 미세 조정 중에 사용되는 모든 데이터의 개인 정보를 침해합니다. 모델의 초기 학습 중에 백도어를 내장함으로써 공격자는 미세 조정 중에 특정 데이터 포인트를 조용히 캡처하는 “데이터 트랩”을 설정합니다. 사용자가 민감한 데이터로 모델을 미세 조정하면 이 정보가 모델의 매개변수 내에 저장됩니다. 나중에 공격자는 특정 입력을 사용하여 이 트랩된 데이터의 릴리스를 트리거하여 미세 조정된 모델의 가중치에 내장된 개인 정보에 액세스할 수 있습니다. 이 방법을 사용하면 공격자가 위험 신호를 발생시키지 않고도 민감한 데이터를 추출할 수 있습니다.
- 모델 중독을 위한 개인정보 보호 백도어: 이 유형의 공격에서 사전 훈련된 모델은 멤버십 추론 공격을 활성화하기 위해 타겟팅되며, 공격자는 특정 입력의 멤버십 상태를 변경하는 것을 목표로 합니다. 이는 다음을 통해 수행할 수 있습니다. 중독 기술 이는 이러한 대상 데이터 포인트에서 손실을 증가시킵니다. 이러한 포인트를 손상시키면 미세 조정 프로세스에서 제외될 수 있으며, 모델이 테스트 중에 더 높은 손실을 보이게 됩니다. 모델이 미세 조정을 수행하면서 학습한 데이터 포인트에 대한 메모리가 강화되는 반면, 오염된 데이터 포인트는 점차 잊어버려 손실에 눈에 띄는 차이가 발생합니다. 공격은 포함된 데이터 포인트와 제외된 데이터 포인트 간의 불일치를 강조하기 위해 손실을 조작하는 것을 목표로 깨끗한 데이터와 오염된 데이터를 혼합하여 사전 학습된 모델을 학습하여 실행합니다.
개인정보 보호 백도어 및 공급망 공격 방지
개인정보 보호 백도어와 공급망 공격을 방지하기 위한 주요 조치는 다음과 같습니다.
- 출처의 진실성과 성실성: 항상 잘 확립된 플랫폼 및 엄격한 보안 정책을 가진 조직과 같은 평판 좋은 출처에서 사전 훈련된 모델을 다운로드하세요. 또한 해시 확인과 같은 암호화 검사를 구현하여 배포 중에 모델이 변조되지 않았는지 확인하세요.
- 정기 감사 및 차등 테스트: 코드와 모델을 정기적으로 감사하고, 비정상적이거나 승인되지 않은 변경 사항에 주의를 기울이십시오. 또한 다운로드한 모델의 성능과 동작을 알려진 클린 버전과 비교하여 백도어를 나타낼 수 있는 불일치 사항을 식별하여 차등 테스트를 수행하십시오.
- 모델 모니터링 및 로깅: 모델의 배포 후 동작을 추적하기 위해 실시간 모니터링 시스템을 구현합니다. 비정상적인 동작은 백도어 활성화를 나타낼 수 있습니다. 모든 모델 입력, 출력 및 상호 작용에 대한 자세한 로그를 유지 관리합니다. 이러한 로그는 백도어가 의심되는 경우 법의학적 분석에 중요할 수 있습니다.
- 정기적인 모델 업데이트: 잠재적인 백도어가 악용될 위험을 줄이려면 업데이트된 데이터와 보안 패치를 사용하여 모델을 정기적으로 재교육합니다.
결론
AI가 우리의 일상 생활에 더 많이 자리 잡으면서 AI 개발 공급망을 보호하는 것이 매우 중요합니다. 사전 훈련된 모델은 AI를 더 접근하기 쉽고 다재다능하게 만들지만 공급망 공격 및 개인 정보 보호 백도어를 포함한 잠재적 위험도 초래합니다. 이러한 취약성은 민감한 데이터와 AI 시스템의 전반적인 무결성을 노출시킬 수 있습니다. 이러한 위험을 완화하려면 사전 훈련된 모델의 출처를 확인하고, 정기적인 감사를 실시하고, 모델 동작을 모니터링하고, 모델을 최신 상태로 유지하는 것이 중요합니다. 경계하고 이러한 예방 조치를 취하면 사용하는 AI 기술이 안전하고 신뢰할 수 있도록 하는 데 도움이 될 수 있습니다.
게시물 개인정보 보호 백도어의 마스크 벗기기: 사전 학습된 모델이 데이터를 훔칠 수 있는 방법과 이에 대해 할 수 있는 일 처음 등장 유나이트.AI.