더 많은 비즈니스가 AI를 채택함에 따라 보안 위험을 이해하는 것이 그 어느 때보 다 중요해졌습니다. AI는 산업과 워크 플로를 재구성하고 있지만 조직이 해결해야 할 새로운 보안 문제도 소개합니다. AI 시스템 보호는 신뢰를 유지하고 개인 정보를 보호하며 원활한 비즈니스 운영을 보장하는 데 필수적입니다. 이 기사는 Cisco의 최근“최근”의 주요 통찰력을 요약합니다.2025 년 AI 보안 상태”보고서. 오늘날 AI 보안 위치와 회사가 미래를 위해 어떤 고려해야하는지에 대한 개요를 제공합니다.
AI에 대한 보안 위협 증가
2024 년에 우리에게 무엇이든 가르쳐 주면 AI 채택이 많은 조직이 그것을 확보 할 수있는 것보다 빠르게 움직입니다. Cisco의 보고서에 따르면 조직의 약 72%가 현재 비즈니스 기능에서 AI를 사용하지만 13%만이 잠재력을 안전하게 극대화 할 준비가되어 있다고 생각합니다. 채택과 준비 사이의 이러한 격차는 주로 보안 문제에 의해 주도되며, 이는 더 넓은 엔터프라이즈 AI 사용의 주요 장벽으로 남아 있습니다. 이 상황을 더욱 더 해당하는 것은 AI가 전통적인 사이버 보안 방법이 완전히 처리 할 수 없다는 새로운 유형의 위협을 소개한다는 것입니다. 고정 시스템을 종종 보호하는 기존의 사이버 보안과 달리 AI는 예측하기 어려운 역동적이고 적응적인 위협을 가져옵니다. 이 보고서는 조직이 다음을 알고 있어야하는 몇 가지 신흥 위협을 강조합니다.
- 인프라 공격 : AI 인프라는 공격자의 주요 목표가되었습니다. 주목할만한 예는 다음과 같습니다 타협 공격자가 파일 시스템에 액세스하고 악의적 인 코드를 실행하며 권한을 에스컬레이션 할 수있는 NVIDIA의 컨테이너 툴킷 중 하나입니다. 마찬가지로 GPU 관리를위한 오픈 소스 AI 프레임 워크 인 Ray는 타협 최초의 실제 AI 프레임 워크 공격 중 하나에서. 이러한 사례는 AI 인프라의 약점이 많은 사용자와 시스템에 어떤 영향을 줄 수 있는지 보여줍니다.
- 공급망 위험 : AI 공급망 취약점은 또 다른 중요한 관심사를 제시합니다. 조직의 약 60%가 오픈 소스 AI 구성 요소 또는 생태계에 의존합니다. 공격자가 널리 사용되는 도구를 손상시킬 수 있기 때문에 위험이 발생합니다. 이 보고서는“라는 기술을 언급합니다.졸린 피클,”이를 통해 적대자는 분포 후에도 AI 모델을 조작 할 수 있습니다. 이로 인해 탐지가 매우 어렵습니다.
- AI- 특이 적 공격 : 새로운 공격 기술이 빠르게 발전하고 있습니다. 신속한 주입, 탈옥 및 훈련 데이터 추출과 같은 방법을 사용하면 공격자는 안전 제어를 우회하고 교육 데이터 세트에 포함 된 민감한 정보에 액세스 할 수 있습니다.
AI 시스템을 대상으로하는 공격 벡터
이 보고서는 악의적 인 행위자가 AI 시스템에서 약점을 악용하는 데 사용하는 공격 벡터의 출현을 강조합니다. 이러한 공격은 데이터 수집 및 모델 교육에서 배치 및 추론에 이르기까지 AI 라이프 사이클의 다양한 단계에서 발생할 수 있습니다. 목표는 종종 AI가 의도하지 않은 방식으로 행동하거나 개인 데이터를 유출하거나 유해한 행동을 수행하는 것입니다.
최근 몇 년 동안 이러한 공격 방법은 더욱 발전하고 감지하기가 어려워졌습니다. 이 보고서는 여러 유형의 공격 벡터를 강조합니다.
- 탈옥 : 이 기술은 모델의 안전 조치를 우회하는 적대적인 프롬프트를 제작하는 것이 포함됩니다. AI 방어의 개선에도 불구하고 Cisco의 연구에 따르면 간단한 탈옥조차도 DeepSeek R1과 같은 고급 모델에 대해 효과적입니다.
- 간접적 인 신속한 주입 : 직접 공격과 달리이 공격 벡터에는 입력 데이터 조작 또는 AI 모델이 간접적으로 사용하는 컨텍스트가 포함됩니다. 공격자는 악성 PDF 또는 웹 페이지와 같은 손상된 소스 자료를 제공하여 AI가 의도하지 않은 또는 유해한 출력을 생성 할 수 있습니다. 이러한 공격은 AI 시스템에 직접 접근 할 필요가 없기 때문에 공격자가 많은 전통적인 방어를 우회 할 수 있기 때문에 특히 위험합니다.
- 훈련 데이터 추출 및 중독 : Cisco의 연구원들은 챗봇이 훈련 데이터의 일부를 공개하는 데 속일 수 있음을 보여주었습니다. 이는 데이터 프라이버시, 지적 재산 및 규정 준수에 대한 심각한 우려를 제기합니다. 공격자는 악성 입력을 주입하여 훈련 데이터를 독살 할 수 있습니다. 놀랍게도 중독 대형 데이터 세트의 0.01% 만 laion-400m 또는 코요 -700m 모델 동작에 영향을 줄 수 있으며, 이는 적은 예산 (약 $ 60 USD)으로 수행 할 수 있으므로 이러한 공격은 많은 나쁜 행위자가 액세스 할 수 있습니다.
이 보고서는 이러한 공격의 현재 상태에 대한 심각한 우려를 강조하며, 연구자들은 고급 모델에 대해 100% 성공률을 달성합니다. Deepseek R1 그리고 라마 2. 이는 중요한 보안 취약점 및 사용과 관련된 잠재적 위험을 보여줍니다. 또한 보고서는 새로운 위협의 출현을 식별합니다. 음성 기반 탈옥 멀티 모달 AI 모델을 대상으로 설계되었습니다.
Cisco의 AI 보안 연구 결과
Cisco의 연구팀은 AI 보안의 다양한 측면을 평가했으며 몇 가지 주요 결과를 공개했습니다.
- 알고리즘 탈옥 : 연구원들은 최고 AI 모델조차도 자동으로 속일 수 있음을 보여주었습니다. 호출되는 메소드를 사용합니다 가지 치기로 공격 나무 (탭)연구원들은 GPT-4 및 LLAMA 2에서 보호를 우회했습니다.
- 미세 조정 위험 : 많은 비즈니스는 특정 도메인의 관련성을 향상시키기 위해 기초 모델을 미세 조정합니다. 그러나 연구원들은 미세 조정이 내부 안전 가드 레일을 약화시킬 수 있음을 발견했습니다. 미세 조정 된 버전은 탈옥에 3 배 이상 취약했으며 원래 모델보다 유해한 콘텐츠를 생산할 가능성이 22 배 더 높았습니다.
- 교육 데이터 추출 : Cisco 연구원들은 간단한 분해 방법을 사용하여 챗봇을 속임수를 재생하여 자료의 소스를 재구성 할 수 있도록했습니다. 이것은 민감한 또는 독점 데이터를 노출시키는 위험을 초래합니다.
- 데이터 중독 : 데이터 중독 : Cisco의 팀은 대규모 웹 데이터 세트를 독살하는 것이 얼마나 쉽고 저렴한지를 보여줍니다. 약 60 달러에 연구원들은 Laion-400m 또는 Coyo-700m와 같은 데이터 세트의 0.01%를 독살했습니다. 더욱이, 그들은이 수준의 중독이 모델 행동에 눈에 띄는 변화를 일으키기에 충분하다는 것을 강조합니다.
사이버 범죄에서 AI의 역할
AI는 대상이 아니라 사이버 범죄자들을위한 도구가되고 있습니다. 보고서는 자동화 및 AI 중심의 사회 공학으로 공격을보다 효과적이고 발견하기가 더 어려워 졌다고 지적했다. 피싱 사기에서 음성 복제에 이르기까지 AI는 범죄자들이 설득력 있고 개인화 된 공격을 만들도록 도와줍니다. 이 보고서는 또한 “와 같은 악의적 인 AI 도구의 상승을 식별합니다.Darkgpt,””피싱 이메일을 생성하거나 취약점을 악용하여 사이버 범죄를 돕기 위해 특별히 설계되었습니다. 특히 이러한 도구는 접근성입니다. 저 숙련 범죄자조차도 이제 전통적인 방어를 피하는 고도로 개인화 된 공격을 만들 수 있습니다.
AI 보안을위한 모범 사례
Cisco는 AI Security의 변동성있는 특성을 고려할 때 조직에 몇 가지 실용적인 단계를 권장합니다.
- AI 라이프 사이클에서 위험 관리 : 데이터 소싱 및 모델 교육에서 배포 및 모니터링에 이르기까지 AI 라이프 사이클의 모든 단계에서 위험을 식별하고 줄이는 것이 중요합니다. 여기에는 타사 구성 요소 보안, 강력한 가드 레일을 적용하며 액세스 포인트를 엄격하게 제어하는 것이 포함됩니다.
- 확립 된 사이버 보안 관행 사용 : AI는 독특하지만 전통적인 사이버 보안 모범 사례는 여전히 필수적입니다. 액세스 제어, 권한 관리 및 데이터 손실 방지와 같은 기술은 중요한 역할을 할 수 있습니다.
- 취약한 영역에 중점을 둡니다. 조직은 공급망 및 타사 AI 응용 프로그램과 같이 대상이 될 가능성이 가장 높은 영역에 중점을 두어야합니다. 취약점이 어디에 있는지 이해함으로써 기업은보다 대상 방어를 구현할 수 있습니다.
- 직원 교육 및 훈련 : AI 도구가 널리 퍼지면 사용자를 훈련시키는 것이 중요합니다. 책임있는 AI 사용 및 위험 인식. 정보가 잘 된 인력은 우발적 인 데이터 노출과 오용을 줄이는 데 도움이됩니다.
앞으로 찾고 있습니다
AI 채택은 계속 증가 할 것이며,이를 통해 보안 위험이 발전 할 것입니다. 전 세계 정부와 조직은 이러한 과제를 인식하고 AI 안전을 안내하기위한 정책과 규정을 구축하기 시작했습니다. Cisco의 보고서가 강조한 것처럼 AI 안전과 진행 사이의 균형은 다음 AI 개발 및 배치 시대를 정의 할 것입니다. 혁신과 함께 보안의 우선 순위를 정하는 조직은 도전을 처리하고 새로운 기회를 얻을 수 있도록 가장 잘 갖추어 질 것입니다.
게시물 2025 년 AI 보안 상태 : Cisco 보고서의 주요 통찰력 먼저 나타났습니다 Unite.ai.
