키 에란 노턴 Deloitte & Touche LLP의 교장 (파트너)은 Deloitte의 미국 사이버 AI 및 자동화 리더입니다. Kieran은 25 년이 넘는 광범위한 경험과 견고한 기술 배경을 통해 신흥 위험을 해결하는 데 탁월하며 고객에게 사이버 보안 및 기술 위험 관리에 대한 전략적이고 실용적인 통찰력을 제공합니다.
이내에 DeloitteKieran은 미국 사이버 실무를위한 AI 혁신 노력을 이끌고 있습니다. 그는 AI 및 자동화 솔루션의 설계, 개발 및 시장 배치를 감독하여 고객이 사이버 기능을 향상시키고 AI/Gen AI 기술을 채택하면서 관련 위험을 효과적으로 관리 할 수 있도록 도와줍니다.
외부에서 Kieran은 고객이 전통적인 보안 전략을 발전시켜 디지털 혁신을 지원하고 공급망을 현대화하며 시장에 시간을 가속화하고 비용을 줄이며 다른 중요한 비즈니스 목표를 달성하도록 도와줍니다.
AI 요원이 점점 더 자율적으로 증가함에 따라 기업이 아직 완전히 이해하지 못하는 새로운 범주의 사이버 보안 위협이 떠오르고 있습니까?
에이전트를 설계, 빌드, 배포 및 관리하기 위해 새로운 AI 관련 기술을 사용하는 것과 관련된 위험은 이해 될 수 있습니다. 수술은 다른 문제입니다.
AI 에이전시 대행사 및 자율성 – 에이전트가 인간과 독립적으로 인식, 결정, 행동 및 운영 할 수있는 능력 – 모델/에이전트가 사용자, 데이터 및 기타 에이전트와 함께하는 관계 및 상호 작용에 대한 가시성을 유지하고 제어하는 데 어려움을 겪을 수 있습니다. 에이전트가 기업 내에서 계속 번식함에 따라 여러 플랫폼과 서비스를 자율성과 의사 결정 권리와 연결하면 점점 더 어려워 질 것입니다. 제대로 보호되지 않거나 과도하거나 그림자 AI 기관/자율성과 관련된 위협은 많습니다. 여기에는 데이터 누출, 에이전트 조작 (프롬프트 주입 등) 및 에이전트 대 에이전트 공격 체인이 포함될 수 있습니다. 이러한 모든 위협이 여기에있는 것은 아니지만 기업은 AI 중심 기능을 채택하고 성숙 할 때 이러한 위협을 어떻게 관리 할 것인지 고려해야합니다.
AI 신원 관리는 신중하게 고려해야 할 또 다른 위험입니다. AI 에이전트의 기계 정체성을 식별, 설정 및 관리하는 것은 더 많은 에이전트가 기업에 배치되어 사용되면서 더욱 복잡해집니다. 다양한 상황에서 회전 및 반복적으로 찢어지는 AI 모델 / 모델 구성 요소의 임시 특성은 이러한 모델 ID를 유지하는 데 어려움을 겪게됩니다. 보안 및 신뢰 관점에서 에이전트의 활동과 행동을 모니터링하려면 모델 아이덴티티가 필요합니다. 제대로 구현하고 모니터링되지 않으면 잠재적 인 문제 (성능, 보안 등)를 감지하는 것은 매우 어려울 것입니다.
AI 교육 파이프 라인의 데이터 중독 공격에 대해 얼마나 우려해야하며, 최상의 예방 전략은 무엇입니까?
데이터 중독은 모델 개발 라이프 사이클 내에서 AI 모델에 영향을 미치거나 조작하는 몇 가지 방법 중 하나를 나타냅니다. 중독은 일반적으로 나쁜 행위자가 유해한 데이터를 훈련 세트에 주입 할 때 발생합니다. 그러나 명시 적 대적 행위자 외에도 데이터 생성의 실수 또는 체계적인 문제로 인해 데이터 중독이 발생할 수 있습니다. 조직이 더 많은 데이터를 배고프고 더 많은 장소 (예 : 아웃소싱 수동 주석, 구매 또는 생성 된 합성 데이터 세트 등)에서 유용한 데이터를 찾으면 의도하지 않은 교육 데이터가 증가 할 수 있으며 항상 쉽게 진단 될 수는 없습니다.
훈련 파이프 라인을 타겟팅하는 것은 미묘한 영향을 미치고 명백한 영향을 미치기 위해 적대자가 사용하는 주요 공격 벡터입니다. AI 모델의 조작은 오 탐지, 잘못된 부정 및 AI 예측을 변화시킬 수있는 기타 미묘한 은밀한 영향을 포함하는 결과로 이어질 수 있습니다.
예방 전략은 기술적, 절차 및 건축 인 솔루션 구현에 이르기까지 다양합니다. 절차 적 전략에는 데이터 검증 / 소독 및 신뢰 평가가 포함됩니다. 기술 전략에는 Federated Learning과 같은 AI 기술과 함께 보안 향상 사용이 포함됩니다. 건축 전략에는 제로 트러스트 파이프 라인 구현과 이상 감지를 용이하게 할 수있는 강력한 모니터링 / 경고 구현이 포함됩니다. 이 모델은 조직이 최신의 가장 큰 도구를 사용하는 경우에도 데이터만큼 우수하므로 데이터 중독은 준비되지 않은 사람들의 아킬레스 힐이 될 수 있습니다.
악의적 인 행위자는 배포 후 AI 모델을 어떻게 조작 할 수 있으며, 기업이 어떻게 조작하는 것을 조기에 감지 할 수 있습니까?
배포 후 AI 모델에 대한 액세스는 일반적으로 API (Application Programming Interface), 임베디드 시스템을 통한 응용 프로그램 및/또는 포트 프로토콜을 통해 에지 장치로 액세스함으로써 달성됩니다. 조기 탐지에는 SDLC (Software Development Lifecycle)의 초기 작업이 필요하며, 관련 모델 조작 기술을 이해하고 우선 순위를 정한 위협 벡터를 이해하여 탐지 및 보호를위한 방법을 고안합니다. 일부 모델 조작에는 API 납치, 메모리 공간 조작 (런타임) 및 모델 드리프트를 통한 느린 / 점진적 중독이 포함됩니다. 이러한 조작 방법을 고려할 때, 일부 초기 탐지 전략에는 엔드 포인트 원격 측정 / 모니터링 (엔드 포인트 감지 및 응답 및 확장 된 감지 및 응답을 통해), 안전한 추론 파이프 라인 (예 : 기밀 컴퓨팅 및 제로 신뢰 원리)을 구현하고 모델 워터 마킹 / 모델 서명을 가능하게하는 것이 포함될 수 있습니다.
Prompt Injection은 배포 후 발생하는 모델 공격의 패밀리이며, 의도하지 않은 방식으로 데이터를 추출하고, 정상적인 사용자를위한 것이 아닌 시스템 프롬프트 및 조직을 부정적인 시각으로 캐스팅 할 수있는 모델 응답을 유도하는 등 다양한 목적으로 사용될 수 있습니다. 시장에는 신속한 주입의 위험을 완화하는 데 도움이되는 다양한 Guardrail 도구가 있지만 나머지 사이버와 마찬가지로 공격 기술과 방어 카운터 조치가 지속적으로 업데이트되는 무기 경쟁입니다.
전통적인 사이버 보안 프레임 워크는 AI 시스템의 고유 위험을 해결하는 데 어떻게 부족합니까?
우리는 일반적으로 ‘사이버 보안 프레임 워크’와 지침 및 표준과 같은 NIST, ISO, MITER 등을 연결합니다.이 배후의 일부 조직은 매우 유용 할 수있는 AI 시스템을 보호하기위한 업데이트 된 지침을 게시했습니다.
AI는 이러한 프레임 워크를 비효율적으로 만들지 않습니다. 여전히 사이버 보안의 모든 전통적인 영역을 해결해야합니다. 필요한 것은 AI 워크로드와 관련된 뉘앙스를 해결하기 위해 프로세스 및 프로그램 (예 : SDLC)을 업데이트하는 것입니다. 위에서 설명한 미묘한 위협으로부터 보호하기 위해 컨트롤을 포함시키고 자동화하는 것이 가장 효율적이고 효과적인 방법입니다.
전술적 수준에서 가능한 모든 입력 및 출력의 범위가 비 IA 응용 프로그램보다 훨씬 크기 때문에 전통적인 침투 테스트 및 규칙 기반 탐지에 대한 규모의 문제를 일으켜 자동화에 중점을 둡니다.
생성 AI 또는 대형 언어 모델을 배포하는 조직을 위해 특별히 설계된 사이버 보안 전략에 어떤 주요 요소가 포함되어야합니까?
Genai 또는 LLM (Large Language Models)을 배치하기위한 사이버 보안 전략을 개발할 때는 한 가지 크기의 접근 방식이 없습니다. 조직의 전반적인 비즈니스 목표, IT 전략, 산업 초점, 규제 발자국, 위험 허용 오차 등 및 고려중인 특정 AI 사용 사례에 달려 있습니다. 내부 사용 만 챗봇만으로는 환자의 건강 결과에 영향을 줄 수있는 에이전트와는 매우 다른 위험 프로파일을 전달합니다.
즉, 모든 조직이 해결해야 할 기본 사항이 있습니다.
- 준비 평가를 수행하십시오– 이는 현재 기능의 기준을 설정하고 우선 순위가 정해진 AI 사용 사례를 고려하여 잠재적 격차를 식별합니다. 조직은 Genai와 관련된 미묘한 위험을 해결하기 위해 확장 될 수있는 기존의 컨트롤이 어디에 있는지 및 새로운 기술을 구현하거나 현재 프로세스를 향상시켜야 할 필요성을 식별해야합니다.
- AI 거버넌스 프로세스를 설정하십시오– 이것은 조직 내에서 새로운 순간 또는 현재 위험 관리 프로그램에 대한 수정이 될 수 있습니다. 여기에는 기업 전역의 AI 지원 기능을 정의하고 거버넌스 구조의 일부로 비즈니스, IT, 제품, 위험, 사이버 보안 등의 이해 관계자를 끌어들이는 것이 포함되어야합니다. 또한 관련 정책 (허용 가능한 사용 정책, 클라우드 보안 정책, 타사 기술 위험 관리 등)을 정의/업데이트 할뿐만 아니라 조직 전체의 AI 문해력 및 AI 보안/안전을 지원하기위한 L & D 요구 사항을 설정해야합니다.
- 신뢰할 수있는 AI 아키텍처를 설정하십시오—AI / Genai 플랫폼 및 실험 샌드 박스, 기존 기술 및 새로운 솔루션 (예 : AI 방화벽 / 런타임 보안, GuardRails, 모델 라이프 사이클 관리, 향상된 IAM 기능 등)은 반복적이고 확장 가능한 방식으로 개발 및 배포 환경에 통합되어야합니다.
- SDLC 향상– 조직은 AI 개발자와 AI 솔루션에 대한 신뢰를 보호, 보호 및 구축하기 위해 노력하는 AI 개발자와 위험 관리 팀간에 엄격한 통합을 구축해야합니다. 여기에는 광범위한 AI 개발 및 채택 팀과 제휴하여 균일/표준 보안 소프트웨어 개발 관행 및 제어 요구 사항을 설정하는 것이 포함됩니다.
“AI 방화벽”의 개념을 간단한 용어로 설명 할 수 있습니까? 기존 네트워크 방화벽과 어떻게 다릅니 까?
AI 방화벽은 AI 시스템의 입력 및 출력을 모니터링하고 제어하도록 설계된 보안 계층, 특히 대형 언어 모델을 오용하지 않고 민감한 데이터를 보호하며 책임있는 AI 동작을 보장하도록 설계되었습니다. IP 주소, 포트 및 알려진 위협을 기반으로 트래픽을 필터링하여 네트워크를 보호하는 기존 방화벽과 달리 AI 방화벽은 자연어 상호 작용을 이해하고 관리하는 데 중점을 둡니다. 그들은 정책, 컨텍스트 인식 필터 및 모델 별 가드 레일을 적용하여 독성 함량, 데이터 유출, 신속한 주입 및 비 윤리적 사용과 같은 것을 차단합니다. 본질적으로 전통적인 방화벽은 네트워크를 보호하지만 AI 방화벽은 AI 모델과 출력을 보호합니다.
AI 특정 방화벽 또는 가드 레일의 사용에 적용되는 현재 산업 표준 또는 신흥 프로토콜이 있습니까?
MCP (Model Communication Protocol)는 보편적 인 표준은 아니지만 AI-Genai 솔루션 다양성을 관리 할 필요가있는 기업의 구성 부담을 해결하는 데 도움이되는 업계 전역에서 견인력을 얻고 있습니다. MCP는 AI 모델이 무결성 및 검증을 포함한 정보 (학습 포함)를 교환하는 방법을 관리합니다. 중앙 집중식, 연합 또는 분산 사용 사례 모두에 특히 유용한 AI 모델 용 전송 제어 프로토콜 (TCP)/인터넷 프로토콜 (IP) 스택으로 MCP를 생각할 수 있습니다. MCP는 현재 다양한 도구, 연구 및 프로젝트를 통해 실현되는 개념적 프레임 워크입니다.
공간이 빠르게 움직이고 있으며 앞으로 몇 년 동안 약간 변할 것으로 예상 할 수 있습니다.
AI는 오늘 5 년 전과 비교하여 오늘 위협 탐지 및 반응 분야를 어떻게 변화시키고 있습니까?
우리는 상업용 보안 운영 센터 (SOC) 플랫폼이 다른 정도로 현대화되어 고급 AI/ML 모델과 함께 대규모 고품질 데이터 세트를 사용하여 위협의 탐지 및 분류를 개선했습니다. 또한, 자동화, 워크 플로 및 자동 압류 기능을 활용하여 탐지에서 완화로의 시간을 줄입니다. 마지막으로, 일부는 심사 및 응답을 추가로 지원하기 위해 Colecilot 기능을 도입했습니다.
또한 SOC 내에서 선택된 역할을 수행하기 위해 에이전트가 개발되고 있습니다. 실용적인 예로서, 우리는 a를 만들었습니다 ‘디지털 분석가’ 자체 관리 서비스 오퍼링에 배치를위한 에이전트. 에이전트는 레벨 1 분석가, 인바운드 경고를 발전시키고, 위협 인텔 및 기타 소스의 컨텍스트를 추가하고, 필요한 경우 검토하고 수정하고 조치를 취하는 인간 분석가에게 응답 단계 (광범위한 사례 기록을 기준으로)를 추천합니다.
향후 3-5 년 동안 AI와 사이버 보안의 관계가 어떻게 진화하는지 어떻게 알 수 있습니까? AI가 더 위험하거나 해결책이 될 수 있습니까?
향후 3-5 년 동안 AI가 진화함에 따라 사이버 보안에 도움이 될 수 있지만 동시에 위험을 초래할 수도 있습니다. AI는 공격 표면을 확장하고 NE를 생성합니다 방어적인 관점에서 W 도전. 또한, 적대적 AI는 공격의 생존력, 속도 및 규모를 증가시켜 더 많은 도전을 야기 할 것입니다. 반면, 사이버 보안 비즈니스에서 AI를 활용하면 대부분의 영역에서 사이버 운영의 효율성, 효율성, 민첩성 및 속도를 향상시킬 수있는 중요한 기회를 제공합니다.
훌륭한 인터뷰에 감사드립니다. 독자도 방문하고 싶을 수도 있습니다. Deloitte.
게시물 Kieran Norton, Deloitte의 미국 사이버 AI 및 자동화 리더 – 인터뷰 시리즈 먼저 나타났습니다 Unite.ai.