A.S. 피터 가라간 CEO, CTO, 공동 창업자입니다. 마인드가드인공지능 보안 테스트 분야의 선두주자입니다. Lancaster University에서 설립되고 최첨단 연구의 지원을 받는 Mindgard는 조직이 기존 애플리케이션 보안 도구로 해결할 수 없는 새로운 위협으로부터 AI 시스템을 보호할 수 있도록 지원합니다. Lancaster University의 컴퓨터 과학 교수인 Peter는 AI 보안 분야에서 국제적으로 인정받는 전문가입니다. 그는 AI가 직면하고 있는 증가하는 위협에 맞서기 위해 첨단 기술을 개발하는 데 자신의 경력을 바쳤습니다. 1,160만 유로가 넘는 연구 자금과 60개 이상의 과학 논문을 발표한 그의 기여는 과학적 혁신과 실용적인 솔루션 모두에 걸쳐 이루어졌습니다.
Mindgard 창립 비하인드 스토리를 공유해 주실 수 있나요? 학계에서 사이버 보안 스타트업을 시작하게 된 계기는 무엇입니까?
Mindgard는 학문적 통찰력을 실제 세계에 영향을 미치려는 열망에서 탄생했습니다. 저는 컴퓨팅 시스템, AI 보안, 머신러닝 전문 교수로서 사람들의 삶에 큰 영향을 미치는 과학을 추구해 왔습니다. 2014년부터 저는 AI와 머신러닝을 연구하면서 사회를 변화시킬 수 있는 잠재력과 국가 공격부터 선거 간섭까지 이들이 초래하는 엄청난 위험을 인식했습니다. 기존 도구는 이러한 과제를 해결하기 위해 제작되지 않았기 때문에 저는 과학자와 엔지니어로 구성된 팀을 이끌고 AI 보안에 대한 혁신적인 접근 방식을 개발했습니다. Mindgard는 AI 위협으로부터 보호하기 위한 실질적인 솔루션 구축에 중점을 두고 최첨단 연구와 산업 적용에 대한 헌신을 결합하는 연구 중심 벤처로 부상했습니다.
대학에서 회사를 분사하면서 어떤 어려움에 직면했고, 이를 어떻게 극복했나요?
우리는 2022년 5월에 공식적으로 Mindgard를 설립했으며 Lancaster University는 큰 지원을 제공했지만 대학 스핀아웃을 위해서는 단순한 연구 기술 이상의 것이 필요합니다. 이는 자본을 늘리고, 가치 제안을 개선하고, 데모를 위한 기술을 준비하는 동시에 교수로서의 역할의 균형을 맞추는 것을 의미했습니다. 학자들은 연구자가 되고 새로운 과학을 추구하도록 훈련받습니다. 스핀아웃은 획기적인 기술뿐만 아니라 해당 기술이 즉각적이거나 미래의 비즈니스 요구 사항을 얼마나 잘 해결하고 사용자와 고객을 유치하고 유지하는 가치를 제공하는지에 따라 성공합니다.
Mindgard의 핵심 제품은 수년간의 R&D의 결과입니다. 연구의 초기 단계가 어떻게 상업적 솔루션으로 발전했는지 말씀해주실 수 있나요?
연구에서 상용 솔루션으로의 여정은 신중하고 반복적인 과정이었습니다. 이는 10여년 전에 Lancaster University의 우리 팀이 AI 및 기계 학습 보안의 근본적인 과제를 탐구하면서 시작되었습니다. 우리는 코드 스캐닝과 방화벽 등 기존 보안 도구로는 해결할 수 없는 인스턴스화된 AI 시스템의 취약점을 식별했습니다.
시간이 지남에 따라 우리의 초점은 연구 조사에서 프로토타입 제작 및 생산 시나리오 내 테스트로 전환되었습니다. 업계 파트너와 협력하여 우리는 접근 방식을 개선하여 실질적인 요구 사항을 해결했습니다. 적절한 보안 테스트나 보증 없이 많은 AI 제품이 출시되면서 조직이 취약해졌습니다. 가트너 AI 시스템을 배포하는 기업의 29%가 보안 위반을 보고했으며 내부 감사자의 10%만이 AI 위험에 대한 가시성을 갖고 있다는 사실을 알게 되면서 솔루션을 상용화할 시기가 적절하다고 느꼈습니다.
2022년 창립 이후 Mindgard 여정의 주요 이정표는 무엇입니까?
2023년 9월에 우리는 Mindgard 솔루션 개발을 가속화하기 위해 IQ Capital과 Lakestar가 주도하는 자금 300만 파운드를 확보했습니다. 우리는 Snyk, Veracode 및 Twilio 직원으로 구성된 훌륭한 리더 팀을 구성하여 회사를 다음 단계로 발전시킬 수 있었습니다. 우리는 다음과 같은 인정을 받은 것을 자랑스럽게 생각합니다. 영국의 가장 혁신적인 사이버 중소기업 올해 Infosecurity Europe에서. 현재 우리는 15명의 정규직 직원과 10명의 박사 연구원(그리고 적극적으로 채용되고 있는 사람들)을 보유하고 있으며 팀에 합류할 보안 분석가와 엔지니어를 적극적으로 모집하고 있습니다. 앞으로 우리는 보스턴 기반 투자자들의 새로운 자금 조달 라운드를 통해 이러한 성장을 위한 강력한 기반을 제공함으로써 미국에서의 입지를 확대할 계획입니다.
기업이 점점 더 AI를 채택함에 따라 오늘날 직면하고 있는 가장 시급한 사이버 보안 위협은 무엇이라고 생각하시나요?
많은 조직은 AI와 관련된 사이버 보안 위험을 과소평가합니다. 비전문가가 AI가 실제로 어떻게 작동하는지 이해하는 것은 극히 어렵고 비즈니스에 보안이 미치는 영향은 더욱 어렵습니다. 저는 인프라 보안 및 데이터 보호 분야의 전문가인 노련한 기술자와 함께 AI 보안을 이해하는 데 상당한 시간을 소비합니다. 결국 AI는 여전히 본질적으로 하드웨어에서 실행되는 소프트웨어이자 데이터입니다. 그러나 기존 시스템과 다른 고유한 취약점이 발생하며 AI 행동으로 인한 위협은 다른 소프트웨어에 비해 훨씬 더 높고 테스트하기가 어렵습니다.
Microsoft의 AI 콘텐츠 필터와 같은 시스템에서 취약점을 발견했습니다. 이러한 결과가 플랫폼 개발에 어떤 영향을 미치나요?
Microsoft의 Azure AI 콘텐츠 안전 서비스에서 발견한 취약점은 플랫폼 개발을 형성하는 것이 아니라 해당 기능을 보여주는 것과 관련이 있습니다.
Azure AI 콘텐츠 안전은 텍스트, 이미지, 동영상의 유해 콘텐츠를 조정하여 AI 애플리케이션을 보호하도록 설계된 서비스입니다. 우리 팀이 발견한 취약점은 서비스의 AI 텍스트 조정(증오심 표현, 성적인 내용 등 유해한 콘텐츠 차단) 및 Prompt Shield(탈옥 및 즉시 주입 방지)에 영향을 미쳤습니다. 확인하지 않은 채 방치하면 이 취약점을 악용하여 더 광범위한 공격을 시작하고, GenAI 기반 시스템에 대한 신뢰를 약화시키며, 의사 결정 및 정보 처리를 위해 AI에 의존하는 애플리케이션 무결성을 손상시킬 수 있습니다.
2024년 10월부터 Microsoft는 이러한 문제를 해결하기 위해 더 강력한 완화 조치를 구현했습니다. 그러나 우리는 AI 가드레일을 배치할 때 경계를 강화할 것을 계속해서 옹호하고 있습니다. 강력한 AI 보안을 보장하려면 추가 중재 도구나 유해한 콘텐츠 및 탈옥 가능성이 덜한 LLM 사용과 같은 보완 조치가 필수적입니다.
AI 시스템에서 ‘탈옥’과 ‘신속한 조작’의 중요성과 이것이 왜 그렇게 독특한 과제를 제기하는지 설명할 수 있나요?
탈옥은 악의적인 행위자가 LLM을 남용하여 의도된 사용에 반하는 지침을 따를 수 있는 일종의 프롬프트 주입 취약점입니다. LLM이 처리하는 입력에는 애플리케이션 디자이너의 표준 명령과 신뢰할 수 없는 사용자 입력이 모두 포함되어 있어 신뢰할 수 없는 사용자 입력이 표준 명령을 재정의하는 공격이 가능합니다. 이는 SQL 주입 취약점으로 인해 신뢰할 수 없는 사용자 입력이 데이터베이스 쿼리를 변경하는 방식과 유사합니다. 그러나 문제는 LLM 코드가 사실상 사람이 읽을 수 없는 형식의 거대한 숫자 매트릭스라는 점을 감안할 때 이러한 위험은 런타임에만 감지될 수 있다는 것입니다.
예를 들어 Mindgard 연구팀은 최근 탐험하다 정교한 형태의 탈옥 공격. 여기에는 인간 청취자가 감지할 수 없지만 LLM이 인식하고 실행하는 오디오 입력 내에 비밀 오디오 메시지가 포함되어 있습니다. 포함된 각 메시지에는 특정 시나리오에 맞게 설계된 질문과 함께 맞춤형 탈옥 명령이 포함되어 있습니다. 따라서 의료용 챗봇 시나리오에서는 숨겨진 메시지가 챗봇에게 메스암페타민 합성 방법과 같은 위험한 지시를 제공하도록 유도할 수 있으며, 이는 챗봇의 대응을 심각하게 받아들인다면 심각한 평판 손상을 초래할 수 있습니다.
Mindgard의 플랫폼은 AI 모델의 탈옥 및 기타 여러 보안 취약성과 기업이 이를 애플리케이션에 구현한 방식을 식별하므로 보안 리더는 AI 기반 애플리케이션이 설계상 안전하고 보안을 유지하도록 할 수 있습니다.
Mindgard의 플랫폼은 LLM부터 다중 모드 시스템까지 다양한 유형의 AI 모델 전반에 걸쳐 취약점을 어떻게 해결합니까?
우리 플랫폼은 신속한 주입, 탈옥, 추출(모델 도용), 반전(리버스 엔지니어링 데이터), 데이터 유출, 회피(탐지 우회) 등을 포괄하는 AI 내의 광범위한 취약점을 해결합니다. 모든 AI 모델 유형(LLM 또는 다중 모드)은 위험에 대한 민감성을 나타냅니다. 비결은 이러한 취약성을 유발하여 보안 문제를 생성하는 특정 기술을 찾아내는 것입니다. Mindgard에는 새로운 공격 유형을 발견하고 플랫폼에 구현하는 것을 전문으로 하는 대규모 R&D 팀이 있어 사용자가 최첨단 위험에 대해 최신 정보를 얻을 수 있습니다.
AI 시스템 보안에서 레드팀은 어떤 역할을 하며, 이 분야에서 귀하의 플랫폼은 어떻게 혁신합니까?
레드팀 구성은 AI 보안의 중요한 구성 요소입니다. 적의 공격을 지속적으로 시뮬레이션함으로써 레드팀은 AI 시스템의 취약점을 식별하여 조직이 위험을 완화하고 AI 채택을 가속화하도록 돕습니다. 그 중요성에도 불구하고 AI의 레드팀 구성은 표준화가 부족하여 위협 평가 및 해결 전략의 불일치로 이어집니다. 이로 인해 다양한 시스템의 안전성을 객관적으로 비교하거나 위협을 효과적으로 추적하기가 어렵습니다.
이 문제를 해결하기 위해 우리는 MITRE ATLAS™ 어드바이저AI 레드팀 보고를 표준화하고 체계적인 레드팀 구성 관행을 간소화하기 위해 설계된 기능입니다. 이를 통해 기업은 AI 기능이 발전함에 따라 미래의 위협에 대비하면서 오늘날의 위험을 더 잘 관리할 수 있습니다. Mindgard는 R&D 팀이 개발한 포괄적인 고급 공격 라이브러리를 통해 기존 모델과 GenAI 모델을 포괄하는 다중 모드 AI 레드 팀 구성을 지원합니다. 우리 플랫폼은 개인 정보 보호, 무결성, 남용 및 가용성에 대한 주요 위험을 해결하여 기업이 AI 시스템을 효과적으로 보호할 수 있도록 보장합니다.
AI를 대규모로 배포하는 기업을 위한 MLOps 파이프라인에 귀하의 제품이 어떻게 적합하다고 생각하시나요?
Mindgard는 기존 CI/CD 자동화 및 모든 SDLC 단계에 원활하게 통합되도록 설계되었으며 모델 통합을 위해 추론 또는 API 엔드포인트만 필요합니다. 현재 당사의 솔루션은 DAST-AI(AI 모델의 동적 애플리케이션 보안 테스트)를 수행합니다. 이를 통해 고객은 전체 빌드 및 구매 라이프사이클에 걸쳐 모든 AI에 대해 지속적인 보안 테스트를 수행할 수 있습니다. 기업의 경우 여러 페르소나가 활용합니다. 보안 팀은 이를 사용하여 AI를 구축 및 사용하는 개발자의 위험에 대한 가시성을 확보하고 신속하게 대응하고, AI 가드레일 및 WAF 솔루션을 테스트 및 평가하고, 맞춤형 AI 모델과 기본 모델 간의 위험을 평가합니다. 침투 테스터와 보안 분석가는 Mindgard를 활용하여 AI 레드 팀 구성 노력을 확장하고, 개발자는 AI 배포에 대한 통합 연속 테스트의 이점을 누릴 수 있습니다.
훌륭한 인터뷰에 감사드립니다. 더 자세히 알고 싶은 독자들은 방문하시기 바랍니다. 마인드가드.
게시물 박사. Peter Garraghan, Mindgard의 CEO, CTO 및 공동 창립자 – 인터뷰 시리즈 처음 등장한 Unite.AI.
