귀하의 AI 에이전트는 이제 이메일 피싱의 표적이 되었습니다

0
4
귀하의-ai-에이전트는-이제-이메일-피싱의-표적이-되었습니다
귀하의 AI 에이전트는 이제 이메일 피싱의 표적이 되었습니다

이메일 보안은 항상 고양이와 쥐 게임이었습니다. 바이러스 발명되었고, 바이러스 백신 소프트웨어는 알려진 바이러스를 분류하고 이메일 첨부 파일과 URL에서 바이러스의 존재를 탐지하기 위해 개발되었습니다. 바이러스가 더욱 정교한 형태의 악성 코드로 변모함에 따라, 사이버보안 이러한 새로운 위협을 검색하고 탐지할 수 있도록 조정된 도구입니다. 피싱 새로운 도구는 물론 보안 인식 교육이라는 완전히 새로운 방어 범주가 탄생하면서 차세대 분야가 되었습니다. 지금, 악당들은 현재의 보안 가드레일을 우회하기 위해 AI 에이전트를 공격하고 있습니다.

리서치 회사의 사이버 보안 분석가인 Todd Thiemann은 “AI 보조원, 부조종사 및 에이전트는 기존 보안 아키텍처가 처리할 수 없도록 설계되지 않은 방식으로 기업 공격 표면을 크게 확장합니다.”라고 말했습니다. 옴디아.

일련의 AI 기반 기능을 입력하세요. Proofpoint 주요 위협 보호 이는 9월 회사의 Proofpoint Protect 2025 이벤트에서 소개되었습니다. 이메일 메시지가 받은 편지함에 도착하기 전에 잠재적인 위협을 검색하여 AI 에이전트의 작업을 파괴하려는 해커의 노력을 방해합니다.

이메일 보안에 대한 전통적인 접근 방식

대부분의 이메일 보안 도구는 의심스러운 링크, 실제처럼 보이는 가짜 도메인, 악성 코드가 포함된 첨부 파일 등 알려진 나쁜 신호를 찾아내도록 설계되었습니다. 이 접근 방식은 기존의 피싱, 스팸 및 알려진 공격에 대해 효과적으로 작동합니다. 그러나 이제 사이버 범죄자들은 ​​직장에 내장된 많은 AI 비서와 AI 에이전트를 노리고 있습니다.

이는 AI 모델과 AI 에이전트가 관련 응답을 생성하거나 특정 작업을 실행하도록 안내하는 프롬프트(텍스트 또는 코드 형식의 질문 또는 명령)를 활용하여 이를 수행합니다. 이메일에는 눈에 보이지 않는 텍스트나 다음과 같은 생성 AI 도구를 속이기 위해 고안된 특수 형식을 사용하는 숨겨진 악성 프롬프트가 점점 더 많아지고 있습니다. 마이크로소프트 코파일럿 그리고 구글 제미니 데이터 유출, 보안 검사 우회 등 안전하지 않은 행동을 취하게 됩니다.

Thiemann은 “신속한 주입과 기타 AI를 표적으로 삼은 공격은 인간의 행동이 아닌 기계의 추론을 조작하는 텍스트 기반 페이로드를 사용하는 새로운 종류의 공격을 나타냅니다.”라고 말했습니다.

Daniel Rapp, 최고 AI 및 데이터 책임자 증명점예 제공: 이메일 메시지에 사용되는 표준 RFC-822 헤더, 일반 텍스트 및 HTML의 사용을 설명합니다. 이 모든 것이 사용자에게 표시되는 것은 아닙니다. 공격자는 사람에게는 보이지 않지만 AI 에이전트는 완전히 읽을 수 있는 메시지에 지침을 삽입하여 이를 이용합니다. AI가 텍스트를 처리할 때 포함된 명령이 실수로 실행됩니다. 이로 인해 데이터가 유출되거나 시스템 동작이 변경되거나 손상될 수 있습니다. 맬웨어나 잘못된 형식의 링크를 찾는 레거시 필터는 아무 문제도 발견하지 못합니다.

다니엘 랩(Daniel Rapp)의 웃는 모습. Daniel Rapp, 최고 AI 및 데이터 책임자 증명점.증명점

Rapp은 “최근 공격에서는 HTML과 일반 텍스트 버전이 완전히 다른 경우가 목격되고 있습니다.”라고 말했습니다. “이메일 클라이언트는 HTML 버전을 렌더링하는 반면, 보이지 않는 일반 텍스트에는 AI 시스템이 선택하여 조치를 취할 수 있는 프롬프트 삽입이 포함되어 있습니다.”

이 전략이 효과적인 것으로 입증된 데에는 두 가지 이유가 있습니다. 첫째,AI 비서가 받은 편지함에 액세스할 수 있으면 이메일이 도착하는 즉시 자동으로 조치를 취할 수 있습니다. 두번째, Rapp은 AI 에이전트의 문자 그대로의 특성으로 인해 피싱 및 기타 사회 공학적 속임수에 취약하다고 말했습니다. 인간은 나이지리아 은행 계좌로 돈을 보내는 것에 대해 다시 한 번 생각할 수도 있습니다. AI 에이전트는 그렇게 하기 위해 맹목적으로 명령을 수행할 수도 있습니다.

Proofpoint 접근 방식의 차별화는 회사가 이메일이 받은 편지함에 도달하기 전에 이메일을 검사한다는 것입니다. 연습이 많이 됐어요. 이 회사는 매일 전 세계 전체 이메일의 3분의 1에 해당하는 35억 개의 이메일을 검사합니다. 또한 매일 약 500억 개의 URL과 30억 개의 첨부 파일을 검사합니다. 이는 인라인으로 수행됩니다. 즉, 이메일이 발신자에서 수신자로 이동하는 동안 수행됩니다.

Rapp은 “우리는 감지 기능을 전달 경로에 직접 배치했습니다. 이는 대기 시간과 효율성이 중요하다는 것을 의미합니다.”라고 말했습니다.

이러한 필요한 수준의 속도는 LLM(대형 언어 모델)의 예제와 기본 지식을 기반으로 감지에 대해 특별히 소규모 AI 모델을 교육함으로써 달성됩니다. 예를 들어, OpenAI의 GPT-5에는 다음과 같은 숫자가 있는 것으로 추정됩니다. 6,350억 개의 매개변수. 모든 이메일에 대해 그 정도의 데이터를 처리하는 것은 불가능합니다. Proofpoint는 모델을 약 3억 개의 매개변수까지 미세 조정했습니다. 감지 충실도를 희생하지 않고 지연 시간이 짧은 인라인 성능을 달성하기 위해 모델을 정제하고 압축합니다. 또한 단순히 지표를 검색하는 것이 아니라 메시지 자체의 의도를 효과적으로 해석할 수 있도록 해당 모델을 2.5일마다 업데이트합니다. 이런 방식으로 숨겨진 프롬프트 주입, 악성 지시 및 기타 AI 익스플로잇을 전달 전에 찾아냅니다.

Rapp은 “Proofpoint는 공격을 전달하기 전에 중지함으로써 사용자 손상과 AI 악용을 방지합니다.”라고 말했습니다. “우리의 보안 이메일 게이트웨이는 이메일을 확인하고 위협이 받은 편지함에 도달하기 전에 이를 차단할 수 있습니다.”

또한 Proofpoint는 앙상블 탐지 아키텍처를 사용합니다. 단일 탐지 메커니즘에 의존하는 대신 수백 개의 행동, 평판 및 콘텐츠 기반 신호를 결합하여 하나의 방법을 우회할 수 있는 공격 벡터를 우회합니다.

AI가 보안 게임을 변화시키다

AI 에이전트는 기업과 소비자 환경 전반에 걸쳐 출시되고 있습니다. 안타깝게도 AI의 잠재력을 활용하려는 성급한 노력으로 인해 보안은 뒷전으로 밀려나는 경우가 많습니다. 나쁜 사람들은 이것을 알고 있습니다. 그들은 AI 에이전트 시대에 맞는 피싱 기술을 완성하기 위해 AI를 통해 사이버 범죄 기법과 기술을 구현하고 있습니다.

Thiemann은 “보안 도구는 알려진 잘못된 지표를 탐지하는 것에서 인간, 기계, AI 에이전트에 대한 의도를 해석하는 것까지 발전해야 합니다.”라고 말했습니다. “이상적으로는 대기 시간이 짧은 인라인 보호를 위해 정제된 AI 모델을 사용하여 악의적인 지침이나 조작적인 프롬프트를 전달 전 식별하는 접근 방식은 오늘날의 방어에서 상당한 격차를 해소합니다.”

Proofpoint는 이러한 기능 중 가장 뛰어난 역할을 합니다. 앞으로 몇 달 안에 다른 사이버 보안 공급업체도 이를 따를 것으로 예상됩니다. 그러나 그때쯤에는 또 어떤 AI 기반 위협이 등장하게 될까요?