상상해 보세요. 직장에서 촉박한 마감 시간에 정신을 바짝 차리고 있는데 어머니의 전화번호로 보이는 전화를 받았습니다. 상대방의 목소리는 틀림없이 그녀의 목소리였고, 차분하고 사랑이 넘치지만 남다른 긴박감을 담고 있었습니다. 그녀는 파리에서 휴가를 보내는 동안 심각한 문제에 부딪혔으며 문제를 해결하려면 즉시 재정적인 도움이 필요하다고 말합니다. 그녀가 파리에 있다는 사실을 알고 호텔 이름까지 그녀가 제공하는 세부정보를 보면 통화 내용이 더욱 설득력을 얻게 됩니다. 당신은 다시 생각할 것도 없이 돈을 이체했지만, 나중에 알고 보니 당신의 어머니는 그런 전화를 한 적이 없었다. 그녀의 목소리를 완벽하게 흉내내고 상세한 시나리오를 제작하는 첨단 AI 시스템이었다. 방금 무슨 일이 일어났는지 깨닫자 등골이 오싹해집니다.

한때 순수한 공상과학 소설이었던 이 시나리오는 이제 새로운 현실이 되었습니다. LLM(대형 언어 모델)과 같은 AI 기술의 등장은 놀라운 발전을 가져왔습니다. 그러나 AI 기반 사기라는 심각한 위협이 다가오고 있습니다. 인공 지능을 활용한 정교한 사기의 가능성은 기술 발전의 지평에서 완전히 새로운 위협입니다. 전화가 발명된 이후 전화 사기가 우려의 대상이 되었지만, 대규모 언어 모델 (LLM)은 디지털 커뮤니케이션의 모든 측면에 대한 이해관계를 극적으로 높였습니다. AI의 잠재력을 수용함에 따라 점점 더 정교해지는 위협에 대한 방어력을 강화하는 것도 중요합니다.

전화 사기의 현재 상황

범죄자들은 ​​수년간 순진한 개인을 속여 돈을 이체하거나 민감한 정보를 누설하도록 시도해 왔습니다. 그러나 전화 사기가 널리 퍼져 있음에도 불구하고 이러한 사기 중 상당수는 대본 판독 담당자에 의존하는 상대적으로 단순합니다. 그러나 이러한 제한에도 불구하고 전화 사기는 계속해서 수익성이 좋은 범죄 기업입니다.

에 따르면 미국 연방거래위원회2022년 한 해에만 미국인들은 사기로 인해 88억 달러가 넘는 손실을 입었으며, 그 중 상당 부분이 전화 사기에 기인합니다. 이는 현재의 덜 발전된 형태에서도 이러한 전술 중 상당수가 여전히 취약한 개인에게 효과가 있다는 것을 의미합니다. 진화하면 어떻게 되나요?

AI 기반 사기의 미래

전화 사기의 양상은 다음과 같은 몇 가지 핵심 기술의 출현으로 극적인 변화를 맞이할 준비가 되어 있습니다.

대형 언어 모델(LLM)

이러한 AI 시스템은 인간과 유사한 텍스트를 생성하고 자연스러운 대화에 참여할 수 있습니다. 사기에 적용하면 LLM은 매우 설득력 있고 적응력이 뛰어난 스크립트를 생성하여 잠재적 피해자가 사기를 식별하는 것을 훨씬 더 어렵게 만들 수 있습니다.

검색 증강 생성(RAG)

이 기술을 통해 LLM 시스템은 실시간으로 방대한 양의 정보에 액세스하고 활용할 수 있습니다. 사기꾼은 소셜 계정과 같이 공개적으로 사용 가능한 정보를 기반으로 개인의 프로필을 구축할 수 있습니다. 또한 친구와 가족에게 사회 공학 기술을 사용하여 더 깊은 정보를 수집할 수도 있습니다. 이를 통해 대상의 신원, 업무 정보 또는 최근 활동과 같은 정보에 접근할 수 있습니다. 그런 다음 RAG를 사용하여 필요한 LLM 컨텍스트를 제공함으로써 접근 방식이 믿을 수 없을 만큼 개인화되고 합법적인 것처럼 보이게 할 수 있습니다.

합성 오디오 생성

다음과 같은 플랫폼 AI처럼 생겼네 그리고 라이어버드 매우 사실적인 AI 생성 음성을 만드는 데 앞장서고 있습니다. 이러한 기술은 가상 비서부터 자동화된 고객 서비스 및 콘텐츠 생성에 이르기까지 다양한 애플리케이션에 활용될 수 있는 인간과 유사한 맞춤형 오디오를 생성할 수 있습니다. 같은 회사 일레븐랩스 사용자가 자신의 음성을 밀접하게 복제할 수 있는 합성 음성을 생성하여 디지털 상호 작용에 대한 새로운 수준의 개인화 및 참여를 허용함으로써 경계를 더욱 넓히고 있습니다.

합성 비디오 생성

같은 회사 합성 AI가 생성한 아바타를 활용해 실감나는 영상 콘텐츠를 제작할 수 있는 가능성을 이미 입증하고 있습니다. 앞으로 몇 년 안에 이 기술을 통해 사기꾼은 친구나 가족 인물을 사칭하거나 영상 통화를 위한 완전히 가상의 페르소나를 만들어 이전에는 불가능했던 수준의 물리적 현실감을 사기에 도입할 수 있습니다.

AI 립싱크

다음과 같은 스타트업 동기화 연구소 생성된 오디오를 비디오 영상과 일치시킬 수 있는 고급 립싱크 기술을 개발하고 있습니다. 이는 역사적 인물, 정치인, 유명인 및 거의 모든 사람의 매우 설득력 있는 딥 페이크 비디오를 만드는 데 사용될 수 있으며 현실과 속임수 사이의 경계를 더욱 모호하게 만듭니다.

이러한 기술의 조합은 다소 우려스러운 그림을 그립니다. AI가 실시간으로 대화를 조정하고 대상에 대한 개인 정보로 무장하고 심지어 생성된 음성과 완벽하게 동기화되어 입술이 움직이는 실제 사람과의 화상 통화로 전환할 수 있는 사기 전화를 상상해 보세요. 속임수의 가능성은 정말 엄청납니다.

강화된 보안 조치의 필요성

이러한 AI 기반 사기가 더욱 정교해짐에 따라 신원과 진위를 확인하는 방법은 AI의 발전과 경쟁해야 합니다. 온라인 세계를 안전하게 유지하려면 규제와 기술 발전이 필요합니다.

규제 개선

더욱 엄격한 데이터 개인 정보 보호법: 보다 엄격한 데이터 개인 정보 보호법을 시행하면 사기꾼이 악용할 수 있는 개인 정보의 양이 제한됩니다. 이러한 법률에는 데이터 수집에 대한 더 엄격한 요구 사항, 향상된 사용자 동의 프로토콜 및 데이터 위반에 대한 더 엄격한 처벌이 포함될 수 있습니다.

가장 강력한 AI 모델을 위한 프라이빗 클라우드: 규정에 따라 가장 강력한 AI 모델을 공개적으로 제공하는 대신 안전한 프라이빗 클라우드 인프라에서 호스팅하도록 요구할 수 있습니다. 이렇게 하면 가장 진보된 기술에 대한 액세스가 제한되어 악의적인 행위자가 해당 기술을 사기에 사용하는 것이 더 어려워집니다. (예: https://security.apple.com/blog/private-cloud-compute/)

AI 규정에 대한 국제 협력: AI 기술의 글로벌 특성을 고려할 때 규제 표준에 대한 국제 협력이 도움이 될 수 있습니다. 국제 AI 규정을 만들고 시행하는 글로벌 기구를 설립하면 국경을 넘는 AI 관련 범죄를 해결하는 데 도움이 될 수 있습니다.

대중 인식 캠페인: 정부와 규제 기관은 시민들에게 AI 사기의 잠재적 위험과 자신을 보호하는 방법을 교육하기 위한 대중 인식 캠페인에 투자해야 합니다. 인식은 개인과 조직이 필요한 보안 조치를 구현할 수 있도록 역량을 부여하는 데 있어 중요한 첫 번째 단계입니다.

현재의 AI 규정은 사기를 예방하기에 충분하지 않으며, 많은 강력한 기술의 오픈 소스 특성으로 인해 향후 규제의 어려움이 더욱 가중되고 있습니다. 이러한 개방성을 통해 누구나 자신의 목적에 맞게 이러한 기술에 액세스하고 수정할 수 있습니다. 결과적으로 보안 기술의 강화된 규제와 함께 발전이 필요합니다.

합성 데이터 탐지

합성 오디오 감지: 사기꾼이 AI를 사용하는 것처럼 우리의 방어도 마찬가지입니다. 같은 회사 핀드롭 에서는 전화 통화 중에 합성 오디오를 실시간으로 감지할 수 있는 AI 기반 시스템을 개발하고 있습니다. 그들의 기술은 통화 오디오의 1,300개 이상의 특징을 분석하여 그것이 실제 사람에게서 나오는 것인지 아니면 정교한 AI 시스템에서 나오는 것인지 판단합니다.

합성 비디오 탐지: 합성 비디오 탐지: AI가 오디오를 조작할 수 있는 것처럼 비디오도 딥페이크 및 기타 합성 비디오 콘텐츠의 형태로 심각한 위협을 가할 수 있습니다. 같은 회사 딥웨어 합성 비디오 감지 기술 개발을 선도하고 있습니다. Deepware의 플랫폼은 고급 기계 학습 알고리즘을 사용하여 AI 생성 콘텐츠에 자주 나타나는 부자연스러운 움직임, 불규칙한 조명, 픽셀 이상 등 비디오 데이터의 미묘한 불일치를 분석합니다. 이러한 불일치를 식별함으로써 Deepware의 기술은 비디오가 진짜인지 또는 조작되었는지 여부를 판단할 수 있으며, 정교한 비디오 기반 사기 및 잘못된 정보 캠페인에 속지 않도록 개인과 조직을 보호하는 데 도움이 됩니다.

인증 발전 확인

사용자의 신원을 확인하기 위한 다양한 방법이 개발되고 있으며 이러한 방법 중 하나 이상이 향후 몇 년 안에 주류가 되어 인터넷을 더욱 안전하게 만들 것입니다.

원격 대화를 위한 2단계 인증: 2단계 인증(2FA)은 여전히 ​​보안 통신의 기본 구성 요소입니다. 이 방법을 사용하면 각 전화 통화 또는 이메일은 현재 이메일 가입과 유사하게 고유한 확인 코드가 포함된 문자 메시지를 트리거합니다. 2FA는 기본 인증에 효과적이지만 그 한계로 인해 모든 상황에서 사용할 수 없으므로 백그라운드에서 작동할 수 있는 포괄적인 인터넷 안전을 보장하기 위한 고급 방법의 개발이 필요합니다.

행동 기반 다단계 인증: 통화 시작 시 신원을 확인하는 것 외에도 미래의 보안 시스템은 상호 작용 전반에 걸쳐 지속적으로 행동을 분석할 수 있습니다. 같은 회사 바이오캐치 행동 생체 인식을 사용하여 개인이 장치와 상호 작용하는 방식을 기반으로 사용자 프로필을 만듭니다. 이 기술은 사기꾼이 초기 인증 확인을 통과했더라도 훔친 정보를 사용하고 있음을 나타낼 수 있는 비정상적인 행동을 탐지할 수 있습니다.

생체 기반 인증: 다음과 같은 회사 온피도 정교한 딥페이크와 기타 형태의 신원 사기를 찾아내는 AI 기반 신원 확인 도구를 제공하는 생체 인식 기술의 선두주자입니다. 해당 시스템은 문서 확인과 생체 인식 분석을 결합하여 통화 또는 화상 채팅 상대방이 실제로 본인이 누구인지 확인합니다.

고급 지식 기반 인증: 미래의 인증 시스템은 단순한 보안 질문을 넘어 사용자의 디지털 발자국과 최근 활동을 기반으로 하는 동적 AI 생성 질문을 통합할 수 있습니다. 예를 들어, 입증하다전화 중심 ID 전문 회사인 는 전화 인텔리전스 및 행동 분석을 활용하여 신원을 확인하는 솔루션을 개발하고 있습니다. 그들의 기술은 개인이 자신의 장치를 사용하여 사기꾼이 복제하기 훨씬 어려운 고유한 “신원 서명”을 생성하는 방식의 패턴을 분석할 수 있습니다.

블록체인 기반 신원 확인 인증: 블록체인 기술은 신원 확인을 위한 분산형 및 변조 방지 방법을 제공합니다. 같은 회사 시민 안전한 인증을 제공하면서 사용자가 자신의 개인 정보를 제어할 수 있는 블록체인 기반 신원 확인 시스템을 선도하고 있습니다. 이러한 시스템은 검증 가능하고 불변의 개인 신원 기록을 생성하므로 고위험 거래를 관리하는 데 적합합니다.

결론

LLM, RAG, 합성 오디오 생성, 합성 비디오 생성 및 립싱크 기술의 융합은 다소 양날의 검입니다. 이러한 발전은 긍정적인 적용을 위한 엄청난 잠재력을 갖고 있지만 사기꾼이 무기화할 경우 상당한 위험을 초래하기도 합니다.

보안 전문가와 사이버 범죄자 사이의 이러한 지속적인 군비 경쟁은 디지털 보안 분야에서 지속적인 혁신과 경계의 필요성을 강조합니다. 우리는 이러한 위험을 인식하고 대비해야만 잠재적인 피해를 완화하면서 이러한 강력한 도구의 이점을 활용하는 방향으로 노력할 수 있습니다.

포괄적인 규제, 이러한 새로운 형태의 사기에 대한 교육, 최첨단 보안 조치에 대한 투자, 그리고 아마도 가장 중요한 것은 각 사기에 대한 건전한 회의론입니다.d 온라인이나 전화를 통해 알려지지 않은 단체와 소통할 때 우리 모두는 이 새로운 환경을 탐색하는 데 필수적입니다.

게시물 언어 모델의 실제 위험: AI 기반 사기 처음 등장한 Unite.AI.