디미트리 마신 CEO이자 공동 설립자입니다 그라디언트 랩AI 스타트 업 구축 자율 고객 지원 에이전트는 금융 서비스와 같은 규제 산업을 위해 특별히 설계되었습니다. 2023 년에 Gradient Labs를 설립하기 전에 Masin은 데이터 과학, 금융 범죄 및 사기 부사장을 포함하여 Monzo Bank에서 선임 리더십 역할을 수행했으며 이전에는 Google에서 근무했습니다. 그의 리더십하에 그라디언트 랩은 신속하게 견인력을 얻었으며 출시 후 5 개월 이내에 연간 반복 수익이 백만 파운드에 달했습니다. Masin의 초점은 고성능을 엄격한 규제 준수와 결합하는 AI 시스템을 개발하여 복잡한 고객 운영을위한 안전하고 확장 가능한 자동화를 가능하게합니다.
Monzo에서 성공적인 여행을 마치고 그라디언트 랩을 시작하게 된 계기는 무엇입니까?
Monzo에서는 고객 지원 자동화에 수년을 보냈으며 일반적으로 10%의 효율성 이득을 목표로 삼았습니다. 그러나 2023 년 초, 우리는 GPT-4의 출시와 함께 지진 기술 변화를 목격했습니다. 갑자기 AI를 통해 완전히 자율적으로 반복적 인 작업의 70-80%를 자동으로 자동화 할 수있었습니다.
이 기술 혁신 우리는 현재 우리가 그라디언트 랩을 시작하도록 영감을주었습니다. 내 경력에서 나는 두 가지 혁명적 인 파도, 즉 모바일 혁명 (내 경력 초기에 일어난)과 현재 AI를 보았다. 당신이 세상이 어떻게 작동하는지 완전히 변화시킬 변형의 한가운데에 있다는 것을 알고있을 때, 당신은 순간을 포착해야합니다. 우리 팀은 지금 시간입니다.
Monzo에서는 대규모 과장을 통해 회사를 이끌도록 도왔습니다. 현재 Gradient Labs에서 신청 한 경험에서 가장 큰 교훈은 무엇입니까?
첫째, 자율성과 방향의 균형을 유지하십시오. Monzo에서 우리는 처음에 사람들이 단순히 자율성에 대해 번성했다고 가정했습니다. 그것이 가장 동기를 부여하는 것입니다. 그러나 그 견해는 이제 지나치게 단순 해 보입니다. 나는 사람들이 또한지도를 중요하게 생각합니다. 진정한 자율성은 사람들에게“당신이 결정한 모든 일을하는 것”을 말하는 것이 아니라, 명확한 방향을 제공하면서 잘 정의 된 문제를 해결할 자유를 제공합니다.
둘째, 최고의 인재는 최고 보상이 필요합니다. 기능에서 상위 5%를 고용하려는 경우 그에 따라 지불해야합니다. 그렇지 않으면, 주요 기술 회사는 당신이 지불 한 최고의 인재가 있다는 것을 알게되면 그들을 고용 할 것입니다.
셋째, 바퀴를 재발 명하지 마십시오. Monzo에서는 작업 구조, 보상 시스템 및 경력 사다리에 대한 혁신적인 접근 방식을 만들려고 노력했습니다. 주요 테이크 아웃 : 조직의 기초에 대한 에너지 혁신을 낭비하지 마십시오 – 수천 개의 회사가 이미 모범 사례를 확립했습니다. 나는 여전히“모든 타이틀과 계층 구조를 제거하는 것”에 대한 LinkedIn 게시물을보고 있습니다. -이 플레이를 반복적으로 보았고 거의 모든 회사가 결국 전통적인 구조로 되돌아갑니다.
그라디언트 랩은 전통적으로 복잡한 요구가있는 규제 산업에 중점을 둡니다. 이 환경에서 효과적으로 작동 할 수있는 AI 에이전트 (OTTO와 같은)를 구축하는 방법은 무엇입니까?
우리는 독창적 인 접근 방식을 취해 전형적인 조언을 거부하여 빠르게 풀려 나고 라이브 제품을 반복했습니다. 대신, 우리는 14 개월을 오토를 출시하기 전에 처음부터 매우 고품질 막대를 유지했습니다. 우리는 은행과 금융 기관이 자신의 지원을 완전히 자율적으로 처리하기 위해 신뢰할 무언가를 만들어야했습니다.
우리는 공동 부조종사를 구축하지 않았습니다. 고객 지원의 엔드 투 엔드 자동화를 구축하고있었습니다. 금융 서비스에 대한 배경 지식을 바탕으로 우리는 “What Good Looks”에 대한 정확한 내부 벤치 마크를 가지고있어 고객 피드백에 의존하지 않고 품질을 평가할 수있었습니다. 이것은 우리에게 빠르게 반복하면서 품질에 집착 할 수있는 자유를 주었다. 라이브 고객이 없으면 우리는 더 큰 도약을하고 자유롭게 물건을 깨고 빠르게 피벗 할 수 있습니다. 궁극적으로 발사시 우수한 제품을 제공합니다.
오토는 간단한 질문에 대답하고 복잡한 워크 플로를 처리합니다. 일반적인 AI 에이전트가 실패 할 수있는 오토가 다단계 또는 고위험 작업을 관리하는 방법을 안내해 주시겠습니까?
우리는 SOPS 개념 (표준 운영 절차)을 중심으로 OTTO를 구축했습니다. 본질적으로 인간 대리인에게 제공하는 것과 유사한 특정 문제를 처리하는 방법을 자세히 설명하는 일반 영어로 작성된 지침 문서.
두 가지 주요 건축 결정은 오토가 복잡한 워크 플로 관리에 특히 효과적입니다.
먼저, 우리는 도구 노출을 제한합니다. AI 에이전트의 일반적인 실패 모드는 너무 많은 옵션에서 잘못 선택하는 것입니다. 각 절차에 대해 관련 도구의 작은 부분 집합 만 OTTO에 노출시킵니다. 예를 들어, 카드 교체 워크 플로에서 Otto는 시스템에 등록 된 30 개 대신 1-2 도구 만 볼 수 있습니다. 이것은 의사 결정 공간을 줄임으로써 정확성을 크게 향상시킵니다.
둘째, 광범위한 AI 보조 인프라의 많은 부분을 광범위하게 생각한 추론을 가능하게했습니다. OpenAI 또는 Anthropic Assistant에서 단순히 절차를 던지기보다는 아키텍처를 통해 입력과 출력 사이의 여러 처리 단계가 가능합니다. 이를 통해 더 깊은 추론과보다 신뢰할 수있는 결과를 얻을 수 있습니다.
Gradient Labs는 고객 지원에서 “초인간 품질”을 달성 할 것을 언급합니다. “초인간 품질”은 무엇을 의미하며, 내부적으로 어떻게 측정합니까?
초인간적 품질은 인간이 달성 할 수있는 것보다 고객 지원을 측정 할 수있게 제공하는 것을 의미합니다. 다음 세 가지 예는 다음을 설명합니다.
첫째, 포괄적 인 지식. AI 에이전트는 방대한 양의 정보를 처리 할 수 있으며 회사에 대한 자세한 지식을 가지고 있습니다. 대조적으로, 인간은 일반적으로 작은 정보의 작은 부분 만 배우고 무언가를 모르면 지식 기반에 상담하거나 동료에게 에스컬레이션해야합니다. 이로 인해 고객이 팀간에 통과되는 실망스러운 경험으로 이어집니다. 대조적으로 AI 에이전트는 회사와 그 프로세스에 대한 깊은 이해를 가지고 있으며 일관된 엔드 투 엔드 답변을 제공합니다. 에스컬레이션이 필요하지 않습니다.
둘째, 게으른 조회-AI는 정보를 빠르게 수집 할 수 있습니다. 인간은 조사하기 전에 고객에게 질문을함으로써 시간을 절약하려고하지만 AI는 대화가 시작되기 전에 계정 정보, 플래그, 경고 및 오류 메시지를 사전에 검사합니다. 따라서 고객이 모호하게“X에 문제가 있습니다”라고 말하면 AI는 여러 가지 명확한 질문을하는 대신 즉시 솔루션을 제공 할 수 있습니다.
마지막으로 인내와 품질 일관성. 시간당 특정 수의 답변을 처리해야한다는 압력에 직면 한 인간과 달리 AI는 일관되게 높은 품질, 인내 및 간결한 의사 소통을 유지합니다. 서두르지 않고 필요한만큼 참을성있게 대답합니다.
우리는 주로 고객 만족도 점수를 통해이를 측정합니다. 모든 현재 고객의 경우 평균 80% -90%의 CSAT 점수를 달성합니다. 일반적으로 인간 팀보다 높습니다.
구배 실험실을 단일 LLM 제공 업체에 묶는 것을 의도적으로 피했습니다. 이 선택이 중요한 이유는 무엇이며 고객의 성능과 신뢰성에 어떤 영향을 미칩니 까?
지난 2 년 동안 OpenAi 또는 Anthropic이 더 빠르고, 더 나은 또는 더 정확한 것을 출시 할 때마다 다음 최고의 모델로 전환 할 수있는 능력에서 우리의 가장 큰 성능 개선이 이루어 졌음을 관찰했습니다. 모델 민첩성이 핵심이었습니다.
이러한 유연성을 통해 비용을 관리하면서 품질을 지속적으로 개선 할 수 있습니다. 일부 작업에는 더 강력한 모델이 필요하고 다른 작업에는 더 적습니다. 우리의 아키텍처를 통해 각 상황에 대한 최적의 모델을 선택하여 시간이 지남에 따라 적응하고 진화 할 수 있습니다.
결국, 우리는 고객의 인프라에서 호스팅 된 개인 오픈 소스 LLM을 지원합니다. 우리의 아키텍처로 인해 이것은 간단한 전환이 될 것이며, 이는 모델 배포에 대한 특정 요구 사항이있는 은행에 서비스를 제공 할 때 특히 중요합니다.
그라디언트 랩은 챗봇을 구축하는 것이 아니라 백 오피스 프로세스도 처리하는 것을 목표로하고 있습니다. 이러한 종류의 작업을 AI로 자동화 할 때 가장 큰 기술적 또는 운영 문제는 무엇입니까?
각각 고유 한 과제를 가진 두 가지 분류 범주의 프로세스가 있습니다.
더 간단한 프로세스의 경우 기술은 이미 존재합니다. 주요 과제는 통합입니다. 대부분의 고객 운영에는 수많은 내부 시스템이 포함되므로 금융 기관이 사용하는 많은 맞춤형 백엔드 시스템 및 도구에 연결하는 것입니다.
복잡한 프로세스의 경우 중요한 기술적 문제가 남아 있습니다. 이러한 과정은 일반적으로 사기 조사 또는 자금 세탁 평가와 같은 전문 지식을 개발하기 위해 6-12 개월 동안 인간을 고용하고 훈련해야합니다. 여기서 도전은 지식 이전입니다. AI 에이전트에게 동일한 도메인 전문 지식을 어떻게 제공합니까? 그것은이 공간의 모든 사람들이 여전히 해결하려고하는 어려운 문제입니다.
그라디언트 랩은 규제 산업의 엄격한 규정 준수 요구 사항과 AI 속도와 효율성의 필요성을 어떻게 균형을 맞추는가?
확실히 균형이지만 대화 수준에서 우리 에이전트는 단순히 생각하는 데 더 많은 시간이 걸립니다. 여러 요인을 평가합니다. 고객이 무엇을 요구하는지 이해하고 있습니까? 정답을주고 있습니까? 고객이 취약성 징후를 보여주고 있습니까? 고객이 불만을 제기하고 싶습니까?
이 고의적 인 접근 방식은 대기 시간을 증가시킵니다. 우리의 중간 응답 시간은 15-20 초일 수 있습니다. 그러나 금융 기관의 경우 공정한 거래입니다. 15 초의 응답은 여전히 인간의 답변보다 훨씬 빠르지 만 품질 보장은 우리와 함께 일하는 규제 회사에게는 훨씬 더 중요합니다.
AI 에이전트가 지원뿐만 아니라 금융 기관 내부의 고위험 의사 결정 작업에 대해 신뢰하는 미래를 예견합니까?
금융 기관은 이미 생성 AI의 현재 물결 이전에 고위험 결정에 더 전통적인 AI 기술을 사용하고있었습니다. 내가 진짜 기회를 보는 곳은 오케스트레이션 중입니다. 결정을 내리는 것이 아니라 전체 프로세스를 조정합니다.
예를 들어, 고객은 문서를 업로드하고 AI 에이전트가 유효성 검사 시스템으로 라우팅하고 유효성 확인을받은 다음 적절한 조치 및 고객 커뮤니케이션을 유발합니다. 이 오케스트레이션 기능은 AI 에이전트가 뛰어난 곳입니다.
가장 높은 이해 결정 자체의 경우 단기적으로는 많은 변화가 보이지 않습니다. 이 모델에는 모델 위험위원회를 통한 설명, 편견 예방 및 승인이 필요합니다. 큰 언어 모델은 이러한 맥락에서 중요한 규정 준수 문제에 직면하게됩니다.
AI는 향후 3-5 년 동안 은행, 핀 테크 회사 및 기타 규제 부문의 고객 경험을 어떻게 재구성 할 것인가?
고객 경험을 바꾸는 5 가지 주요 트렌드가 있습니다.
먼저, 진정한 옴니 채널 상호 작용. 뱅킹 앱에서 채팅을 시작한 다음 동일한 AI 에이전트로 음성으로 완벽하게 전환한다고 상상해보십시오. 음성, 통화 및 채팅은 단일 지속적인 경험으로 조화를 이룹니다.
둘째, 앱 내 탐색을 최소화하는 적응 형 UI. 특정 기능을 위해 메뉴를 사냥하는 대신 고객은 단순히“내 한계를 높이십시오” – 행동은 즉시 대화를 통해 발생합니다.
셋째, 더 나은 단위 경제. 지원과 작전은 대규모 비용 센터입니다. 이러한 비용을 줄이면 은행은 이전에 수익성이없는 고객에게 서비스를 제공하거나 특히 지하 폭스 부문에서 사용자에게 저축을 전달할 수 있습니다.
넷째, 탁월한 지원. 현재 고객이 거의없는 신생 기업은 개인화 된 지원을 제공 할 수 있지만 회사가 성장함에 따라 품질이 저하됩니다. AI는 불가능한 것이 아니라 확장 가능성을 높입니다.
마지막으로, 고객 지원은 실망스러운 필요성에서 진정으로 도움이되는 서비스로 변화 할 것입니다. 더 이상 노동 집약적 인프라 비용으로 간주되지는 않지만 전반적인 경험을 향상시키는 귀중하고 효율적인 고객 터치 포인트로 간주됩니다.
훌륭한 인터뷰에 감사드립니다. 더 배우고 싶은 독자들은 방문해야합니다. 그라디언트 랩.
게시물 Dimitri Masin, Gradient Labs의 CEO 겸 공동 설립자-인터뷰 시리즈 먼저 나타났습니다 Unite.ai.