neetu pathak공동 창립자 및 CEO Skymel회사는 혁신적인 NeurOsplit ™ 기술에 대한 AI 추론에 혁명을 일으킨다. CTO Sushant Tripathy와 함께 그녀는 Skymel의 사명을 통해 AI 응용 프로그램 성능을 향상시키면서 계산 비용을 줄입니다.
NeuroSplit ™는 최종 사용자 장치와 클라우드 서버간에 AI 워크로드를 동적으로 배포하는 적응 형 추론 기술입니다. 이 접근법은 사용자 장치의 유휴 컴퓨팅 리소스를 활용하고 클라우드 인프라 비용을 최대 60%까지 줄이고 추론 속도를 가속화하고 데이터 프라이버시를 보장하며 완벽한 확장 성을 가능하게합니다.
Local Compute Power를 최적화함으로써 NeurOSPlit ™은 AI 애플리케이션이 구형 GPU에서 효율적으로 실행할 수 있도록하여 사용자 경험을 향상시키는 동시에 비용을 크게 낮 춥니 다.
Skymel을 공동 창립 한 이유는 무엇이며 AI 인프라의 주요 과제는 NeuroSplit로 해결하려는 목표입니까?
Skymel에 대한 영감은 우리의 보완 경험의 수렴에서 비롯되었습니다. Google에서 내 공동 창립자에서 Sushant Tripathy수십억의 안드로이드 장치에 걸쳐 음성 기반 AI 모델을 배포하고 있습니다. 그는 최종 사용자 기기에 사용할 수있는 엄청난 양의 유휴 컴퓨팅 전력이 있음을 발견했지만 대부분의 회사는 사용자 경험을 손상시키지 않으면 서 이러한 리소스에 액세스하는 복잡한 엔지니어링 문제로 인해 효과적으로 활용할 수 없었습니다.
한편, Redis의 기업 및 신생 기업과 함께 일한 경험은 비즈니스에 대한 대기 시간이 얼마나 중요한지에 대한 깊은 통찰력을주었습니다. AI 애플리케이션이 더 널리 퍼져 있기 때문에, 데이터 센터로 지속적으로 데이터를 셧다운하는 대신 데이터가 생성되는 위치에 더 가깝게 처리해야한다는 것이 분명했습니다.
그때 Sushant와 나는 미래가 로컬 또는 클라우드 처리 중에서 선택하는 것이 아니라는 것을 깨달았을 때, 각 특정 추론 요청을 기반으로 로컬, 클라우드 또는 하이브리드 처리 사이에 원활하게 적응할 수있는 지능형 기술을 만드는 것이 었습니다. 이 통찰력으로 인해 우리는 Skymel을 발견하고 Neurosplit을 개발하여 AI 혁신을 막고있는 전통적인 인프라 제한을 넘어서는 Neurosplit을 개발하게되었습니다.
사용자 개인 정보 및 성능을 유지하면서 NeuroSplit이 계산 리소스를 동적으로 최적화하는 방법을 설명 할 수 있습니까?
로컬 AI 추론의 주요 함정 중 하나는 정적 컴퓨팅 요구 사항입니다. 전통적으로 AI 모델을 실행하면 장치의 조건이나 사용자 동작에 관계없이 동일한 계산 리소스가 필요합니다. 이 단일 크기의 모든 접근 방식은 다양한 칩 (GPU, NPU, CPU, XPU)에서 네트워크 대역폭에 이르기까지 다양한 하드웨어 기능을 가지고 있다는 사실을 무시하며 사용자는 응용 프로그램 사용 및 충전 패턴 측면에서 다양한 동작을 가지고 있습니다.
Neurosplit는 하드웨어 기능에서 현재 리소스 활용, 배터리 상태 및 네트워크 조건에 이르기까지 다양한 장치 원격 측정을 지속적으로 모니터링합니다. 우리는 또한 실행중인 다른 응용 프로그램과 일반적인 장치 사용 패턴과 같은 사용자 행동 패턴을 고려합니다. 이 포괄적 인 모니터링은 Neurosplit이 최종 사용자 장치에서 얼마나 많은 추론 컴퓨팅을 안전하게 실행할 수 있는지 동적으로 결정하고 개발자의 주요 성능 표시기를 최적화 할 수 있습니다.
데이터 개인 정보가 가장 중요 할 때, NeuroSplit은 원시 데이터가 장치를 떠나지 않도록하여 최적의 성능을 유지하면서 민감한 정보를 로컬로 처리합니다. AI 모델을 스마트하게 분할, 트림 또는 해체하는 기능을 통해 최종 사용자 장치에서 하나의 양자화 된 모델의 메모리 공간에서 50-100 AI 스터브 모델을 장착 할 수 있습니다. 실제적인 관점에서, 이는 사용자가 기존의 정적 계산 접근법에 비해 민감한 데이터를 로컬로 처리하여 동시에 더 많은 AI 구동 응용 프로그램을 실행할 수 있음을 의미합니다.
AI 회사, 특히 구형 GPU 기술과 함께 일하는 사람들에 대한 Neurosplit의 적응 적 추론의 주요 이점은 무엇입니까?
Neurosplit은 AI 회사에 세 가지 변형 적 이점을 제공합니다. 첫째, 두 가지 메커니즘을 통해 인프라 비용을 크게 줄입니다. 회사는 저렴하고 오래된 GPU를 효과적으로 활용할 수 있으며 클라우드 GPU에 전체 및 스터브 모델을 모두 장착하는 고유 한 기능으로 인해 GPU 활용률이 상당히 높아집니다. 예를 들어, 일반적으로 시간당 $ 2.74의 여러 NVIDIA A100을 필요로하는 응용 프로그램은 이제 단일 A100 또는 다중 V100을 시간당 83 센트로 실행할 수 있습니다.
둘째, 우리는 사용자 장치에서 직접 초기 원시 데이터를 직접 처리하여 성능을 실질적으로 향상시킵니다. 이는 결국 클라우드로 이동하는 데이터가 크기가 훨씬 작기 때문에 정확도를 유지하면서 네트워크 대기 시간을 크게 줄입니다. 이 하이브리드 접근 방식은 기업이 클라우드 컴퓨팅의 힘으로 로컬 처리 속도 인 두 세계의 최고를 제공합니다.
셋째, 최종 사용자 장치에서 민감한 초기 데이터 처리를 처리함으로써 회사는 성능을 희생하지 않고 강력한 사용자 개인 정보 보호를 유지하도록 도와줍니다. 프라이버시 규정이 더 엄격 해지고 사용자가 더 개인 정보를 의식하기 때문에 이는 점점 더 중요합니다.
Skymel의 솔루션은 모델 복잡성이나 정확성을 손상시키지 않고 AI 추론 비용을 어떻게 줄입니까?
먼저 개별 AI 모델을 분할하여 사용자 장치와 클라우드간에 계산을 분배합니다. 첫 번째 부분은 최종 사용자의 장치에서 실행되며 사용 가능한 장치 리소스에 따라 총 계산의 5% ~ 100%를 처리합니다. 클라우드 GPU에서 나머지 계산 만 처리하면됩니다.
이 분할은 클라우드 GPU가 계산 부하를 줄이는 것을 의미합니다. 모델이 원래 분할 후 전체 A100 GPU가 필요한 경우 동일한 워크로드가 GPU 용량의 30-40% 만 필요할 수 있습니다. 이를 통해 회사는 V100과 같은보다 비용 효율적인 GPU 인스턴스를 사용할 수 있습니다.
둘째, NeuroSplit는 클라우드에서 GPU 사용을 최적화합니다. 동일한 클라우드 GPU에서 전체 모델과 스터브 모델 (분할 모델의 나머지 부분)을 효율적으로 배열함으로써 전통적인 접근 방식에 비해 활용률이 상당히 높아집니다. 이는 더 많은 모델이 동일한 클라우드 GPU에서 동시에 실행될 수 있음을 의미하며, 회계 당 비용이 더욱 줄어 듭니다.
Skymel의 하이브리드 (Local + Cloud) 접근 방식을 시장의 다른 AI 인프라 솔루션과 구별하는 것은 무엇입니까?
AI 풍경은 매혹적인 변곡점에 있습니다. Apple, Samsung 및 Qualcomm은 생태계 기능을 통해 하이브리드 AI의 힘을 보여주고 있지만,이 벽화가 남아 있습니다. 그러나 AI는 어떤 최종 사용자 장치가 누군가를 사용하는지에 국한해서는 안됩니다.
NeuroSplit은 기본적으로 장치 공유, 클라우드 공유 및 신경 네트워크에 대한 비수성입니다. 이는 개발자가 사용자가 iPhone, Android 장치 또는 랩톱에 있는지 또는 AWS, Azure 또는 Google Cloud를 사용하는지 여부에 관계없이 일관된 AI 경험을 제공 할 수 있음을 의미합니다.
이것이 개발자에게 무엇을 의미하는지 생각해보십시오. 그들은 AI 응용 프로그램을 한 번 구축하고 모든 장치, 클라우드 및 신경망 아키텍처에 지능적으로 적응한다는 것을 알 수 있습니다. 더 이상 다른 플랫폼에 대한 다른 버전을 구축하거나 장치 기능을 기반으로하는 기능을 손상시키지 않습니다.
우리는 Enterprise-Grade Hybrid AI 기능을 Walled Gardens에서 가져 와서 보편적으로 접근 할 수 있도록합니다. AI가 모든 애플리케이션의 중심이되면서 이러한 종류의 유연성과 일관성은 이점이 아니라 혁신에 필수적입니다.
오케스트레이터 에이전트는 어떻게 신경증을 보완하며, AI 배포 전략을 변환하는 데 어떤 역할을합니까?
오케스트레이터 에이전트 (OA) 및 NeuroSplit은 함께 작동하여 자체 최적화 AI 배포 시스템을 만듭니다.
1. EEEVENVENCER는 경계를 설정합니다.
- 제약 조건 : 허용 된 모델, 버전, 클라우드 제공 업체, 영역, 준수 규칙
- 목표 : 목표 대기 시간, 비용 제한, 성능 요구 사항, 개인 정보 보호 요구
2. OA는 이러한 제약 내에서 작동하여 목표를 달성합니다.
- 각 요청에 사용할 모델/API를 결정합니다
- 실제 성능을 기반으로 배포 전략을 조정합니다
- 지정된 목표를 최적화하기 위해 트레이드 오프를 만듭니다
- 요구가 변경됨에 따라 즉시 재구성 할 수 있습니다
3. Neurosplit은 OA의 결정을 실행합니다.
- 실시간 장치 원격 측정을 사용하여 실행을 최적화합니다
- 유익한 경우 장치와 클라우드 사이의 처리를 분할합니다
- 각 추론은 현재 조건이 최적으로 주어진 상태로 실행되도록합니다
모든 시나리오에 수동 최적화가 필요하지 않고 정의 된 규칙과 목표 내에서 자율적으로 최적화하는 AI 시스템을 갖는 것과 같습니다.
귀하의 의견으로는, 오케스트레이터 에이전트는 AI가 산업 전반에 걸쳐 AI를 배치하는 방식을 어떻게 재구성 할 것인가?
AI 채택과 혁신을 방해 한 세 가지 중요한 과제를 해결합니다.
첫째, 회사는 최신 AI 발전에 쉽게 발행 할 수 있습니다. 오케스트레이터 에이전트를 사용하면 인프라를 재 작업하지 않고 최신 모델과 기술을 즉시 활용할 수 있습니다. 이것은 AI 혁신이 브레이크 넥 속도로 움직이는 세계에서 주요 경쟁 우위입니다.
둘째, AI 모델 선택의 동적 인 요청 별 최적화를 가능하게합니다. 오케스트레이터 에이전트는 옵션의 거대한 생태계에서 모델을 지능적으로 혼합하고 일치시켜 각 사용자 상호 작용에 대해 최상의 결과를 제공 할 수 있습니다. 예를 들어, 고객 서비스 AI는 기술적 인 질문에 특수 모델을 사용하고 청구 문의에 다른 모델을 사용하여 각 유형의 상호 작용에 대해 더 나은 결과를 제공 할 수 있습니다.
셋째, 비용을 최소화하면서 성능을 극대화합니다. 에이전트는 사용자의 장치에서 AI를 실행하거나 클라우드에서 그 순간 가장 의미가있는 것에 따라 자동으로 균형을 이룹니다. 개인 정보가 중요하면 데이터를 로컬로 처리합니다. 추가 컴퓨팅 전력이 필요한 경우 클라우드를 활용합니다. 이 모든 것은 무대 뒤에서 발생하여 비즈니스를위한 리소스를 최적화하면서 사용자에게 원활한 경험을 제공합니다.
그러나 오케스트레이터 에이전트를 차별화하는 것은 비즈니스가 사용자를위한 차세대 과신자 경험을 창출 할 수있는 방법입니다. 전자 학습 플랫폼을 가져 가십시오. 우리의 기술을 통해 각 학생의 이해 수준에 따라 교수법을 자동으로 조정하는 시스템을 구축 할 수 있습니다. 사용자가 “머신 러닝”을 검색 할 때 플랫폼은 일반적인 결과를 보여줄뿐만 아니라 현재 알고있는 개념을 사용하여 현재 이해를 즉시 평가하고 설명을 사용자 정의 할 수 있습니다.
궁극적으로 Orchestrator 에이전트는 AI 배포의 미래를 나타냅니다. 정적, 모 놀리 식 AI 인프라에서 역동적이고 적응적인 자체 최적화 AI 오케스트레이션으로 전환합니다. AI 배포를보다 쉽게 만드는 것이 아니라 완전히 새로운 클래스의 AI 응용 프로그램을 가능하게하는 것입니다.
오케스트레이터 에이전트의 개인 베타에 참여하는 회사로부터 어떤 종류의 피드백을 받았습니까?
개인 베타 참가자의 피드백은 훌륭했습니다! 회사는 독점 모델이든 호스팅 서비스에 관계없이 인프라 잠금에서 벗어날 수 있다는 사실을 알게되어 기쁩니다. 배포 결정을 미래 방지 할 수있는 능력은 게임 체인저였으며, 접근 방식을 전환 할 때 몇 달 간의 재 작업을 제거했습니다.
우리의 Neurosplit 성능 결과는 놀라운 일이 아닙니다. 우리는 곧 데이터를 공개적으로 공유하기를 기다릴 수 없습니다. 특히 흥미로운 점은 적응 형 AI 배포의 개념이 상상력을 사로 잡는 방법입니다. AI가 배치하고 있다는 사실은 미래 지향적이며 지금은 예상되는 것이 아니라 미래 지향적으로 들리므로 사람들은 미래에 만들어 질 수있는 가능성과 새로운 시장에 대해 흥분합니다.
생성 AI의 급속한 발전으로 AI 인프라의 다음 주요 장애물은 무엇이며 Skymel은 어떻게 해결해야합니까?
우리는 아직 완전히 파악하지 못한 미래를 향해 향하고 있습니다. 단일 지배적 인 AI 모델은 없지만 수십억 개의 모델이 없습니다. 상상할 수있는 가장 강력한 일반 AI 모델을 만들더라도 지구상의 모든 사람에게 개인화 된 버전이 필요합니다. 그것은 세계 인구를 기준으로 최소 80 억 개의 모델입니다.
이것은 오늘날의 한 크기의 모든 접근 방식에서 혁신적인 변화를 나타냅니다. 미래는 HA를 할 수있는 지능형 인프라를 요구합니다 수십억 개의 모델. Skymel에서 우리는 오늘날의 배포 문제를 해결하는 것이 아닙니다. 우리의 기술 로드맵은 이미 다음에 오는 것에 대한 토대를 구축하고 있습니다.
향후 5 년 동안 AI 인프라가 발전하는 것을 어떻게 상상하고 있으며,이 진화에서 Skymel이 어떤 역할을하는 것을 보십니까?
AI 인프라 환경은 근본적인 변화를 겪고 있습니다. 오늘날의 초점은 클라우드에서 일반적인 대형 언어 모델을 확장하는 데 중점을두고 있지만 향후 5 년간 AI는 깊이 개인화되고 상황을 인식하는 것을 보게 될 것입니다. 이것은 단지 미세 조정에 관한 것이 아닙니다. 특정 사용자, 장치 및 상황에 실시간으로 적응하는 AI에 관한 것입니다.
이러한 변화는 두 가지 주요 인프라 문제를 만듭니다. 첫째, 중앙 집중식 데이터 센터에서 모든 것을 실행하는 전통적인 접근 방식은 기술적으로나 경제적으로 지속 불가능 해집니다. 둘째, AI 애플리케이션의 복잡성이 증가한다는 것은 여러 모델, 장치 및 컴퓨팅 위치에 걸쳐 동적으로 최적화 할 수있는 인프라가 필요하다는 것을 의미합니다.
Skymel에서는 이러한 과제를 구체적으로 해결하는 인프라를 구축합니다. 우리의 기술을 사용하면 AI가 데이터가 생성되는 장치, 더 많은 컴퓨팅을 사용할 수있는 클라우드에서 또는 둘 사이에 지능적으로 분할 되든 상관없이 가장 의미가있는 곳에서 AI가 실행될 수 있습니다. 더 중요한 것은 변화하는 조건과 요구 사항에 따라 이러한 결정을 실시간으로 조정하는 것입니다.
앞으로, 성공적인 AI 응용 프로그램은 모델의 크기 또는 액세스 할 수있는 컴퓨팅 금액으로 정의되지 않습니다. 그들은 자원을 효율적으로 관리하면서 개인화되고 반응적인 경험을 제공하는 능력으로 정의 될 것입니다. 우리의 목표는 규모 나 복잡성에 관계없이 이러한 수준의 지능형 최적화에 액세스 할 수 있도록하는 것입니다.
훌륭한 인터뷰에 감사드립니다. 더 배우고 싶은 독자들은 방문해야합니다. Skymel.
게시물 Neetu Pathak, Skymel의 공동 창립자이자 CEO-인터뷰 시리즈 먼저 나타났습니다 Unite.ai.
