키릴 솔로PhD는 Thestage AI의 공동 설립자이자 CEO이며, 실제 비즈니스 응용 프로그램을위한 신경망을 최적화 한 경험이 10 년이 넘는 노련한 AI 연구원 및 기업가입니다. 2024 년에 그는 공동 창립했다 thestage ai모든 하드웨어 플랫폼에서 신경망 가속을 완전히 자동화하기 위해 450 만 달러의 자금을 확보했습니다.
이전에 Huawei의 팀 리드로서 Kirill은 Qualcomm NPU에 대한 AI 카메라 애플리케이션의 가속도를 이끌어 P50 및 P60 스마트 폰의 성능에 기여하고 혁신에 대한 여러 특허를 얻었습니다. 그의 연구는 다음과 같은 주요 회의에 실 렸습니다. CVPR 그리고 ECCV 상과 업계 전반의 인정을받은 곳. 그는 또한 a 팟 캐스트 AI 최적화 및 추론.
Thestage AI를 공동 창립하게 된 이유는 무엇이며 학계 및 연구에서 스타트 업 설립자로서 추론 최적화를 다루는 방법으로 어떻게 전환 했습니까?
결국 Thestage AI가 된 것에 대한 기초는 Huawei에서의 작업으로 시작하여 배포를 자동화하고 신경망을 최적화하는 데 깊이 빠져있었습니다. 이러한 이니셔티브는 우리의 획기적인 혁신의 일부의 기초가되었으며, 그곳에서 내가 진정한 도전을 보았습니다. 모델을 훈련시키는 것은 한 가지 일이지만 실제 세계에서 효율적으로 실행하고 사용자가 액세스 할 수 있도록하는 것이 다른 것입니다. 배포는 병목 현상으로 많은 훌륭한 아이디어가 생겨나 지 않습니다. Chatgpt처럼 사용하기 쉬운 것을 만들기 위해서는 많은 백엔드 과제가 관련되어 있습니다. 기술적 인 관점에서, 신경망 최적화는 성능을 높이고 매개 변수를 최소화하는 것입니다. 그것은 혁신의 여지가 충분한 힘든 수학 문제입니다.
수동 추론 최적화는 AI에서 오랫동안 병목 현상이되었습니다. Thestage AI 가이 프로세스를 자동화하는 방법과 게임 체인저 인 이유를 설명해 주시겠습니까?
Thestage AI는 AI에서 주요 병목 현상을 해결합니다 : 수동 압축 및 신경망의 가속도. 신경망에는 수십억 개의 매개 변수가 있으며, 더 나은 성능을 위해 제거해야 할 파라미터를 알아내는 것은 거의 불가능합니다. Anna (Automated Neural Networks Analyzer)는이 프로세스를 자동화하여 최적화에서 제외 할 레이어를 식별합니다.
이것은 AI 채택을보다 빠르고 저렴하게 만들어 게임을 바꿉니다. 비용이 많이 드는 수동 프로세스에 의존하는 대신 스타트 업은 모델을 자동으로 최적화 할 수 있습니다. 이 기술은 비즈니스에 성능과 비용에 대한 명확한 관점을 제공하여 추측없이 효율성과 확장 성을 보장합니다.
Thestage AI는 추론 비용을 최대 5 배까지 줄이라고 주장합니다. 최적화 기술이 기존의 방법에 비해 효과적인 이유는 무엇입니까?
Thestage AI는 전통적인 방법을 넘어선 최적화 접근법으로 출력 비용을 최대 5 배까지 줄입니다. ANNA는 전체 신경망에 동일한 알고리즘을 전체 신경망에 적용하는 대신 더 작은 레이어로 나누고 각 부품에 적용하여 원하는 압축을 제공하여 원하는 압축을 제공하면서 모델의 품질을 극대화합니다. 스마트 수학적 휴리스틱을 효율적인 근사치와 결합함으로써 우리의 접근 방식은 매우 확장 가능하며 모든 규모의 비즈니스에서 AI 채택을보다 쉽게 채택 할 수 있습니다. 또한 Flexible Compiler 설정을 통합하여 iPhone 또는 NVIDIA GPU와 같은 특정 하드웨어의 네트워크를 최적화합니다. 이것은 우리에게 성능을 미세 조정하고 품질을 잃지 않고 속도를 높이는 데 더 많은 제어를 제공합니다.
Thestage AI의 추론 가속도는 Pytorch의 기본 컴파일러와 어떻게 비교되며 AI 개발자에게 어떤 장점이 있습니까?
Thestage AI는 기본 Pytorch 컴파일러를 넘어 출력을 가속화합니다. Pytorch는 “정시”컴파일 방법을 사용하여 실행할 때마다 모델을 컴파일합니다. 이것은 시작 시간이 긴 시간으로 이어지고 때로는 몇 분 이상이 걸립니다. 확장 가능한 환경에서는 특히 새로운 GPU를 온라인으로 가져와 사용자로드를 처리하여 사용자 경험에 영향을 미치는 지연이 발생할 수 있습니다.
대조적으로, Thestage AI를 사용하면 모델을 사전 컴파일 할 수 있으므로 모델이 준비되면 즉시 배포 할 수 있습니다. 이로 인해 롤아웃이 빠르고 서비스 효율성이 향상되며 비용 절감이 저렴합니다. 개발자는 전통적인 편집의 병목 현상없이 AI 모델을 더 빠르게 배포하고 확장 할 수 있으므로 수요가 높은 사용 사례에보다 효율적이고 반응이 좋습니다.
Thestage AI의 Qlip Toolkit에 대해 더 많이 공유하고 품질을 유지하면서 모델 성능을 향상시키는 방법에 대해 공유 할 수 있습니까?
Thestage AI의 툴킷 인 Qlip은 GPU 및 NPU와 같은 다른 하드웨어에 맞춰진 새로운 최적화 알고리즘을 빠르게 구축하기위한 필수 프리미티브 세트를 제공하는 Python 라이브러리입니다. 툴킷에는 효율적이고 확장 가능한 AI 시스템을 개발하는 데 중요한 양자화, 가지 치기, 사양, 컴파일 및 서빙과 같은 구성 요소가 포함됩니다.
Qlip을 차별화하는 것은 유연성입니다. AI 엔지니어는 몇 줄의 코드만으로 새로운 알고리즘을 프로토 타입하고 구현할 수 있습니다. 예를 들어, 양자화 신경망에 관한 최근 AI 회의 논문은 몇 분 안에 QLIP의 프리미티브를 사용하여 작동 알고리즘으로 변환 될 수 있습니다. 이를 통해 개발자는 엄격한 프레임 워크에 의해 물러나지 않고 최신 연구를 모델에 쉽게 통합 할 수 있습니다.
고정 된 알고리즘 세트로 제한하는 기존 오픈 소스 프레임 워크와 달리 QLIP는 누구나 새로운 최적화 기술을 추가 할 수 있도록합니다. 이 적응성은 팀이 빠르게 진화하는 AI 환경보다 앞서있어 성능을 향상시키면서 미래의 혁신에 대한 유연성을 보장하는 데 도움이됩니다.
Huawei의 P50 및 P60 카메라에 사용되는 AI 양자화 프레임 워크에 기여했습니다. 그 경험은 AI 최적화에 대한 당신의 접근 방식을 어떻게 형성 했습니까?
Huawei의 P50 및 P60을위한 AI 양자화 프레임 워크에서 작업 한 경험은 최적화를 간소화하고 스케일링 할 수있는 방법에 대한 귀중한 통찰력을 제공했습니다. Pytorch로 처음 시작했을 때, 신경망의 전체 실행 그래프로 작업하는 것은 엄격했으며, 양자화 알고리즘은 수동으로 층별로 구현되어야했습니다. 화웨이에서는 프로세스를 자동화하는 프레임 워크를 구축했습니다. 단순히 모델을 입력하면 양자화 코드를 자동으로 생성하여 수동 작업을 제거합니다.
이로 인해 AI 최적화의 자동화는 품질을 희생하지 않고 속도를 가능하게하는 것임을 깨달았습니다. 내가 개발하고 특허를받은 알고리즘 중 하나는 화웨이에게 특히 제재로 인해 Kirin 프로세서에서 Qualcomm으로 전환해야 할 때 Huawei에게 필수적이되었습니다. 이를 통해 팀은 성능이나 정확성을 잃지 않고 신경망을 Qualcomm의 아키텍처에 신속하게 조정할 수있었습니다.
프로세스를 간소화하고 자동화함으로써 개발 시간을 1 년 넘게 몇 개월로 줄였습니다. 이로 인해 수백만이 사용하는 제품에 큰 영향을 미쳤으며 속도, 효율성 및 최소한의 품질 손실에 중점을 둔 최적화에 대한 나의 접근 방식을 형성했습니다. 그것이 제가 오늘 Anna에게 가져 오는 사고 방식입니다.
귀하의 연구는 CVPR 및 ECCV에 실 렸습니다. 가장 자랑스럽게 생각하는 AI 효율의 주요 획기적인 것은 무엇입니까?
AI 효율에 대한 나의 업적에 대해 물었을 때, 나는 항상 CVPR 2023에서 구두 프레젠테이션을 위해 선정 된 논문으로 돌아가는 것입니다. 그러한 회의에서 구두 프레젠테이션을 위해 선정되는 것은 드문 일입니다. 이것은 생성 AI가 일반적으로 스포트라이트를 지배한다는 사실을 추가하고, 우리의 논문은 수학적 측면, 특히 신경망의 분석 및 압축에 초점을 맞추면서 다른 접근법을 취했습니다.
우리는 신경망이 실제로 효율적으로 작동하는 데 필요한 매개 변수를 이해하는 데 도움이되는 방법을 개발했습니다. 기능 분석에서 기술을 적용하고 개별에서 연속 공식으로 이동함으로써 이러한 변경 사항을 모델에 다시 통합 할 수있는 능력을 유지하면서 우수한 압축 결과를 얻을 수있었습니다. 이 논문은 또한 커뮤니티에서 사용하지 않은 몇 가지 새로운 알고리즘을 도입하여 추가 응용 프로그램을 찾았습니다.
이것은 AI 분야의 첫 번째 논문 중 하나였으며 중요한 것은 공동 창립자를 포함하여 팀의 집단적 노력의 결과였습니다. 그것은 우리 모두에게 중요한 이정표였습니다.
INNS (Inderal Neural Networks)가 어떻게 작동하고 왜 딥 러닝에서 중요한 혁신인지 설명 할 수 있습니까?
전통적인 신경망은 크기와 매개 변수가 미리 결정된 Excel 테이블과 유사한 고정 행렬을 사용합니다. 그러나 Inns는 네트워크를 지속적인 기능으로 묘사하여 훨씬 더 유연성을 제공합니다. 다른 높이에 핀이있는 담요처럼 생각하면 연속파를 나타냅니다.
Inns를 흥미롭게 만드는 것은 아날로그 신호가 사운드로 디지털화되는 방식과 유사하게 사용 가능한 리소스를 기반으로 “압축”또는 “확장”하는 능력입니다. 품질을 희생하지 않고 네트워크를 축소 할 수 있으며 필요할 때 재교육없이 다시 확장 할 수 있습니다.
우리는 이것을 테스트했으며, 전통적인 압축 방법으로 인해 품질이 크게 손실되지만, 여관은 극심한 압축에서도 원래의 품질을 유지합니다. 그 뒤에있는 수학은 AI 커뮤니티에게는 비 전통적이지만 실제 가치는 최소한의 노력으로 견고하고 실용적인 결과를 제공하는 능력에 있습니다.
Thestage AI는 양자 어닐링 알고리즘에서 작업했습니다. 가까운 시일 내에 AI 최적화에서 양자 컴퓨팅이 어떻게 역할을하는 것을 보십니까?
양자 컴퓨팅과 AI 최적화에서의 역할과 관련하여 핵심 테이크 아웃은 양자 시스템이 최적화와 같은 문제를 해결하기위한 완전히 다른 접근법을 제공한다는 것입니다. 우리는 양자 어닐링 알고리즘을 처음부터 발명하지는 않았지만 D-Wave와 같은 회사는 파이썬 라이브러리를 제공하여 양자 컴퓨터에 이상적인 개별 최적화 작업을 위해 특별히 양자 알고리즘을 구축합니다.
여기서 아이디어는 신경 네트워크를 양자 컴퓨터에 직접로드하지 않는다는 것입니다. 현재 아키텍처에서는 불가능합니다. 대신, 우리는 신경망이 다른 유형의 열화 하에서 어떻게 행동하는지 근사화하여 양자 칩이 처리 할 수있는 시스템에 적합합니다.
미래에, 양자 시스템은 전통적인 시스템이 일치하기 위해 어려움을 겪고있는 정밀도로 네트워크를 확장하고 최적화 할 수 있습니다. 양자 시스템의 장점은 내장 병렬 처리에 있으며, 클래식 시스템은 추가 리소스를 사용하여 시뮬레이션 할 수있는 것입니다. 이는 양자 컴퓨팅이 더 크고 더 복잡한 네트워크를 효과적으로 모델링하는 방법을 알아 내기 때문에 최적화 프로세스의 속도를 크게 높일 수 있음을 의미합니다.
실제 잠재력은 양자 컴퓨팅을 사용하여 대규모 복잡한 최적화 작업을 해결하고 매개 변수를 더 작고 관리하기 쉬운 그룹으로 나눕니다. Quantum 및 Optical Computing과 같은 기술을 사용하면 전통적인 컴퓨팅이 제공 할 수있는 것 이상으로 AI를 최적화 할 수있는 방대한 가능성이 있습니다.
Thestage AI에 대한 장기 비전은 무엇입니까? 향후 5-10 년 동안 추론 최적화 제목은 어디에 있습니까?
장기적으로 Thestage AI는 스마트 폰이든 다른 장치에 관계없이 원하는 특성으로 최적의 신경망에 쉽게 액세스 할 수있는 글로벌 모델 허브가되는 것을 목표로합니다. 목표는 사용자가 매개 변수를 입력하고 시스템이 자동으로 네트워크를 생성하는 드래그 앤 드롭 경험을 제공하는 것입니다. 네트워크가 아직 존재하지 않으면 Anna를 사용하여 자동으로 생성됩니다.
우리의 목표는 신경망을 사용자 장치에서 직접 실행하여 비용을 20 ~ 30 회 줄이는 것입니다. 앞으로 사용자의 장치가 클라우드 서버에 의존하기보다는 계산을 처리 할 수 있기 때문에 비용이 거의 완전히 제거 될 수 있습니다. 이는 모델 압축 및 하드웨어 가속의 발전과 결합하여 AI 배포가 훨씬 더 효율적일 수 있습니다.
또한 자율 주행 및 로봇 공학과 같은 분야의 응용 프로그램을 위해 센서, 칩 및 로봇 공학과 같은 하드웨어 솔루션과 기술을 통합 할 계획입니다. 예를 들어, 우리는 공간에서 또는 어둠이나 먼지와 같은 극한 조건 하에서 모든 환경에서 기능 할 수있는 AI 카메라를 구축하는 것을 목표로합니다. 이를 통해 광범위한 애플리케이션에서 AI를 사용할 수 있으며 특정 하드웨어 및 사용 사례를위한 사용자 정의 솔루션을 만들 수 있습니다.
훌륭한 인터뷰에 감사드립니다. 더 배우고 싶은 독자들은 방문해야합니다. thestage ai.
게시물 Kirill Solodskih, Thestage AI의 공동 창립자이자 CEO-인터뷰 시리즈 먼저 나타났습니다 Unite.ai.
