Naveen VermaPrinceton University의 실험실은 엔지니어들이 디지털 컴퓨팅 대신 아날로그 현상을 사용하여 AI 초대성을 만들려고 시도한 모든 방법의 박물관과 같습니다. 한 벤치에는 가장 에너지 효율적인 자기 메모리 기반 신경 네트워크 컴퓨터가 있습니다. 다른 한편으로는 저항 메모리 기반 칩을 찾을 수 있습니다. 아날로그 AI 아직 시스템.
Verma에 따르면 상업적 미래도 없습니다. 덜 자선 적으로, 그의 실험실 의이 부분은 묘지입니다.
아날로그 AI는 수년간 칩 아키텍트의 상상력을 포착했습니다. 기계 학습의 에너지 집약적 인 기계 학습을 막아야하는 두 가지 주요 개념을 결합합니다. 먼저 메모리 칩과 프로세서 사이의 비트의 비용이 많이 드는 움직임을 제한합니다. 둘째, 논리의 1과 0 대신, 전류 흐름의 물리학을 사용하여 기계 학습의 주요 계산을 효율적으로 수행합니다.
아이디어가 매력적으로, 다양한 아날로그 AI 체계는 AI의 엄청난 에너지 식욕을 실제로 물릴 수있는 방식으로 전달되지 않았습니다. Verma는 알고있을 것입니다. 그는 그들 모두를 시도했습니다.
그러나 언제 IEEE 스펙트럼 1 년 전에 방문한 Verma의 실험실 뒷면에는 아날로그 AI와 AI를 유용하고 유비쿼터스로 만드는 데 필요한 에너지 효율적인 컴퓨팅에 대한 희망을 나타내는 칩이있었습니다. 칩은 전류로 계산하는 대신 충전을 합산합니다. 중요하지 않은 차이처럼 보일 수 있지만 다른 모든 아날로그 AI 체계를 방해하는 노이즈를 극복하는 것이 중요합니다.
이번 주 Verma의 스타트 업 에관 이 새로운 아키텍처 인 EN100을 기반으로 첫 번째 칩을 공개했습니다. 신생 기업은 칩이 경쟁 칩보다 최대 20 배 더 우수한 Watt 당 성능으로 다양한 AI 작업을 다루고 있다고 주장합니다. AI 캡슐형 랩톱에서 배터리 수명을 보존하기 위해 8.25 와트에서 초당 200 조의 작업을 추가하는 단일 프로세서 카드로 설계되었습니다. 또한, 초당 4 칩, 1000 조 5 분의 1의 4 칩은 AI 워크 스테이션을 대상으로합니다.
현재와 우연의 일치
Verma는 기계 학습에서 우리가하고있는 주요 작업은 Matrix 곱하는 것입니다. “라고 말합니다. 기본적으로 숫자 배열을 가져 와서 다른 배열을 곱한 다음 모든 곱셈의 결과를 추가합니다. 초기에 엔지니어들은 우연의 일치를 발견했습니다. 전기 공학의 두 가지 기본 규칙이 정확히 그 작업을 수행 할 수 있습니다. Ohm의 법칙에 따르면 전압과 컨덕턴스를 곱하여 전류가 발생한다고합니다. 그리고 Kirchoff의 현재 법칙에 따르면 전선에서 한 지점으로 들어오는 많은 전류가 있다면 해당 전류의 합이 그 지점을 떠나는 것입니다. 따라서 기본적으로, 각각의 입력 전압은 각각 저항을 통해 전류를 푸시하여 (컨덕턴스는 저항의 역수) 전압 값을 곱하고 모든 전류는 단일 값을 생성하기 위해 추가됩니다. 수학, 완료.
좋은 소리? 글쎄, 그것은 나아집니다. 신경망을 구성하는 대부분의 데이터는 입력을 곱한 것입니다. 그리고 해당 데이터를 메모리에서 프로세서의 논리로 옮기기 위해 작업을 수행하는 것은 에너지 GPU 지출의 큰 부분을 담당합니다. 대신, 대부분의 아날로그 AI 체계에서 가중치는 컨덕턴스 값 (위의 저항)으로 여러 유형의 비 휘발성 메모리 중 하나에 저장됩니다. 가중치 데이터는 이미 계산을 수행하는 데 필요한 위치이기 때문에 에너지 더미를 절약 할 필요는 없습니다.
무료 수학 및 고정 데이터의 조합은 단지 필요한 계산을 약속합니다. 에너지의 수천 분의 1 억. 불행히도, 그것은 아날로그 AI 노력이 제공 한 거의 아닙니다.
현재의 문제
모든 종류의 아날로그 컴퓨팅의 기본 문제는 항상 신호 대 잡음 비율이었습니다. 아날로그 AI는 트럭로드로 그것을 가지고 있습니다. 이 경우 모든 곱셈의 합은 가능한 많은 소음원에 의해 압도되는 경향이 있습니다.
Verma는“문제는 반도체 장치가 지저분하다는 것입니다. 가중치가 개별 RRAM 세포의 컨덕턴스로 저장되는 아날로그 신경망이 있다고 가정 해 봅시다. 이러한 중량 값은 정의 된 기간 동안 RRAM 셀을 통해 상대적으로 높은 전압을 설정하여 저장됩니다. 문제는 같은 시간 동안 두 셀에 동일한 전압을 설정할 수 있으며,이 두 셀은 약간 다른 컨덕턴스 값으로 감을 것입니다. 더 나쁜 것은, 이러한 컨덕턴스 값은 온도에 따라 변할 수 있습니다.
차이는 작을 수 있지만 작업이 많은 곱셈을 추가하고 노이즈가 확대되었다는 것을 상기하십시오. 더 나쁜 것은 결과 전류가 다음 신경망의 다음 층의 입력 인 전압으로 바뀝니다.
연구원들은 컴퓨터 과학 관점과 장치 물리학 에서이 문제를 공격했습니다. 소음을 보상하기 위해 연구원들은 기기의 물리적 지식에 대한 지식을 신경망 모델에 구울 수있는 방법을 발명했습니다. 다른 사람들은 가능한 한 예측할 수있는 기기를 만드는 데 중점을 두었습니다. IBM 이 분야에 대한 광범위한 연구둘 다.
이러한 기술은 소규모 시스템에서는 아직 상업적으로 성공하지 못하지만 경쟁력이 있으며 IoT 네트워크의 가장자리에있는 장치에 저전력 기계 학습을 제공하기위한 칩입니다. 초기 참가자 신화 ai 1 세대 이상의 아날로그 AI 칩을 생산했지만 저전력 디지털 칩이 성공하는 분야에서 경쟁하고 있습니다.
PCS 용 EN100 카드는 새로운 아날로그 AI 칩 아키텍처입니다.에관
커패시터는 끝까지 내려갑니다
ENGARGE의 솔루션은 기계 학습의 곱셈 및 축적 진언에서 전하 흐름 대신 충전량을 측정하여 노이즈를 제거합니다. 전통적인 아날로그 AI에서, 전압, 컨덕턴스 및 전류의 관계에 따라 곱셈. 이 새로운 체계에서는 전압, 커패시턴스 및 전하 사이의 관계에 따라 기본적으로 충전량은 커패시턴스 시간 전압과 동일합니다.
그 차이가 중요한 이유는 무엇입니까? 곱셈을 수행하는 구성 요소로 내려집니다. RRAM과 같은 까다 롭고 취약한 장치를 사용하는 대신 ENGARGE는 커패시터를 사용합니다.
커패시터는 기본적으로 절연체를 끼우는 두 개의 도체입니다. 도체의 전압 차이는 전도체 중 하나에 충전을 유발합니다. 머신 러닝 목적으로 그들에 대한 핵심은 그들의 가치, 커패시턴스가 그들의 크기에 의해 결정된다는 것입니다. (도체 사이의 공간이 많거나 적은 공간은 더 많은 커패시턴스를 의미합니다.)
Verma는“그들이 의존하는 유일한 것은 기하학, 기본적으로 전선 사이의 공간입니다. “그리고 그것은 CMOS 기술에서 매우 잘 제어 할 수있는 한 가지입니다.” ENCHARGE는 프로세서의 실리콘 위에 구리 상호 연결 층에 정확하게 가치있는 커패시터를 구축합니다.
대부분의 신경망 모델 인 가중치를 구성하는 데이터는 각각 커패시터에 연결된 디지털 메모리 셀 배열에 저장됩니다. 신경망이 분석하는 데이터는 셀에 내장 된 간단한 논리를 사용하여 중량 비트를 곱하고 결과는 커패시터에 전하로 저장됩니다. 그런 다음 배열은 곱셈 결과의 모든 충전이 축적되고 결과가 디지털화되는 모드로 전환됩니다.
초기 발명2017 년으로 거슬러 올라가는 것은 Verma ‘s Lab의 큰 순간이었으며 기본 개념은 매우 오래되었다고 말합니다. “이것은 스위치 커패시터 작동이라고합니다. 우리는 수십 년 동안 그렇게 해왔습니다.”라고 그는 말합니다. 예를 들어 상용 고정밀 아날로그에서 디지털 변환기에 사용됩니다. “우리의 혁신은 메모리 컴퓨팅을하는 아키텍처에서 어떻게 사용할 수 있는지 알아내는 것이 었습니다.”
경쟁
Verma의 실험실과 엔 히핑은이 기술이 프로그래밍 가능하고 확장 가능하며 2017 년과는 크게 다른 AI 요구에 맞는 아키텍처 및 소프트웨어 스택으로이를 협력하여이를 공동 최적화한다는 것을 증명하는 데 몇 년을 보냈습니다. 최근 미화 1 억 달러를 모금했습니다 Samsung Venture, Foxconn 등은 또 다른 조기 액세스 협력을 계획합니다.
그러나 Engarch는 경쟁 분야에 들어가고 있으며 경쟁 업체 중에는 큰 Kahuna, Nvidia가 있습니다. Nvidia는 3 월에 큰 개발자 이벤트에서 GTC에서 PC 제품 GB10 CPU-GPU 조합을 중심으로 제작되었습니다 워크 스테이션 다가오는 주위에 만들어졌습니다 GB300.
그리고 저전력 공간에 대한 경쟁이 많은 경쟁이있을 것입니다. 그들 중 일부는 심지어 메모리에서 컴퓨팅 형태를 사용합니다. D- 매트릭스 그리고 악셀로예를 들어, 아날로그 AI의 약속에 참여하여 컴퓨팅에 메모리를 포함 시키지만 디지털 방식으로 모든 작업을 수행합니다. 각각은 각각의 사용자 정의 SRAM 메모리 셀을 개발하고 디지털 방식으로 요약 작업을 저장하고 곱하고 수행합니다. 믹스에는 적어도 하나의 전통적인 아날로그 AI 스타트 업이 있습니다. 사지 펜스.
Verma는 의심 할 여지없이 낙관적입니다. 새로운 기술은“클라우드 인프라에 의존하지 않고도 고급, 안전하며 개인화 된 AI가 로컬로 운영 될 수 있음을 의미한다고 그는 말했다. 성명. “우리는 이것이 AI로 할 수있는 일을 근본적으로 확장하기를 바랍니다.”