Computer History Museum은 Google과의 파트너십을 통해 2012 년에 AI에 대한 오늘날의 일반적인 접근 방식을 시작한 신경망 인 Alexnet에 소스 코드를 발표했습니다. 소스 코드는 오픈 소스 ON으로 제공됩니다 CHM의 Github 페이지.
Alexnet은 무엇입니까?
Alexnet은 사진 이미지의 내용을 인식하기 위해 생성 된 인공 신경망입니다. 2012 년 토론토 대학교 대학원생에 의해 개발되었습니다. Alex Krizhevsky 그리고 Ilya Sutskever 그리고 그들의 교수진 고문, Geoffrey Hinton.
딥 러닝의 기원
힌튼은 아버지 중 한 명으로 간주됩니다 딥 러닝사용하는 인공 지능의 유형 신경망 그리고 오늘날의 주류 AI의 기초입니다. 적응 형 중량 층이 단 하나만있는 간단한 3 층 신경망은 1950 년대 후반에 처음으로 코넬 연구원 인 Frank Rosenblatt에 의해 처음 구축되었지만 한계가있는 것으로 밝혀졌습니다.[의뜻[이 설명자 특히 신경망의 작동 방식에 대한 자세한 내용은 하나 이상의 적응 형 가중치를 가진 네트워크가 필요했지만이를 훈련시키는 좋은 방법은 없었습니다. 1970 년대 초, 신경망은 그랬습니다 크게 거부되었습니다 AI 연구원.
Frank Rosenblatt [left, shown with Charles W. Wightman] 1957 년 최초의 인공 신경망 인 Perceptron을 개발했습니다.희귀 및 원고 컬렉션/Cornell University Library의 부서
1980 년대에 신경망 연구는 캘리포니아 샌디에고 대학의인지 과학자들에 의해“연결주의”라는 새로운 이름으로 AI 커뮤니티 밖에서 부활했습니다. 박사 학위를 마친 후 1978 년 에딘버러 대학교에서 힌튼은 UCSD의 박사후 연구원이되어 협력했습니다. David Rumelhart 그리고 로널드 윌리엄스. 이 세 명은 신경망을 훈련하기위한 역전 알고리즘을 재발견했으며 1986 년에는 신경망이 언어 및 비전 작업에 대한 여러 층의 기능을 배울 수 있음을 보여주는 두 가지 논문을 발표했습니다. 오늘날 딥 러닝의 기초가되는 역전술은 현재 출력과 네트워크의 원하는 출력의 차이를 사용하여 각 층의 가중치를 입력 레이어에서 입력 계층으로 조정합니다.
1987 년 힌튼이 합류했습니다 토론토 대학교. 전통적인 AI의 중심에서 힌튼의 작품과 그의 대학원생들의 작품은 토론토를 앞으로 수십 년 동안 딥 러닝 연구의 중심으로 만들었습니다. 힌튼의 박사후 학생 얀 레 쿤이제 메타의 최고 과학자. 토론토에서 일하는 동안 Lecun은 역전술이 “컨볼 루션”신경망에서 사용될 때 필기 숫자를 인식하는 데 매우 능숙하다는 것을 보여주었습니다.
imagenet 및 gpus
이러한 발전에도 불구하고 신경망은 다른 유형의 기계 학습 알고리즘을 지속적으로 능가 할 수 없었습니다. 그들은 길을 열기 위해 AI 외부에서 두 가지 개발이 필요했습니다. 첫 번째는 웹을 통해 제공되는 훈련을위한 훨씬 더 많은 양의 데이터의 출현이었습니다. 두 번째는 GPU로 알려진 3D 그래픽 칩 형태 로이 교육을 수행하기에 충분한 계산 능력이었습니다. 2012 년에는 Alexnet에게는 시간이 잘 렸습니다.
2009 년에 완료된 Fei-Fei Li의 Imagenet Image DataSet은 Alexnet을 훈련시키는 데 중추적이었습니다. 여기, 리 [right] 컴퓨터 역사 박물관에서 Tom Kalil과 대화합니다.Douglas Fairbairn/컴퓨터 역사 박물관
Alexnet을 훈련시키는 데 필요한 데이터가 발견되었습니다 imagenet스탠포드 교수가 프로젝트를 시작하고 이끄는 프로젝트 Fei-Fei Li. 2006 년부터 기존의 지혜에 반하여 Li는 영어로 된 모든 명사를 다루는 이미지 데이터 세트를 구상했습니다. 그녀와 그녀의 대학원생들은 인터넷에서 발견 된 이미지를 수집하고 Wordnet단어의 데이터베이스와 서로의 관계. 그들의 임무의 거대함을 감안할 때 Li와 그녀의 공동 작업자는 궁극적으로 이미지를 공연 작업자에게 라벨링하는 작업을 사용하여 사용했습니다. 아마존의 기계식 터크 플랫폼.
2009 년에 완료된 ImageNet은 몇 배의 이전 이미지 데이터 세트보다 컸습니다. Li는 그 가용성이 새로운 혁신을 박차를 가하기를 바랐고 그녀는 경쟁 2010 년에 연구팀이 이미지 인식 알고리즘을 개선하도록 장려했습니다. 그러나 향후 2 년 동안 최고의 시스템은 한계 만 개선했습니다.
신경망의 성공에 필요한 두 번째 조건은 방대한 양의 계산에 대한 경제적 인 접근이었습니다. 신경망 훈련에는 많은 반복 된 매트릭스 곱셈이 포함되며, 바람직하게는 병렬로 수행되며 GPU가 설계된 것입니다. nvidiaCEO의 공동 Jensen Huang2000 년대에 3D 그래픽 이외의 응용 프로그램에 대해 GPU를보다 일반화하고 프로그래밍 할 수있는 방법을 이끌었습니다. CUDA 프로그래밍 시스템 2007 년에 출시되었습니다.
Imagenet과 Cuda는 신경망 자체와 마찬가지로 올바른 상황이 빛나기를 기다리는 상당히 틈새 개발이었습니다. 2012 년 Alexnet은 이러한 요소 (가파른 신경망, 대형 데이터 세트 및 GPU)를 처음으로 한 번의 결과로 모았습니다. 이들 각각은 다른 사람이 필요했습니다.
Alexnet이 만든 방법
2000 년대 후반, 토론토 대학의 힌튼의 대학원생들은 GPU를 사용하여 이미지와 음성 인식을 위해 신경망을 훈련시키기 시작했습니다. 그들의 첫 성공은 음성 인식에서 이루어졌지만 이미지 인식의 성공은 AI에 대한 가능한 일반적인 솔루션으로 딥 러닝을 지적 할 것입니다. 한 학생 인 Ilya Sutskever는 신경망의 성능이 이용 가능한 데이터의 양으로 확장 될 것이라고 믿었으며 Imagenet의 도착은 기회를 제공했습니다.
2011 년, Sutskever는 GPU에서 최대 성능을 짜는 능력을 가진 동료 대학원생 Alex Krizhevsky를 설득하여 Imernet을위한 컨볼 루션 신경 네트워크를 훈련시킬 수 있었으며 힌튼은 주요 수사관으로 봉사했습니다.
Alexnet은 imagenet 데이터 세트에서 훈련 된 Cuda 코드를 실행하는 NVIDIA GPU를 사용했습니다. Nvidia CEO Jensen Huang은 컴퓨터 그래픽 칩과 AI에 대한 그의 기여로 2024 CHM Fellow로 지명되었습니다.Douglas Fairbairn/컴퓨터 역사 박물관
Krizhevsky는 NVIDIA GPUS를 사용하여 Convolutional Neural Network에 대한 CUDA 코드를 이미 작성했습니다. Cuda-Convnet훨씬 더 작은 훈련 CIFAR-10 이미지 데이터 세트. 그는 여러 GPU 및 기타 기능을 지원하여 Cuda-Convnet을 확장하여 Imagenet에서 재교육했습니다. 교육은 부모님의 집에 Krizhevsky의 침실에 Nvidia 카드 2 개가있는 컴퓨터에서 이루어졌습니다. 내년 동안, 그는 네트워크의 매개 변수를 지속적으로 조정하고 경쟁 업체보다 우수한 성능을 달성 할 때까지 재교육을 회복했습니다. 네트워크는 궁극적으로 Krizhevsky 다음에 Alexnet으로 명명 될 것입니다. Geoff Hinton은 Alexnet 프로젝트를 이런 식으로 요약했습니다.“Ilya는 우리가해야한다고 생각했고 Alex는 작동했고, 나는 노벨상.”
Krizhevsky, Sutskever 및 Hinton은 a를 썼습니다 Alexnet에 종이 이는 2012 년 가을에 출판되었으며 10 월 이탈리아 피렌체에서 열린 컴퓨터 비전 컨퍼런스에서 Krizhevsky가 발표했습니다. 베테랑 컴퓨터 비전 연구원들은 확신하지 못했지만 회의에 참석 한 레쿤은이를 AI의 전환점으로 선언했습니다. 그는 옳았다. Alexnet 이전에, 주요 컴퓨터 비전 논문은 거의 신경망을 사용하지 않았습니다. 그 후, 거의 모든 것들이 그럴 것입니다.
Alexnet은 시작에 불과했습니다. 향후 10 년 동안, 신경망이 발전 할 것입니다 믿을만한 인간의 목소리를 종합합니다,,, 비트 챔피언 GO 선수그리고 작품을 생성하십시오2022 년 11 월 chatgpt의 출시와 함께 OpenaiSutskever가 공동 설립 한 회사.
AlexNet 소스 코드를 출시합니다
2020 년에 나는 Krizhevsky에게 연락하여 CHM이 역사적 중요성으로 인해 AlexNet 소스 코드를 공개 할 수있는 가능성에 대해 물었습니다. 그는 당시 Google에서 일하고 있던 Hinton과 나를 연결시켰다. Google은 Alexnet을 소유했으며, Hinton, Sutskever 및 Krizhevsky가 소유 한 Dnnresearch를 인수했습니다. Hinton은 CHM을 Google의 올바른 팀에 연결하여 공을 롤링했습니다. CHM은 5 년 동안 Google 팀과 협력하여 릴리스를 협상했습니다. 이 팀은 또한 Alexnet 소스 코드의 특정 버전을 릴리스 할 수 있도록 도와주었습니다. 수년 동안 Alexnet 버전이 많이 있습니다. Github에는 Alexnet이라는 코드의 다른 저장소가 있지만, 이들 중 다수는 원래 코드가 아닌 유명한 논문을 기반으로 재창조됩니다.
CHM은 소스 코드를 2012 버전의 Alexnet에 제시하여 인공 지능 분야를 변형시키는 것을 자랑스럽게 생각합니다. 소스 코드에 액세스 할 수 있습니다 CHM의 Github 페이지.
이 게시물은 원래에 나타났습니다 컴퓨터 역사 박물관의 블로그.
감사의 말
그의 견적을 제공하고 텍스트를 검토 한 Geoffrey Hinton에게 감사의 말을 전하고, 추가 설명을 위해 Cade Metz와 Alex Krizhevsky, David Bieber와 Google의 나머지 팀은 소스 코드 릴리스를 확보했습니다.
참조
Fei-Fei Li, 내가 본 세계 : AI의 새벽에서 호기심, 탐험 및 발견. 퍼스트 에디션, Flatiron Books, New York, 2023.
케이드 메츠, 천재 제작자 : AI를 Google, Facebook 및 The World에 가져온 Mavericks. 첫 번째 판, 펭귄 랜덤 하우스, 뉴욕, 2022.
