앤드류 응 거리에서는 상당한 신뢰를 얻고 있다 인공 지능 분야에서 그는 2000년대 후반에 학생들과 함께 딥 러닝 모델을 훈련하기 위해 그래픽 처리 장치(GPU)를 사용하는 방법을 개척했습니다. 스탠포드 대학공동 창립 구글 브레인 2011년에 그 후 3년 동안 수석 과학자로 재직했습니다. 바이두그는 중국 기술 거대 기업의 AI 그룹을 만드는 데 도움을 주었습니다. 그래서 그가 인공지능의 다음 큰 변화를 파악했다고 말했을 때 사람들은 귀를 기울였습니다. 그리고 그것이 그가 말한 것입니다. IEEE 스펙트럼 독점적인 Q&A에서.
Ng의 현재 노력은 그의 회사에 집중되어 있습니다. 랜딩 AI컴퓨터 비전을 활용해 제조업체의 시각 검사를 개선하는 데 도움이 되는 LandingLens라는 플랫폼을 구축했습니다. 그는 또한 자신이 부르는 것에 대한 일종의 전도자가 되었습니다. 데이터 중심 AI 운동그는 이를 통해 모델 효율성, 정확성, 편향을 포함한 AI의 큰 문제에 대한 “소규모 데이터” 솔루션을 제공할 수 있다고 말합니다.
앤드류 응…
지난 10년 동안 딥러닝의 큰 발전은 점점 더 큰 양의 데이터를 처리하는 점점 더 큰 모델에 의해 이루어졌습니다. 어떤 사람들은 그것이 지속 불가능한 궤적그런 식으로는 안 된다고 생각하시나요?
앤드류 작성자: 이것은 큰 질문입니다. 우리는 NLP에서 기초 모델을 보았습니다. [natural language processing]. 저는 NLP 모델이 더욱 커질 것에 대해 흥분하고, 컴퓨터 비전에서 기초 모델을 구축할 수 있는 잠재력에 대해서도 흥분합니다. 비디오에서 여전히 활용할 수 있는 신호가 많이 있다고 생각합니다. 우리는 아직 컴퓨팅 대역폭과 비디오 처리 비용 때문에 비디오에 대한 기초 모델을 구축할 수 없었습니다. 토큰화된 텍스트와는 대조적입니다. 그래서 저는 지금으로부터 약 15년 동안 실행되어 온 딥 러닝 알고리즘을 확장하는 이 엔진이 여전히 힘이 있다고 생각합니다. 그렇긴 하지만 특정 문제에만 적용되고, 소규모 데이터 솔루션이 필요한 다른 문제들이 있습니다.
컴퓨터 비전을 위한 기초 모델이 필요하다는 말은 무슨 뜻인가요?
에 의해: 이것은 다음에 의해 만들어진 용어입니다. 퍼시 리앙 그리고 스탠포드에 있는 내 친구들 중 몇몇 매우 큰 데이터 세트에서 훈련된 매우 큰 모델을 지칭하며, 특정 애플리케이션에 맞게 조정할 수 있습니다. 예를 들어, GPT-3 기초 모델의 한 예입니다 [for NLP]. 기초 모델은 머신 러닝 애플리케이션을 개발하는 새로운 패러다임으로 많은 가능성을 제공하지만, 특히 많은 사람이 기초 모델을 기반으로 구축할 경우 상당히 공정하고 편견이 없는지 확인하는 측면에서 과제도 있습니다.
누군가가 비디오의 기반 모델을 구축하려면 무엇이 필요할까요?
에 의해: 확장성 문제가 있다고 생각합니다. 비디오용 대량의 이미지를 처리하는 데 필요한 컴퓨팅 파워는 상당하며, 그래서 NLP에서 기초 모델이 먼저 생겨났다고 생각합니다. 많은 연구자들이 이 문제를 연구하고 있으며, 컴퓨터 비전에서 이러한 모델이 개발되는 초기 징후가 보인다고 생각합니다. 하지만 반도체 제조업체가 10배 더 많은 프로세서 파워를 제공한다면, 비전을 위한 이러한 모델을 구축하기 위해 10배 더 많은 비디오를 쉽게 찾을 수 있을 것이라고 확신합니다.
그렇게 말했지만, 지난 10년 동안 일어난 일의 대부분은 대규모 사용자 기반, 때로는 수십억 명의 사용자, 따라서 매우 큰 데이터 세트를 가진 소비자 대상 회사에서 딥 러닝이 일어났다는 것입니다. 머신 러닝의 패러다임이 소비자 소프트웨어에서 많은 경제적 가치를 창출했지만, 저는 그 규모의 레시피가 다른 산업에는 효과가 없다는 것을 알게 되었습니다.
그렇게 말씀하시는 게 웃긴데요. 당신이 초기에 일했던 곳은 수백만 명의 사용자를 보유한 소비자 대상 회사였거든요.
에 의해: 10년 전, 내가 시작을 제안했을 때 구글 브레인 Google의 컴퓨팅 인프라를 사용하여 매우 큰 신경망을 구축하는 프로젝트는 논란의 여지가 있는 단계였습니다. 한 명의 매우 고위 인사가 저를 따로 불러서 Google Brain을 시작하는 것은 제 경력에 좋지 않을 것이라고 경고했습니다. 그는 그 행동이 단순히 확장하는 것만이 아니라고 생각했고, 대신 아키텍처 혁신에 집중해야 한다고 생각했습니다.
“거대한 데이터 세트가 존재하지 않는 많은 산업에서, 저는 초점이 빅 데이터에서 좋은 데이터로 옮겨가야 한다고 생각합니다. 신중하게 설계된 50개의 사례가 있으면 신경망에 무엇을 학습시키고 싶은지 설명하기에 충분할 수 있습니다.”
—Andrew Ng, Landing AI CEO 겸 창립자
제 학생들과 제가 첫 번째를 출판했을 때를 기억합니다. 신경IPS 워크샵 논문을 사용하여 옹호 쿠다GPU에서 처리하고 딥 러닝을 위한 플랫폼—AI의 다른 선임자가 저를 앉혀서 “CUDA는 프로그래밍하기 정말 복잡합니다. 프로그래밍 패러다임으로 보면 너무 많은 작업 같습니다.”라고 말했습니다. 저는 그를 설득하는 데 성공했지만 다른 사람은 설득하지 못했습니다.
이제 두 사람 모두 확신했을 것 같아요.
에 의해: 네, 그렇다고 생각합니다.
지난 1년 동안 저는 데이터 중심 AI 운동에 대해 사람들에게 이야기하면서 10년 또는 15년 전에 딥 러닝과 확장성에 대해 사람들에게 이야기했던 때를 떠올렸습니다. 지난 1년 동안 저는 “여기에는 새로운 것이 없다”와 “이것은 잘못된 방향인 듯하다”는 동일한 혼합된 말을 들었습니다.
데이터 중심 AI를 어떻게 정의하시나요? 그리고 왜 그것을 운동이라고 생각하시나요?
에 의해: 데이터 중심 AI는 AI 시스템을 성공적으로 구축하는 데 필요한 데이터를 체계적으로 엔지니어링하는 분야입니다. AI 시스템의 경우 신경망과 같은 알고리즘을 코드로 구현한 다음 데이터 세트에서 학습해야 합니다. 지난 10년 동안 지배적인 패러다임은 코드 개선에 집중하는 동안 데이터 세트를 다운로드하는 것이었습니다. 이 패러다임 덕분에 지난 10년 동안 딥 러닝 네트워크가 크게 개선되어 많은 애플리케이션에서 코드(신경망 아키텍처)가 기본적으로 해결된 문제가 되었습니다. 따라서 많은 실용적인 애플리케이션의 경우 신경망 아키텍처를 고정하고 대신 데이터를 개선할 방법을 찾는 것이 이제 더 생산적입니다.
제가 이것에 대해 말하기 시작했을 때, 많은 실무자들이 완벽하게 적절하게 손을 들고 “네, 우리는 20년 동안 이걸 해왔어요.”라고 말했습니다. 지금은 일부 개인들이 직관적으로 해왔던 일들을 가져와 체계적인 엔지니어링 분야로 만들 때입니다.
데이터 중심 AI 운동은 한 회사나 연구자 그룹보다 훨씬 더 큽니다. 저와 협력자들은 NeurIPS에서의 데이터 중심 AI 워크숍그리고 많은 작가와 발표자들이 참석해 주셔서 정말 기뻤습니다.
당신은 종종 작업할 데이터가 적은 회사나 기관에 대해 이야기합니다. 데이터 중심 AI가 그들에게 어떻게 도움이 될 수 있습니까?
에 의해: 수백만 개의 이미지로 구축된 비전 시스템에 대해 많이 들어보셨을 겁니다. 저는 한때 3억 5천만 개의 이미지를 사용하여 얼굴 인식 시스템을 구축했습니다. 수억 개의 이미지로 구축된 아키텍처는 50개의 이미지만으로는 작동하지 않습니다. 하지만 50개의 정말 좋은 사례가 있다면 결함 검사 시스템과 같이 가치 있는 것을 구축할 수 있습니다. 거대한 데이터 세트가 존재하지 않는 많은 산업에서 저는 초점이 빅 데이터에서 좋은 데이터로 옮겨져야 한다고 생각합니다. 신중하게 설계된 50개의 사례가 있으면 신경망에 무엇을 학습시키고 싶은지 설명하기에 충분할 수 있습니다.
50개의 이미지만으로 모델을 훈련한다고 말할 때, 그것은 실제로 매우 큰 데이터 세트에서 훈련된 기존 모델을 가져와 미세 조정한다는 것을 의미합니까? 아니면 그 작은 데이터 세트에서만 학습하도록 설계된 완전히 새로운 모델을 의미합니까?
에 의해: Landing AI가 무엇을 하는지 설명해 드리겠습니다. 제조업체를 위해 시각 검사를 할 때 우리는 종종 우리만의 맛을 사용합니다. 레티나넷. 사전 훈련된 모델입니다. 사전 훈련은 퍼즐의 작은 조각입니다. 퍼즐의 더 큰 조각은 제조업체가 올바른 이미지 세트를 선택할 수 있도록 하는 도구를 제공하는 것입니다. [to use for fine-tuning] 그리고 일관된 방식으로 레이블을 지정합니다. 시각, NLP, 음성에 걸쳐 인간 주석자조차도 적절한 레이블에 동의하지 않는 매우 실용적인 문제가 있습니다. 빅데이터 애플리케이션의 경우 일반적인 대응은 다음과 같습니다. 데이터에 노이즈가 많으면 많은 데이터를 가져오면 알고리즘이 평균을 내도록 합니다. 하지만 데이터가 일관되지 않은 곳을 표시하고 데이터 일관성을 개선하는 매우 구체적인 방법을 제공하는 도구를 개발할 수 있다면 고성능 시스템을 얻는 더 효율적인 방법이 됩니다.
“더 많은 데이터를 수집하는 것은 종종 도움이 되지만, 모든 것에 대해 더 많은 데이터를 수집하려고 하면 매우 비용이 많이 드는 활동이 될 수 있습니다.”
—앤드류 응
예를 들어, 10,000개의 이미지가 있고 그 중 30개의 이미지가 한 클래스이고 그 30개의 이미지가 일관되지 않게 레이블이 지정되어 있다면, 우리가 하는 일 중 하나는 일관되지 않은 데이터 하위 집합에 주의를 끌기 위한 도구를 만드는 것입니다. 그러면 매우 빠르게 그 이미지에 레이블을 지정하여 더 일관되게 만들 수 있고, 이는 성능 향상으로 이어집니다.
고품질 데이터에 집중하면 데이터 세트의 편향을 해결하는 데 도움이 될까요? 훈련 전에 데이터를 더 많이 큐레이션할 수 있다면요?
에 의해: 매우 그렇습니다. 많은 연구자들은 편향된 데이터가 편향된 시스템으로 이어지는 여러 요인 중 하나라고 지적했습니다. 데이터를 엔지니어링하기 위한 많은 사려 깊은 노력이 있었습니다. NeurIPS 워크숍에서, 올가 루사코프스키 이에 대해 정말 좋은 이야기를 했습니다. 주요 NeurIPS 컨퍼런스에서도 정말 즐거웠습니다. Mary Gray의 프레젠테이션, 데이터 중심 AI가 솔루션의 한 부분이지만 전체 솔루션은 아니라는 점을 언급했습니다. 다음과 같은 새로운 도구 데이터세트를 위한 데이터시트 이것도 퍼즐의 중요한 조각처럼 보입니다.
데이터 중심 AI가 제공하는 강력한 도구 중 하나는 데이터의 하위 집합을 엔지니어링하는 능력입니다. 머신 러닝 시스템을 훈련하고 대부분의 데이터 집합에서는 성능이 괜찮지만, 일부 데이터 집합에서만 성능이 편향되어 있다고 가정해 보겠습니다. 해당 하위 집합에서만 성능을 개선하기 위해 전체 신경망 아키텍처를 변경하려고 하면 매우 어렵습니다. 하지만 일부 데이터 집합을 엔지니어링할 수 있다면 훨씬 더 집중적으로 문제를 해결할 수 있습니다.
데이터 엔지니어링이란 정확히 무엇을 의미하시나요?
에 의해: AI에서 데이터 정리는 중요하지만, 데이터가 정리되는 방식은 종종 매우 수동적인 방식이었습니다. 컴퓨터 비전에서 누군가는 이미지를 시각화할 수 있습니다. 주피터 노트북 그리고 아마도 문제를 발견하고, 아마도 해결할 수도 있습니다. 하지만 저는 매우 큰 데이터 세트를 가질 수 있게 해주는 도구, 예를 들어 레이블에 노이즈가 있는 데이터 하위 세트에 빠르고 효율적으로 주의를 끌 수 있는 도구에 대해 흥분합니다. 또는 100개 클래스 중 더 많은 데이터를 수집하면 도움이 될 수 있는 한 클래스에 빠르게 주의를 끌 수 있습니다. 더 많은 데이터를 수집하는 것은 종종 도움이 되지만, 모든 것에 대해 더 많은 데이터를 수집하려고 하면 매우 비용이 많이 드는 활동이 될 수 있습니다.
예를 들어, 저는 한때 음성 인식 시스템이 배경에 자동차 소음이 있을 때 제대로 작동하지 않는다는 것을 알아냈습니다. 그 사실을 알게 된 덕분에 배경에 자동차 소음이 있을 때 더 많은 데이터를 수집할 수 있었고, 모든 것에 대해 더 많은 데이터를 수집하려고 시도하는 것보다 비용이 많이 들고 느렸을 것입니다.
합성 데이터를 사용하는 것은 어떨까요? 그것이 종종 좋은 해결책이 될 수 있을까요?
에 의해: 저는 합성 데이터가 데이터 중심 AI의 도구 상자에서 중요한 도구라고 생각합니다. NeurIPS 워크숍에서, 아니마 아난드쿠마르 합성 데이터에 대해 다룬 훌륭한 강연을 했습니다. 저는 학습 알고리즘의 데이터 세트를 늘리기 위한 전처리 단계를 넘어서는 합성 데이터의 중요한 용도가 있다고 생각합니다. 개발자가 반복적인 머신 러닝 개발의 폐쇄 루프의 일부로 합성 데이터 생성을 사용할 수 있도록 하는 더 많은 도구를 보고 싶습니다.
합성 데이터를 사용하면 더 많은 데이터 세트에 대해 모델을 시도할 수 있다는 말인가요?
에 의해: 그렇지 않습니다. 예를 들어 보겠습니다. 스마트폰 케이스의 결함을 감지하려고 한다고 가정해 보겠습니다. 스마트폰에는 여러 가지 유형의 결함이 있습니다. 긁힘, 움푹 들어간 부분, 구멍 자국, 소재의 변색, 기타 유형의 흠집일 수 있습니다. 모델을 학습한 다음 오류 분석을 통해 전반적으로는 잘 작동하지만 구멍 자국에서는 성능이 좋지 않은 경우 합성 데이터 생성을 통해 문제를 보다 구체적으로 해결할 수 있습니다. 구멍 자국 범주에 대해서만 더 많은 데이터를 생성할 수 있습니다.
“소비자 소프트웨어 인터넷에서 우리는 소수의 머신 러닝 모델을 훈련시켜 10억 명의 사용자에게 서비스를 제공할 수 있습니다. 제조업에서는 10,000개의 제조업체가 10,000개의 맞춤형 AI 모델을 구축할 수 있습니다.”
—앤드류 응
합성 데이터 생성은 매우 강력한 도구이지만, 제가 먼저 시도하는 더 간단한 도구가 많이 있습니다. 데이터 증강, 라벨링 일관성 개선 또는 공장에 더 많은 데이터를 수집하도록 요청하는 것과 같습니다.
이러한 문제를 더 구체적으로 설명하기 위해 예를 하나 들어 설명해 주시겠습니까? 회사가 접근할 때 랜딩 AI 그리고 시각 검사에 문제가 있다고 하는데, 어떻게 그들을 탑승시키고 배치를 준비하시나요?
에 의해: 고객이 우리에게 다가오면 우리는 보통 그들의 검사 문제에 대해 이야기를 나누고 몇 장의 이미지를 살펴보며 문제가 컴퓨터 비전으로 가능한지 확인합니다. 가능하다면 데이터를 업로드해 달라고 요청합니다. 랜딩렌즈 플랫폼입니다. 우리는 종종 그들에게 데이터 중심 AI의 방법론에 대해 조언하고 데이터에 라벨을 붙이는 데 도움을 줍니다.
Landing AI의 초점 중 하나는 제조 회사가 스스로 머신 러닝 작업을 수행할 수 있도록 하는 것입니다. 우리의 많은 작업은 소프트웨어를 빠르고 사용하기 쉽게 만드는 것입니다. 머신 러닝 개발의 반복적 프로세스를 통해 플랫폼에서 모델을 훈련하는 방법, 모델의 성능을 개선하기 위해 데이터 레이블링을 언제 어떻게 개선할 것인지와 같은 사항에 대해 고객에게 조언합니다. 우리의 훈련 및 소프트웨어는 훈련된 모델을 공장의 에지 장치에 배포하는 과정까지 고객을 지원합니다.
변화하는 요구 사항을 어떻게 처리하시나요? 공장에서 제품이 바뀌거나 조명 조건이 바뀌면 모델이 따라갈 수 있나요?
에 의해: 제조업체마다 다릅니다. 많은 맥락에서 데이터 드리프트가 발생합니다. 하지만 20년 동안 거의 변경 없이 동일한 제조 라인을 운영해 온 제조업체도 있으므로 향후 5년 동안 변경이 없을 것으로 예상합니다. 이러한 안정적인 환경은 작업을 더 쉽게 만듭니다. 다른 제조업체의 경우, 상당한 데이터 드리프트 문제가 있을 때 플래그를 지정하는 도구를 제공합니다. 제조 고객이 데이터를 수정하고, 재교육하고, 모델을 업데이트할 수 있도록 하는 것이 정말 중요하다고 생각합니다. 무언가가 변경되고 미국에서 오전 3시가 되면 운영을 유지하기 위해 학습 알고리즘을 바로 적용할 수 있기를 바랍니다.
소비자 소프트웨어 인터넷에서 우리는 소수의 머신 러닝 모델을 훈련시켜 10억 명의 사용자에게 서비스를 제공할 수 있습니다. 제조업에서는 10,000개의 제조업체가 10,000개의 맞춤형 AI 모델을 구축할 수 있습니다. 문제는 Landing AI가 10,000명의 머신 러닝 전문가를 고용하지 않고 어떻게 그렇게 할 수 있느냐는 것입니다.
그러니까 확장성을 갖추려면 고객이 많은 교육과 기타 작업을 수행할 수 있는 역량을 제공해야 한다는 말인가요?
에 의해: 네, 정확히 그렇습니다! 이것은 제조뿐만 아니라 AI 산업 전체의 문제입니다. 의료를 살펴보세요. 모든 병원은 전자 건강 기록에 대해 약간씩 다른 형식을 가지고 있습니다. 모든 병원이 자체 맞춤형 AI 모델을 어떻게 훈련할 수 있을까요? 모든 병원의 IT 인력이 새로운 신경망 아키텍처를 발명할 것으로 기대하는 것은 비현실적입니다. 이 딜레마에서 벗어날 수 있는 유일한 방법은 고객이 데이터를 엔지니어링하고 도메인 지식을 표현할 수 있는 도구를 제공하여 자체 모델을 구축할 수 있도록 하는 도구를 만드는 것입니다. 이것이 바로 Landing AI가 컴퓨터 비전에서 실행하고 있는 것이고, AI 분야에서는 다른 도메인에서 이를 실행할 다른 팀이 필요합니다.
여러분이 하는 일이나 데이터 중심 AI 운동에 대해 사람들이 이해하는 것이 중요하다고 생각하는 다른 사항이 있습니까?
에 의해: 지난 10년 동안 AI에서 가장 큰 변화는 딥 러닝으로의 전환이었습니다. 저는 이 10년 동안 가장 큰 변화가 데이터 중심 AI로의 전환일 가능성이 매우 높다고 생각합니다. 오늘날의 신경망 아키텍처가 성숙해짐에 따라 많은 실용적인 애플리케이션의 병목 현상은 잘 작동하는 시스템을 개발하는 데 필요한 데이터를 효율적으로 얻을 수 있는지 여부가 될 것이라고 생각합니다. 데이터 중심 AI 운동은 전체 커뮤니티에서 엄청난 에너지와 추진력을 가지고 있습니다. 더 많은 연구자와 개발자가 뛰어들어 작업하기를 바랍니다.
이 기사는 2022년 4월 인쇄판에 “Andrew Ng, AI Minimalist”라는 제목으로 게재되었습니다..”