메타가 공개했습니다 라마 3.1최신의 가장 진보된 대규모 언어 모델로, AI 역량과 접근성에서 큰 도약을 보여줍니다. 이 새로운 릴리스는 마크 주커버그가 강조한 대로 AI를 공개적으로 접근 가능하게 만들려는 Meta의 노력과 일치합니다. 그는 오픈소스 AI가 개발자, Meta, 그리고 사회 전체에 유익하다고 믿습니다.
Llama 3.1을 소개하기 위해 Mark Zuckerberg는 “오픈소스 AI가 앞으로 나아갈 길입니다AI의 미래에 대한 그의 비전을 설명했습니다. 그는 다음과 같은 유사점을 그립니다. 유닉스에서 리눅스로의 진화 그리고 AI의 현재 궤적을 강조하며, 오픈소스 AI가 궁극적으로 업계를 선도할 것이라고 강조합니다. 주커버그는 사용자 정의, 비용 효율성, 데이터 보안, 공급업체 잠금 방지를 포함한 오픈소스 AI의 이점을 강조합니다.
그는 그렇게 믿는다 오픈소스 개발은 혁신을 촉진하고, 강력한 생태계를 만들고, AI 기술에 대한 공평한 접근성을 보장합니다. 주커버그는 또한 안전에 대한 우려를 언급하며, 투명성과 커뮤니티 감사를 통해 오픈소스 AI가 OpenAI의 GPT 모델과 같은 폐쇄형 모델보다 더 안전할 수 있다고 주장합니다.
오픈소스 AI에 대한 메타의 헌신은 폐쇄된 생태계의 제약에서 벗어나 최고의 경험과 서비스를 구축하는 것을 목표로 합니다. 그는 개발자와 조직이 AI가 모든 사람에게 이로운 미래를 구축하고 협업과 지속적인 발전을 촉진하도록 초대하면서 결론을 내립니다.
주요 내용
- 개방형 접근성 약속: Meta는 오픈 소스 AI에 대한 헌신을 계속하여 접근성과 혁신을 민주화하는 것을 목표로 합니다.
- 강화된 기능: Llama 3.1은 컨텍스트 길이가 128K로 확장되었고, 8개 언어를 지원하며, 최초의 프런티어 수준 오픈소스 AI 모델인 Llama 3.1 405B를 소개합니다.
- 비교할 수 없는 유연성과 제어력: Llama 3.1 405B는 선도적인 폐쇄형 소스 모델과 동등한 최첨단 기능을 제공하여 합성 데이터 생성 및 모델 정제와 같은 새로운 워크플로를 지원합니다.
- 포괄적인 생태계 지원: AWS, NVIDIA, Google Cloud 등 주요 기술 기업을 포함한 25개 이상의 파트너와 함께 Llama 3.1은 다양한 플랫폼에서 즉시 사용할 수 있습니다.
라마 3.1 개요
최첨단 기능
Llama 3.1 405B는 오늘날 사용 가능한 최고의 AI 모델과 경쟁하도록 설계되었습니다. 일반 지식, 조종성, 수학, 도구 사용 및 다국어 번역에서 뛰어납니다. 이 모델은 다음과 같은 분야에서 혁신을 주도할 것으로 예상됩니다. 합성 데이터 생성 그리고 모델 증류를 통해 전례 없는 성장과 탐색의 기회를 제공합니다.
업그레이드된 모델
이 릴리스에는 8B 및 70B 모델의 향상된 버전이 포함되어 있으며, 이제 여러 언어를 지원하고 최대 128K의 확장된 컨텍스트 길이를 제공합니다. 이러한 개선 사항을 통해 장문 텍스트 요약, 다국어 대화 에이전트, 코딩 어시스턴트와 같은 고급 애플리케이션을 사용할 수 있습니다.
오픈소스 가용성
오픈 소스 철학에 충실하여 Meta는 이러한 모델을 다운로드할 수 있도록 제공하고 있습니다. 메타 그리고 껴안는 얼굴개발자는 다른 모델을 개선하는 것을 포함하여 다양한 애플리케이션에 이러한 모델을 활용할 수 있으며 온프레미스에서 클라우드 및 로컬 배포에 이르기까지 다양한 환경에서 실행할 수 있습니다.
모델 평가 및 아키텍처
광범위한 평가
Llama 3.1은 여러 언어로 된 150개 이상의 벤치마크 데이터 세트에서 엄격하게 테스트되었으며 GPT-4 및 Claude 3.5 Sonnet과 같은 주요 모델과 비교되었습니다. 결과에 따르면 Llama 3.1은 광범위한 작업에서 경쟁력이 있어 최상위 AI 모델 중 자리를 굳건히 했습니다.
고급 훈련 기술
405B 모델을 훈련하는 데는 16,000개가 넘는 H100 GPU를 사용하여 15조 개가 넘는 토큰을 처리하는 것이 포함되었습니다. Meta는 고품질 합성 데이터와 뛰어난 성능을 달성하기 위해 감독 미세 조정 및 직접 선호도 최적화를 포함한 반복적인 사후 훈련 절차가 있는 표준 디코더 전용 변압기 모델을 채택했습니다.
효율적인 추론
대규모 생산 추론을 지원하기 위해 Llama 3.1 모델은 16비트에서 8비트 수치로 양자화되어 계산 요구 사항이 줄어들고 모델이 단일 서버 노드에서 효율적으로 실행될 수 있게 되었습니다.
지시 및 채팅 미세 조정
Meta는 모델의 세부적인 지침을 따르고 높은 수준의 안전을 유지하는 능력을 향상시키는 데 중점을 두었습니다. 여기에는 사전 훈련된 모델 위에 여러 라운드의 정렬이 포함되었으며, 합성 데이터 생성과 엄격한 데이터 처리 기술을 사용하여 모든 기능에서 고품질 출력을 보장했습니다.
라마 시스템
Llama 3.1은 외부 도구를 포함한 다양한 구성 요소와 함께 작동하도록 설계된 더 광범위한 시스템의 일부입니다. Meta는 개발자에게 사용자 정의 애플리케이션과 동작을 만들 수 있는 유연성을 제공하는 것을 목표로 합니다. 릴리스에는 다음이 포함됩니다. 플레임가드 3 보안과 안전을 강화하기 위한 Prompt Guard.
라마 스택 API
메타는 Llama Stack API에 대한 의견 요청 발표, 타사 프로젝트에서 Llama 모델을 사용하도록 용이하게 하는 표준 인터페이스. 이 이니셔티브는 상호 운용성을 간소화하고 개발자와 플랫폼 제공자의 장벽을 낮추는 것을 목표로 합니다.
라마 3.1 405B와 함께 건물 짓기
Llama 3.1 405B는 실시간 및 일괄 추론, 감독 미세 조정, 모델 평가, 지속적인 사전 학습을 포함하여 개발자에게 광범위한 기능을 제공합니다. 검색 증강 생성 (RAG), 함수 호출 및 합성 데이터 생성. 개발자는 첫날부터 AWS, NVIDIA, Databricks와 같은 파트너의 지원을 받아 이러한 고급 기능으로 빌드를 시작할 수 있습니다.
오늘 Llama 3.1을 사용해 보세요
Llama 3.1 모델을 다운로드할 수 있습니다. 그리고 즉각적인 개발. Meta는 커뮤니티가 이러한 모델의 잠재력을 탐구하고 성장하는 생태계에 기여하도록 장려합니다. 견고한 안전 조치와 오픈 소스 액세스를 통해 Llama 3.1은 차세대 AI 혁신을 주도할 준비가 되었습니다.
결론
Llama 3.1은 오픈소스 AI의 진화에서 중요한 이정표를 나타내며, 비교할 수 없는 기능과 유연성을 제공합니다. Meta의 오픈 접근성에 대한 노력은 더 많은 사람들이 AI 발전의 혜택을 누릴 수 있도록 보장하여 혁신과 공평한 기술 배포를 촉진합니다. Llama 3.1을 통해 새로운 응용 프로그램과 연구의 가능성이 방대하며, Meta는 커뮤니티가 이 강력한 도구로 달성할 획기적인 발전을 기대합니다.
더 자세히 알고 싶은 독자는 Mark Zuckerberg의 글을 읽어보세요. 자세한 블로그 게시물.
게시물 Llama 3.1: Meta의 가장 진보된 오픈소스 AI 모델 – 알아야 할 모든 것 처음 등장 유나이트.AI.