Google Deepmind가 공개되었습니다 alphaevolve새로운 알고리즘과 과학 솔루션을 자율적으로 발견하도록 설계된 진화 코딩 에이전트. 논문에 제목의 제목 “Alphaevolve : 과학 및 알고리즘 발견을위한 코딩 에이전트,” 이 연구는 기본적인 단계를 나타냅니다 인공 일반 정보 (AGI) 그리고 심지어 인공 수퍼 인텔리전스 (ASI). 정적 미세 조정 또는 인간의 표지 된 데이터 세트에 의존하기보다는 Alphaevolve는 자율 창의성, 알고리즘 혁신 및 지속적인 자기 개선에 중점을 둔 완전히 다른 경로를 취합니다.
alphaevolve의 중심에는 자체 포함 진화 파이프 라인이 대형 언어 모델 (LLMS). 이 파이프 라인은 출력을 생성 할뿐만 아니라 세대에 걸쳐 코드를 돌연변이하고 평가하고 선택하고 개선합니다. Alphaevolve는 초기 프로그램으로 시작하여 신중하게 구조화 된 변경 사항을 도입하여 반복적으로 개선합니다.
이러한 변경 사항은 LLM 생성 DIFF의 형태를 취합니다. 이전 예제 및 명시 적 지침을 기반으로 언어 모델에 의해 제안되는 코드 수정. 소프트웨어 엔지니어링의 ‘Diff’는 두 버전의 파일 간의 차이를 말하며, 일반적으로 제거 또는 교체 할 라인을 강조 표시하고 추가 할 새로운 라인이 추가됩니다. Alphaevolve에서 LLM은 성능 메트릭과 이전의 성공적인 편집이 포함 된 프롬프트를 기반으로하는 현재 프로그램을 분석하고 소규모 편집을 제안함으로써 이러한 차이를 생성합니다.
그런 다음 각 수정 된 프로그램은 작업에 맞게 조정 된 자동 평가자를 사용하여 테스트됩니다. 가장 효과적인 후보자는 미래의 반복을위한 영감으로 저장, 참조 및 재조합됩니다. 시간이 지남에 따라,이 진화 루프는 점점 더 정교한 알고리즘의 출현으로 이어지고 있으며, 이는 인간 전문가가 디자인 한 것들을 능가합니다.
Alphaevolve의 과학을 이해합니다
핵심적으로 Alphaevolve는 원칙을 기반으로합니다 진화 계산– 생물학적 진화에서 영감을 얻은 인공 지능의 하위 필드. 이 시스템은 기본 코드 구현으로 시작하여 초기 “유기체”로 취급합니다. Alphaevolve는 세대를 통해이 코드를 소개하거나 변형 또는 “돌연변이”를 수정하고 잘 정의 된 스코어링 기능을 사용하여 각 변형의 체력을 평가합니다. 가장 성능이 좋은 변형은 살아남아 차세대 템플릿 역할을합니다.
이 진화 루프는 다음을 통해 조정됩니다.
- 프롬프트 샘플링 : Alphaevolve는 이전에 성공적인 코드 샘플, 성능 메트릭 및 작업 별 지침을 선택하고 포함하여 프롬프트를 구성합니다.
- 코드 돌연변이 및 제안 : 이 시스템은 강력한 LLM (Gemini 2.0 Flash and Pro)의 혼합을 사용하여 Diffs 형태의 현재 코드베이스에 대한 특정 수정을 생성합니다.
- 평가 메커니즘 : 자동 평가 함수는 각 후보자의 성과를 실행하고 스칼라 점수를 반환하여 평가합니다.
- 데이터베이스 및 컨트롤러 : 분산 컨트롤러는이 루프를 오케스트레이션하여 진화 데이터베이스를 저장하고 Map-Elites와 같은 메커니즘을 통한 악용과의 탐색 균형을 저장합니다.
이 피드백이 풍부하고 자동화 된 진화 공정은 표준 미세 조정 기술과 근본적으로 다릅니다. 그것은 알파 폴트가 새로운 기계 학습이 자율적으로 달성 할 수있는 것의 경계를 담은 새로운 성과, 때로는 반 직관적 인 솔루션을 생성 할 수 있도록 힘을 실어줍니다.
alphaevolve와 RLHF와 비교합니다
Alphaevolve의 혁신을 이해하려면 비교하는 것이 중요합니다. 인간 피드백으로부터의 강화 학습 (RLHF)대형 언어 모델을 미세 조정하는 데 사용되는 지배적 인 접근법.
RLHF에서 인간 선호도는 보상 모델을 훈련시키는 데 사용되며 LLM의 학습 과정을 안내합니다. 강화 학습 알고리즘과 같은 알고리즘 근위 정책 최적화 (PPO). RLHF는 모델의 정렬 및 유용성을 향상 시키지만 피드백 데이터를 생성하기 위해 광범위한 인간의 참여가 필요하며 일반적으로 정적 인 일회성 미세 조정 체제에서 작동합니다.
대조적으로 Alphaevolve :
- 기계에 따른 평가자에게 유리한 루프에서 사람의 피드백을 제거합니다.
- 진화론 선택을 통한 지속적인 학습을 지원합니다.
- 확률 적 돌연변이와 비동기 실행으로 인해 훨씬 더 넓은 솔루션 공간을 탐색합니다.
- 정렬 된 솔루션을 생성 할 수 있습니다 소설 과학적으로 중요합니다.
RLHF가 행동을 미세 조정하는 경우, alphaevolve 발견합니다 그리고 발명. 이 차이는 AGI에 대한 미래의 궤적을 고려할 때 중요합니다. Alphaevolve는 더 나은 예측을 할뿐만 아니라 진실에 대한 새로운 길을 찾습니다.
응용 프로그램 및 혁신
1. 알고리즘 발견 및 수학 발전
Alphaevolve는 핵심 알고리즘 문제에서 획기적인 발견을위한 능력을 보여주었습니다. 특히, 그것은 48 개의 스칼라 곱셈 만 사용하여 2 개의 4 × 4 복잡한 값 매트릭스를 곱하기위한 새로운 알고리즘을 발견했다. Alphaevolve는 많은 반복에 걸쳐 진화 한 고급 텐서 분해 기술을 통해이를 달성하여 여러 최신 접근 방식을 능가했습니다.
매트릭스 곱셈 외에도 Alphaevolve는 수학 연구에 상당한 기여를했습니다. 조합, 숫자 이론 및 지오메트리와 같은 분야의 50 개가 넘는 열린 문제에 대해 평가되었습니다. 사례의 약 75%에서 가장 잘 알려진 결과와 일치하여 약 20%를 초과했습니다. 이러한 성공에는 ERDőS의 최소 오버랩 문제 개선, 11 차원의 키스 숫자 문제에 대한 밀도 솔루션 및보다 효율적인 기하학적 포장 구성이 포함되었습니다. 이러한 결과는 인간의 개입없이 점점 더 최적의 솔루션을 정화, 반복 및 진화하는 자율적 수학적 탐색기 역할을하는 능력을 강조합니다.
2. Google의 컴퓨팅 스택 전체에서 최적화
Alphaevolve도 Google 인프라 전반에 걸쳐 실질적인 성능 개선을 제공했습니다.
- ~ 안에 데이터 센터 예약그것은 일자리 배치를 개선하여 이전에 가닥이 든 컴퓨팅 리소스의 0.7%를 회수하는 새로운 휴리스틱을 발견했습니다.
- 을 위한 Gemini의 훈련 커널Alphaevolve는 매트릭스 곱셈을위한 더 나은 타일링 전략을 고안하여 23% 커널 속도를 높이고 훈련 시간이 1% 감소했습니다.
- ~ 안에 TPU 회로 설계엔지니어가 검증하고 차세대 TPU 칩에 포함 된 RTL (Register-Transfer 레벨)에서 산술 로직에 대한 단순화를 확인했습니다.
- 또한 최적화되었습니다 컴파일러 생성 FlashAttention 코드 XLA 중간 표현을 편집하여 GPU의 추론 시간을 32%줄입니다.
이러한 결과는 상징적 수학에서 저수준 하드웨어 최적화에 이르기까지 여러 가지 추상화 수준에서 Alphaevolve의 능력을 검증하고 실제 성능 이득을 제공합니다.
- 진화 프로그램 : 돌연변이, 선택 및 상속을 사용하여 솔루션을 반복적으로 개선하기위한 AI 패러다임.
- 코드 슈퍼 최적화 : 기능의 가장 효율적인 구현을위한 자동 검색 – 종종 놀랍고 반 직관적 인 개선을 생성합니다.
- 메타 프롬프트 진화 : Alphaevolve는 단지 코드를 진화시키는 것이 아닙니다. 또한 코딩 프로세스의 자체 반영을 강화하는 LLM에 지침을 전달하는 방법을 발전시킵니다.
- 이산화 손실 : 출력이 반 인트거 또는 정수 값과 일치하도록 장려하는 정규화 용어는 수학적 및 상징적 명확성에 중요합니다.
- 환각 손실 : 중간 솔루션에 무작위성을 주입하는 메커니즘, 탐사를 장려하고 국소 최소값을 피합니다.
- Map-Elites 알고리즘 : 기능 차원에서 다양한 고성능 솔루션을 유지하는 다양한 품질 발동 알고리즘 유형으로 강력한 혁신을 강화합니다.
AGI 및 ASI에 대한 시사점
Alphaevolve는 옵티마이징 이상입니다. 지능형 에이전트가 창의적인 자율성을 보여줄 수있는 미래를 엿볼 수 있습니다. 추상 문제를 공식화하고이를 해결하기위한 자체 접근법을 설계하는 시스템의 능력은 인공 일반 정보를 향한 중요한 단계입니다. 이것은 데이터 예측을 넘어선 것입니다. 구조적 추론, 전략 형성 및 피드백에 적응하는 것이 포함됩니다.
가설을 반복적으로 생성하고 개선 할 수있는 능력은 기계가 학습하는 방식에 대한 진화를 나타냅니다. 광범위한 모델과 달리 감독 훈련Alphaevolve는 실험 및 평가 루프를 통해 스스로를 향상시킵니다. 이 역동적 인 형태의 지능은 복잡한 문제 공간을 탐색하고 약한 솔루션을 버리고 직접적인 인간의 감독없이 더 강한 솔루션을 높일 수 있습니다.
자체 아이디어를 실행하고 검증함으로써 Alphaevolve는 이론가와 실험가 모두로 기능합니다. 사전 정의 된 작업을 수행하고 발견의 영역으로 이동하여 자율 과학적 과정을 시뮬레이션합니다. 제안 된 각 개선은 정적 목표보다는 실제 결과를 기반으로 지속적인 개선을 위해 테스트, 벤치 마크 및 재 통합됩니다.
아마도 가장 특히, Alphaevolve는 재귀적인 자기 개선의 초기 사례입니다. AI 시스템은 그 자체의 구성 요소를 배울뿐만 아니라 향상시킬 수 있습니다. 여러 경우에 Alphaevolve는 자체 기초 모델을 지원하는 교육 인프라를 향상 시켰습니다. 여전히 현재 아키텍처에 의해 경계를 유지하고 있지만이 기능은 선례를 설정합니다. 평가 가능한 환경에서 더 많은 문제로 인해 Alphaevolve는 점점 더 정교하고 자기 최적화하는 행동으로 확장 될 수 있습니다. 즉, 인공 수퍼 인텔리전스 (ASI)의 근본적인 특성.
한계와 미래의 궤적
Alphaevolve의 현재 제한은 자동 평가 기능에 대한 의존성입니다. 이것은 수학적 또는 알고리즘으로 공식화 될 수있는 문제에 대한 유용성을 제한합니다. 암묵적인 인간의 이해, 주관적 판단 또는 물리적 실험이 필요한 영역에서는 아직 의미있게 작동 할 수 없습니다.
그러나 향후 방향에는 다음이 포함됩니다.
- 하이브리드 평가의 통합 : 상징적 추론과 인간의 선호 및 자연 언어 비평을 결합합니다.
- 시뮬레이션 환경에 배치되어 구현 된 과학 실험이 가능합니다.
- 진화 된 출력을 기본 LLM으로 증류하여보다 유능하고 샘플 효율적인 기초 모델을 만듭니다.
이러한 궤적은 자율적이고 고분이 높은 문제 해결이 가능한 점차 에이전트 시스템을 지적합니다.
결론
Alphaevolve는 AI 툴링뿐만 아니라 기계 인텔리전스 자체에 대한 이해에서 심오한 진전입니다. 진화론 적 검색을 LLM 추론 및 피드백을 병합함으로써 기계가 자율적으로 발견 할 수있는 것을 재정의합니다. 실제 과학적 사고를 할 수있는 자체 개선 시스템이 더 이상 이론적이지 않다는 것은 초기의 중요한 신호입니다.
앞으로, Alphaevolve를 강조하는 아키텍처는 자체 평가자를 발전시키고, 돌연변이 논리를 개선하고, 점수 기능을 개선하며, 의존하는 모델의 기본 교육 파이프 라인을 최적화하는 아키텍처가 재귀 적으로 적용될 수 있습니다. 이 재귀 최적화 루프는 시스템이 완전한 작업 일뿐 만 아니라 학습과 추론을 가능하게하는 인프라를 향상시키는 AGI를 향한 부트 스트랩을위한 기술 메커니즘을 나타냅니다.
시간이 지남에 따라, 알파 엑스가 더 복잡하고 추상적 인 영역에서, 그리고 과정에서의 인간의 개입이 감소함에 따라, 그것은 지능 이득을 가속화 할 수 있습니다. 외부 문제뿐만 아니라 자체 알고리즘 구조에 적용되는 반복 개선의 자체 강화주기는 주요 이론적 구성 요소입니다. AGI와 사회를 제공 할 수있는 모든 혜택. 창의성, 자율성 및 재귀가 조화를 이루면서 Alphaevolve는 단순히 제품으로 기억 될 수 있습니다. 심해그러나 최초의 진정한 일반적이고 자기 진화하는 인공적인 마음을위한 청사진으로.
게시물 Alphaevolve : Google Deepmind의 AGI를 향한 획기적인 단계 먼저 나타났습니다 Unite.ai.