모두가 떠들고 있는 동안 AI 에이전트 AMD와 Johns Hopkins University는 자동화 및 자동화를 통해 연구에서 인간과 AI가 협력하는 방식을 개선하기 위해 노력해 왔습니다. 새로운 오픈 소스 프레임워크인 에이전트 연구소는 인간과 AI의 팀워크를 통해 과학 연구가 어떻게 가속화될 수 있는지를 완전히 재구성한 것입니다.
수많은 AI 연구 프레임워크를 살펴본 결과 Agent Laboratory는 실용적인 접근 방식이 눈에 띕니다. 기존의 많은 솔루션처럼 인간 연구자를 대체하려고 하는 대신, 인간을 운전석에 두면서 연구의 시간 소모적 측면을 처리함으로써 연구자의 역량을 강화하는 데 중점을 둡니다.
여기서 핵심 혁신은 간단하지만 강력합니다. Agent Laboratory는 완전히 자율적인 연구(종종 의심스러운 결과로 이어짐)를 추구하는 대신 여러 전문 AI 에이전트가 함께 작업하는 가상 랩을 생성하여 각각 인간의 안내에 따라 연구 프로세스의 다양한 측면을 처리합니다.
가상 랩 분석
Agent Laboratory를 잘 조직된 연구 팀으로 생각하지만 AI 에이전트가 전문적인 역할을 수행합니다. 실제 연구실과 마찬가지로 각 에이전트에는 특정 책임과 전문 지식이 있습니다.
- 박사 대리인이 문헌 검토 및 연구 계획을 담당합니다.
- 박사후 연구원은 실험적 접근 방식을 개선하는 데 도움을 줍니다.
- ML 엔지니어 에이전트가 기술 구현을 처리합니다.
- 교수 에이전트는 연구 결과를 평가하고 점수를 매깁니다.
이 시스템을 특히 흥미롭게 만드는 것은 작업 흐름입니다. 독립적으로 작동하는 기존 AI 도구와 달리 Agent Laboratory는 이러한 에이전트가 상호 작용하고 서로의 작업을 기반으로 구축되는 협업 환경을 만듭니다.
이 프로세스는 자연스러운 연구 진행을 따릅니다.
- 문헌 검토: 박사 대리인은 다음을 사용하여 학술 논문을 샅샅이 뒤집니다. arXiv API관련 연구를 수집하고 정리합니다.
- 계획 수립: 박사후 연구원과 박사후 연구원이 팀을 이루어 세부적인 연구 계획을 수립합니다.
- 구현: ML 엔지니어 에이전트가 코드 작성 및 테스트
- 분석 및 문서화: 팀은 함께 협력하여 결과를 해석하고 포괄적인 보고서를 생성합니다.
하지만 실제로 실용적인 부분은 다음과 같습니다. 프레임워크는 컴퓨팅 유연성이 있습니다. 즉, 연구자는 컴퓨팅 능력에 대한 액세스 및 예산 제약에 따라 리소스를 할당할 수 있습니다. 이는 실제 연구 환경을 위해 설계된 도구입니다.
Schmidgallet al.
인적 요소: AI가 전문성을 만나는 곳
Agent Laboratory는 인상적인 자동화 기능을 갖추고 있지만 진정한 마법은 소위 “부조종사 모드”에서 발생합니다. 이 설정에서 연구원은 프로세스의 각 단계에서 피드백을 제공하여 인간의 전문 지식과 AI 지원 간의 진정한 협력을 구축할 수 있습니다.
부조종사 피드백 데이터는 몇 가지 강력한 통찰력을 보여줍니다. 자율 모드에서 Agent Laboratory가 생성한 논문은 인간 평가에서 평균 3.8/10점을 받았습니다. 그러나 연구원들이 부조종사 모드에 참여했을 때 그 점수는 4.38/10으로 뛰어올랐습니다. 특히 흥미로운 점은 이러한 개선이 나타난 부분입니다. 논문은 명확성(+0.23)과 프리젠테이션(+0.33)에서 상당히 높은 점수를 받았습니다.
그러나 현실 확인은 다음과 같습니다. 인간의 개입에도 불구하고 이 논문은 여전히 인정되는 평균보다 약 1.45점 낮은 점수를 받았습니다. NeurIPS 종이 (5.85에 위치). 이는 실패는 아니지만 AI와 인간의 전문성이 어떻게 서로 보완해야 하는지에 대한 중요한 학습입니다.
평가 결과 또 다른 흥미로운 사실이 드러났습니다. AI 검토자는 지속적으로 인간 검토자보다 논문을 약 2.3점 더 높게 평가했습니다. 이러한 격차는 연구 평가에서 인간의 감독이 여전히 중요한 이유를 강조합니다.
Schmidgallet al.
숫자 분석
연구 환경에서 실제로 중요한 것은 무엇입니까? 비용과 성능. 모델 비교에 대한 Agent Laboratory의 접근 방식은 이와 관련하여 몇 가지 놀라운 효율성 향상을 보여줍니다.
GPT-4o는 속도 챔피언으로 등장하여 단 1,165.4초 만에 전체 작업 흐름을 완료했습니다. 이는 o1-mini보다 3.2배 빠르고 o1-preview보다 5.3배 빠릅니다. 하지만 더 중요한 것은 한 장당 비용이 2.33달러에 불과하다는 것입니다. 약 15달러의 비용이 드는 이전 자율 연구 방법에 비해 84%의 비용 절감을 기대하고 있습니다.
모델 성능을 살펴보면 다음과 같습니다.
- o1-preview는 유용성과 명확성 부문에서 가장 높은 점수를 받았습니다
- o1-mini는 최고의 실험 품질 점수를 획득했습니다.
- GPT-4o는 측정항목에서는 뒤처졌지만 비용 효율성에서는 앞섰습니다.
여기서 실제 의미는 중요합니다.
이제 연구자들은 특정 요구 사항에 따라 접근 방식을 선택할 수 있습니다.
- 신속한 프로토타이핑이 필요하십니까? GPT-4o는 속도와 비용 효율성을 제공합니다.
- 실험 품질을 우선시하시나요? o1-mini가 최선의 선택일 수 있습니다
- 가장 세련된 출력을 찾고 계십니까? o1-미리보기는 가능성을 보여줍니다
이러한 유연성은 연구팀이 일률적인 솔루션에 얽매이지 않고 리소스와 요구 사항에 맞게 프레임워크를 조정할 수 있음을 의미합니다.
연구의 새로운 장
Agent Laboratory의 역량과 결과를 살펴본 후, 저는 우리가 연구 수행 방식에 있어 상당한 변화를 보고 있다고 확신합니다. 그러나 종종 헤드라인을 지배하는 것은 교체에 대한 서술이 아니라 훨씬 더 미묘하고 강력한 것입니다.
Agent Laboratory의 논문은 아직 자체적으로 최고의 컨퍼런스 표준에 도달하지는 못했지만 연구 가속화를 위한 새로운 패러다임을 만들고 있습니다. 결코 잠들지 않는 AI 연구 조교 팀이 있고, 각각은 과학적 과정의 다양한 측면을 전문으로 하는 팀을 갖는 것과 같다고 생각하십시오.
연구자에게 미치는 영향은 다음과 같습니다.
- 문헌 검토 및 기본 코딩에 소요되는 시간을 창의적 아이디어 구상에 활용 가능
- 자원 제약으로 인해 보류되었을 수 있는 연구 아이디어가 실행 가능해졌습니다.
- 신속하게 프로토타입을 만들고 가설을 테스트하는 능력은 더 빠른 혁신으로 이어질 수 있습니다.
AI와 인간 검토 점수 간의 격차와 같은 현재의 한계는 기회입니다. 이러한 시스템이 반복될 때마다 인간과 AI 간의 보다 정교한 연구 협력이 더욱 가까워집니다.
앞으로 과학적 발견을 재편할 수 있는 세 가지 주요 발전이 있을 것으로 예상됩니다.
- 연구자들이 이러한 도구를 효과적으로 활용하는 방법을 배우면 더욱 정교한 인간-AI 협업 패턴이 나타날 것입니다.
- 비용과 시간을 절약하면 연구를 민주화하여 소규모 실험실과 기관이 보다 야심찬 프로젝트를 추진할 수 있습니다.
- 신속한 프로토타이핑 기능은 연구에서 보다 실험적인 접근 방식으로 이어질 수 있습니다.
이 잠재력을 극대화하는 열쇠는 무엇입니까? Agent Laboratory 및 유사한 프레임워크는 자동화가 아닌 증폭을 위한 도구라는 점을 이해합니다. 연구의 미래는 인간의 전문성과 AI 역량 중 하나를 선택하는 것이 아니라, 이를 결합하는 혁신적인 방법을 찾는 것입니다.
게시물 Agent Laboratory: AMD와 Johns Hopkins의 가상 연구팀 처음 등장한 Unite.AI.
