국제 연구팀이 과학적 과정 전체를 처리할 “AI 과학자”를 만들기로 했을 때, 그들은 얼마나 멀리 갈지 몰랐습니다. 그들이 만든 시스템이 정말 흥미로운 가설을 생성하고, 실험을 실행하고, 결과를 평가하고, 논문을 쓸 수 있을까요?
연구자는 그들이 결국 어떤 결과를 얻었는지 말합니다. 콩 루,는 그들이 박사 과정 초반의 학생과 동등하다고 판단한 AI 도구였습니다. 그는 “놀랍도록 창의적인 아이디어가 몇 가지 있었습니다.”라고 말했지만, 그 좋은 아이디어는 나쁜 아이디어에 크게 밀렸습니다. 결과를 일관되게 작성하는 데 어려움을 겪었고, 때로는 결과를 오해하기도 했습니다. 루는 “박사 과정 초반의 학생이 무언가가 작동하는 이유를 대담하게 추측하는 것과 크게 다르지 않습니다.”라고 말합니다. 그리고 아마도 윤리를 아직 이해하지 못하는 박사 과정 초반의 학생처럼, 연구자들이 정직하게 유지하기 위해 최선을 다했음에도 불구하고 논문에서 때때로 사실을 조작하기도 했습니다.
박사후 연구원인 Lu는 브리티시 컬럼비아 대학교도쿄에 본사를 둔 화제의 신생기업의 연구원들뿐만 아니라 다른 여러 학자들과도 프로젝트에 협력했습니다. 소스 AI. 팀은 최근 사전 인쇄본을 게시했습니다 ArXiv 서버에서의 작업에 대한 내용입니다. 사전 인쇄본에는 한계와 윤리적 고려 사항에 대한 논의가 포함되어 있지만, AI 과학자를 “과학적 발견의 새로운 시대의 시작”이라고 부르는 다소 장대한 언어도 포함되어 있으며, “최전방 대규모 언어 모델(LLM)이 독립적으로 연구를 수행하고 결과를 전달할 수 있도록 하는 완전 자동 과학적 발견을 위한 최초의 포괄적 프레임워크”라고 합니다.
AI 과학자는 시대정신을 포착하는 듯합니다. 그것은 과학을 위한 AI에 대한 열광의 물결을 타고 있지만, 일부 비평가들은 그 물결이 가치 있는 것을 해변에 던져 버릴 것이라고 생각합니다.
“과학을 위한 AI” 열풍
이 연구는 과학 분야에서 AI가 추구하는 더 광범위한 추세의 일부입니다. 구글 딥마인드 2020년에 공개되면서 열풍이 시작되었을 가능성이 있습니다. 알파폴드단백질의 3D 구조를 전례 없는 정확도로 예측하여 생물학자들을 놀라게 한 AI 시스템. 생성 AI가 등장한 이후로 더 많은 큰 기업 플레이어 관여하게 되었습니다. 타렉 베솔드회사의 수석 연구 과학자이자 SonyAI의 수석 연구 과학자입니다. 과학적 발견을 위한 AI 프로그램은 과학을 위한 AI가 “AI 커뮤니티가 기반 기술을 발전시키기 위한 노력에 뭉칠 수 있는 목표이자, 그보다 더 중요한 것은 인류가 우리 시대의 가장 시급한 문제 중 일부를 해결하는 데 도움이 되는 목표입니다.”
그러나 이 운동에는 비판가들이 있습니다. 2023년 Google DeepMind 논문이 나온 직후에 발견을 주장했습니다. 220만개의 새로운 결정 구조 (“약 800년 분의 지식에 해당”) 두 명의 재료 과학자 무작위 표본 추출을 분석했다 제안된 구조에 대해 “신규성, 신뢰성, 유용성이라는 세 가지를 충족하는 화합물에 대한 증거는 거의 없다”고 말했습니다. 다시 말해, AI는 많은 결과를 빠르게 생성할 수 있지만, 그 결과가 실제로 유용하지 않을 수도 있습니다.
AI 과학자의 작업 방식
AI 과학자의 경우 Lu와 그의 협력자들은 컴퓨터 과학에 대해서만 시스템을 테스트했으며 채팅봇과 같은 기능을 하는 대규모 언어 모델과 관련된 주제를 조사하도록 요청했습니다. 채팅GPT 그리고 AI 과학자 자체와 이미지 생성기를 구동하는 확산 모델도 마찬가지입니다. DALL-E.
AI 과학자의 첫 번째 단계는 가설 생성입니다. 조사 중인 모델의 코드가 주어지면 모델의 성능을 개선하기 위해 실행할 수 있는 실험에 대한 아이디어를 자유롭게 생성하고 각 아이디어에 흥미, 참신성, 실현 가능성에 대한 점수를 매깁니다. 이 단계에서 반복하여 가장 높은 점수를 받은 아이디어에 대한 변형을 생성할 수 있습니다. 그런 다음 검사를 실행합니다. 의미론 학자 제안이 기존 작업과 너무 유사한지 확인하기 위해. 다음으로 코딩 어시스턴트를 사용합니다. 돕다 코드를 실행하고 실험 일지 형식으로 결과에 대한 메모를 작성합니다. 이러한 결과를 사용하여 후속 실험에 대한 아이디어를 생성할 수 있습니다.
AI 과학자는 대규모 언어 모델을 기반으로 하는 종단 간 과학적 발견 도구입니다. 브리티시 컬럼비아 대학교
다음 단계는 AI 과학자가 학회 가이드라인에 기반한 템플릿을 사용하여 논문으로 결과를 작성하는 것입니다. 하지만 루는 이 시스템이 결과를 설명하는 일관된 9페이지 분량의 논문을 작성하는 데 어려움을 겪는다고 말합니다. “작성 단계는 실험 단계만큼 제대로 작성하기 어려울 수 있습니다.” 그래서 연구자들은 이 과정을 여러 단계로 나누었습니다. AI 과학자는 한 번에 한 섹션씩 작성하고 각 섹션을 다른 섹션과 비교하여 중복되거나 모순되는 정보를 모두 제거했습니다. 또한 Semantic Scholar를 다시 검토하여 인용문을 찾고 참고 문헌을 작성합니다.
하지만 그 다음에는 문제가 있습니다. 환각—AI가 허튼소리를 하는 기술 용어. 루는 AI 과학자에게 실험 저널에 있는 숫자만 사용하라고 지시했지만 “때로는 여전히 따르지 않을 것”이라고 말합니다. 루는 모델이 따르지 않은 경우가 10% 미만이라고 말했지만 “10%는 아마도 받아들일 수 없을 것”이라고 말합니다. 그는 시스템에 논문의 각 숫자를 실험 로그에 나타난 위치에 연결하도록 지시하는 것과 같은 해결책을 조사하고 있다고 말합니다. 하지만 시스템은 추론 및 이해에서 덜 명백한 오류를 범했으며, 이는 수정하기 더 어려워 보입니다.
그리고 당신이 예상하지 못했을지도 모르는 반전으로, AI 과학자는 자신이 생산한 논문을 평가하기 위한 동료 검토 모듈까지 포함하고 있습니다. “우리는 항상 어떤 종류의 자동화된 [evaluation] 루는 “그냥 우리가 몇 시간 동안 모든 원고를 들여다볼 필요가 없도록 하기 위해서”라고 말합니다. 그리고 그는 “우리가 항상 우리 자신의 숙제를 채점하고 있다는 우려가 있었습니다”라고 언급하면서도, 그들은 주요 AI 컨퍼런스인 NeurIPS의 리뷰어 가이드라인을 따라 평가자를 모델링했고, 전반적으로 인간 평가자보다 더 가혹하다는 것을 발견했다고 말합니다. 이론적으로, 피어 리뷰 기능은 다음 라운드의 실험을 안내하는 데 사용될 수 있습니다.
AI 과학자에 대한 비판
연구자들이 AI 과학자를 머신 러닝 실험에 국한한 반면, 루는 팀이 다른 분야의 과학자들과 몇 가지 흥미로운 대화를 나누었다고 말합니다. 그는 이론적으로 AI 과학자는 시뮬레이션에서 실험을 실행할 수 있는 모든 분야에서 도움을 줄 수 있다고 말합니다. 그는 “일부 생물학자들은 실리코에서 할 수 있는 일이 많다고 말했습니다.”라고 말하며 양자 컴퓨팅과 재료 과학도 가능한 노력 분야로 언급했습니다.
과학을 위한 AI 운동에 대한 일부 비평가들은 그 광범위한 낙관론에 문제를 제기할 수 있습니다. 올해 초, 제니퍼 리스트가르텐교수 계산생물학 UC 버클리에서 출판 종이 ~에 네이처 바이오테크놀로지 AI가 여러 과학 분야에서 획기적인 진전을 이루지 못할 것이라고 주장했습니다. 그녀는 자연어 처리 및 컴퓨터 비전 분야의 AI와 달리 대부분 과학 분야는 모델을 훈련하는 데 필요한 방대한 양의 공개 데이터가 없다고 썼습니다.
과학의 실천을 연구하는 다른 두 연구원, 인류학자 리사 메세리 예일 대학교 심리학자 엠제이 크로켓 프린스턴 대학의 출판물 2024년 논문 ~에 자연 과학을 위한 AI를 둘러싼 과장된 홍보를 꿰뚫고자 했습니다. 이 AI 과학자에 대한 의견을 물었을 때, 두 사람은 “AI 제품을 자율적인 연구자로 취급하는 것에 대한 우려”를 거듭했습니다. 그들은 그렇게 하면 연구 범위가 AI에 적합한 질문으로 좁아지고 진정한 혁신을 촉진하는 관점의 다양성을 잃을 위험이 있다고 주장합니다. “어떤 사람들에게는 ‘AI 과학자’가 약속한 생산성이 매력적으로 들릴 수 있지만,” 그들은 말합니다. IEEE 스펙트럼“논문 생산과 지식 생산은 같지 않으며, 이 구별을 잊으면 더 많은 것을 생산하면서도 덜 이해하게 될 위험이 있습니다.”
하지만 다른 사람들은 AI 과학자를 올바른 방향으로 나아가는 한 걸음으로 봅니다. SonyAI의 Besold는 오늘날의 AI가 올바른 도메인과 작업에 적용될 때 과학 연구를 지원할 수 있는 방법의 훌륭한 예라고 믿는다고 말합니다. 그는 “이것은 사람들이 AI가 과학적 발견의 세계에 적용될 때 무엇이 가능한지 개념화하는 데 도움이 될 수 있는 몇 가지 초기 프로토타입 중 하나가 될 수 있습니다.”라고 말합니다.
AI 과학자의 다음 단계는 무엇인가
루는 팀이 AI 과학자를 계속 개발할 계획이며, 성능을 개선하기 위해 노력하면서 쉽게 얻을 수 있는 성과가 많다고 말합니다. 이러한 AI 도구가 결국 과학적 과정에서 중요한 역할을 하게 될지에 대해서는 “시간이 지나면 이 모델이 무엇에 좋은지 알게 될 것”이라고 루는 말합니다. 그는 이러한 도구가 연구 프로젝트의 초기 범위 설정 단계에 유용할 수 있다고 말합니다. 연구자가 여러 가지 가능한 연구 방향을 파악하려고 할 때 말입니다. 하지만 비평가들은 이러한 도구가 정말 포괄적이고 편향되지 않아서 도움이 될지 여부를 확인하려면 향후 연구를 기다려야 한다고 덧붙입니다.
또는 Lu는 모델이 성능과 일치할 정도로 개선될 수 있다고 말합니다. “견고한 3학년 박사 과정 학생”이라면, 아이디어를 추구하려는 모든 사람에게 힘을 배가시킬 수 있습니다(적어도 그 아이디어가 AI에 적합한 도메인에 있는 한). “그 시점에서는 누구나 교수가 되어 연구 일정을 수행할 수 있습니다.”라고 루는 말합니다. “그게 제가 기대하는 흥미로운 전망입니다.”
