과학 문헌 검토는 연구 분야 발전의 중요한 부분입니다. 기존 연구에 대한 포괄적인 분석을 통해 통합의 현재 상태를 제공하고 향후 연구가 집중할 수 있는 지식의 격차를 식별합니다. 잘 쓴 글을 쓴다 리뷰 기사 그러나 그것은 매우 훌륭한 일입니다.
연구자들은 종종 많은 학술 저작물을 샅샅이 뒤집니다. 그들은 오래되지 않은 연구를 선택해야 하지만 최신 편향을 피해야 합니다. 그런 다음 연구의 품질을 평가하고, 컷을 만드는 작업에서 관련 데이터를 추출하고, 데이터를 분석하여 통찰력을 얻고, 미래를 내다보면서 과거를 요약하는 설득력 있는 내러티브를 작성하는 집중 작업이 이루어집니다. 연구 종합은 그 자체로 하나의 연구 분야이며, 심지어 뛰어난 과학자라도 훌륭한 문헌 비평을 쓰지 못할 수도 있습니다.
인공지능을 입력해 보세요. 많은 산업에서와 마찬가지로 수많은 스타트업이 등장했습니다. AI 활용 과학 문헌 검토 과정을 가속화하고 단순화하며 혁신적으로 만듭니다. 이러한 스타트업 중 다수는 각각 차별화된 제품 기능과 대상 고객을 갖춘 학술 연구 중심의 AI 검색 엔진으로 자리매김하고 있습니다.
유도 검색자들에게 “초인적인 속도로 연구 논문을 분석”하도록 초대하고 다음과 같은 기관의 전문 연구원들이 이를 사용하는 것을 강조합니다. Google, NASA그리고 세계은행. 알다 2억 개의 학술 자료를 지속적으로 모니터링하여 최대 규모의 인용 데이터베이스를 구축했으며 시사점을 뒷받침하거나 대조하는 증거로 분류하는 ‘스마트 인용’을 제공한다고 밝혔습니다. 의견 일치 일반 사람들이 특정 질문에 대해 보다 확실하게 이해할 수 있도록 돕기 위한 것으로 보이는 홈페이지 데모 기능을 통해 제품을 ‘Google 학술검색이 충족합니다. 채팅GPT” 그리고 주요 시사점을 요약하는 합의 측정기를 제공합니다. 이것들은 많은 것 중 일부에 지나지 않습니다.
하지만 AI가 고품질의 체계적인 과학 문헌 검토를 대체할 수 있을까요?
연구 종합 전문가들은 이러한 AI 모델이 현재 질적 분석 수행, 즉 과학 문헌의 서술적 요약 작성에 있어 매우 탁월하다는 점에 동의하는 경향이 있습니다. 그다지 좋지 않은 부분은 리뷰를 진정으로 체계적으로 만드는 더 복잡한 정량적 계층입니다. 이러한 정량적 합성에는 일반적으로 여러 연구의 수치 데이터를 분석하여 보다 강력한 결론을 도출하는 메타 분석과 같은 통계적 방법이 포함됩니다.
“AI 모델은 핵심 요점을 요약하고 유동적인 주장을 작성하는 데 있어서 인간만큼 거의 100% 우수할 수 있습니다.”라고 말합니다. 조슈아 폴란공동 창립자 합성 및 통합 방법 센터(MOSAIC) 에 미국 연구 연구소. “그러나 우리는 정량적 합성에 있어서는 20%도 되지 않았습니다.”라고 그는 말합니다. “실제 메타 분석은 연구를 검색하고 결과를 정량화하는 방법에 있어 엄격한 프로세스를 따릅니다. 이 숫자는 증거 기반 결론의 기초입니다. AI는 그런 일을 할 수 있는 수준에 가깝지 않습니다.”
정량화의 문제
정량화 과정은 숙련된 전문가에게도 어려울 수 있다고 Polanin은 설명합니다. 인간과 AI 모두 일반적으로 연구를 읽고 내용을 요약할 수 있습니다. 연구 A는 효과를 찾았고, 연구 B는 효과를 찾지 못했습니다. 까다로운 부분은 효과의 정도에 숫자 값을 배치하는 것입니다. 게다가 효과를 측정하는 방법은 다양한 경우가 많으므로 연구자는 연구 질문의 전제에 부합하는 연구 및 측정 설계를 식별해야 합니다.
Polanin은 모델이 먼저 관련 데이터를 식별하고 추출한 다음 이를 비교하고 분석하는 방법에 대해 미묘한 결정을 내려야 한다고 말합니다. “인간 전문가로서 우리는 미리 결정을 내리려고 노력하지만 결국 즉시 마음을 바꿔야 할 수도 있습니다.”라고 그는 말합니다. “그것은 컴퓨터가 잘할 수 있는 일이 아닙니다.”
AI와 스타트업 문화 내에서 발견되는 오만함을 고려할 때 이러한 AI 모델을 구축하는 회사가 Polanin의 평가에 항의할 것으로 예상할 수 있습니다. 하지만 당신은 논쟁을하지 않을 것입니다 에릭 올슨Consensus의 공동 창립자: “솔직히 이보다 더 동의할 수 없습니다.”라고 그는 말합니다.
Polanin의 관점에서 Consensus는 의도적으로 “사람들에게 빠른 통찰력을 위한 기초 지식을 제공하는 다른 도구보다 높은 수준”이라고 Olson은 덧붙입니다. 그는 전형적인 사용자를 대학원생, 즉 전문가가 되기 위해 노력하고 있는 중급 지식 기반을 갖춘 사람으로 봅니다. 합의는 진정한 주제 전문가를 위한 많은 도구 중 하나일 수 있으며, 자녀의 희귀 유전 질환에 대한 연구를 최신 상태로 유지하는 유럽의 합의 사용자와 같이 비과학자가 정보를 유지하는 데 도움이 될 수 있습니다. “그는 연구자가 아닌 사람으로서 Google Scholar에서 수백 시간을 보냈습니다. 그는 10년 동안 이와 같은 것을 꿈꿔왔고 이것이 그의 인생을 바꾸었다고 말했습니다. 이제 그는 매일 그것을 사용합니다.”라고 Olson은 말합니다.
Elicit에서 팀은 다른 유형의 이상적인 고객을 목표로 삼고 있습니다. “R&D 환경에서 업계에 종사하는 사람, 어쩌면 생물의학 회사에서 일하는 사람으로서 새로운 의료 개입 개발을 진행할지 여부를 결정하려고 노력하는 사람”이라고 말합니다. 제임스 브래디엔지니어링 책임자.
Elicit는 고위험 사용자를 염두에 두고 사용자의 인과 관계 주장과 이를 뒷받침하는 증거를 명확하게 보여줍니다. 이 도구는 문헌 검토의 복잡한 작업을 인간이 이해할 수 있는 관리 가능한 부분으로 세분화하고 일반 챗봇보다 더 높은 투명성을 제공합니다. 연구원은 AI 모델이 어떻게 답변에 도달했는지 확인하고 소스와 대조하여 확인할 수 있습니다.
과학적 검토 도구의 미래
Brady는 현재 AI 모델이 완전한 기능을 제공하지 못한다는 데 동의합니다. 코크레인스타일의 체계적인 검토이지만 그는 이것이 근본적인 기술적 한계는 아니라고 말합니다. 오히려 미래의 AI 발전과 더 나은 발전에 대한 문제입니다. 신속한 엔지니어링. Brady는 “원칙적으로 컴퓨터가 할 수 없는 일을 우리 두뇌가 할 수 있다고 생각하지 않습니다.”라고 말합니다. “그리고 이는 체계적인 검토 과정에도 적용됩니다.”
Roman Lukyanenko, 버지니아대학교 연구 방법을 전문으로 하는 교수는 더 나은 답을 얻기 위해 초기 프롬프트 프로세스를 지원하는 방법을 개발하는 것이 미래의 주요 초점이 되어야 한다는 데 동의합니다. 그는 또한 현재 모델은 자유롭게 접근할 수 있는 저널 기사를 우선시하는 경향이 있지만 유료화 뒤에는 고품질 연구가 많이 존재한다고 지적합니다. 그럼에도 그는 미래에 대해 낙관적이다.
“저는 AI가 이 분야에서 엄청난 수준으로 혁명적이라고 믿습니다.”라고 Lukyanenko는 말합니다. 그는 바그너를 입는다 그리고 가이 파레 사전 ChatGPT 공동 작성 2022년 연구 AI와 문헌 리뷰에 대해 입소문이 났습니다. “우리에게는 정보가 넘쳐나지만 인간 생물학은 우리가 그 정보로 할 수 있는 일을 제한합니다. 이러한 도구는 큰 잠재력을 나타냅니다.”
그는 과학의 발전은 종종 학제간 접근 방식에서 비롯되며 이것이 바로 AI의 잠재력이 가장 클 수 있다고 말합니다. Lukyanenko는 “우리는 ‘르네상스 맨’이라는 용어를 가지고 있습니다. 저는 ‘르네상스 AI’라고 생각하고 싶습니다. 즉, 우리 지식의 상당 부분에 접근할 수 있고 연결을 만들 수 있는 것입니다.”라고 Lukyanenko는 말합니다. “우리는 분야 간 우연하고 예상치 못한 먼 곳의 발견을 만들기 위해 열심히 노력해야 합니다.”
