패트릭 렁Faro Health의 CTO인 는 회사의 AI 지원 플랫폼을 주도하여 임상 시험 프로토콜 설계를 단순화하고 속도를 높입니다. Faro Health의 도구는 임상시험 계획의 효율성, 표준화 및 정확성을 향상하고 데이터 기반 통찰력과 간소화된 프로세스를 통합하여 임상시험 위험, 비용 및 환자 부담을 줄입니다.
파로 건강 임상 연구 팀이 최적화되고 표준화된 시험 프로토콜을 더 빠르게 개발하여 임상 연구의 혁신을 앞당길 수 있도록 지원합니다.
와이당신은 Google에서 AI를 구축하는 데 수년을 보냈습니다. Google에 근무하는 동안 진행한 가장 흥미로운 프로젝트는 무엇이며 이러한 경험이 AI에 대한 접근 방식을 어떻게 형성했습니까?
저는 사용자를 대신하여 식당이나 기타 업체에 전화를 걸어주는 대화형 AI 시스템인 Google Duplex를 구축한 팀에 있었습니다. 이것은 매우 재능 있는 사람들로 가득 찬 일급 비밀 프로젝트였습니다. 팀은 빠르게 움직이고 끊임없이 새로운 아이디어를 시도했으며 매주 사람들이 작업하고 있는 최신 작업에 대한 멋진 데모가 있었습니다. 그런 팀에 있다는 것은 매우 고무적인 일이었습니다.
제가 이 팀에서 배운 많은 것 중 하나는 최신 AI 모델로 작업할 때에도 때로는 원하는 사용자 경험과 가치를 얻기 위해 여전히 허술해야 한다는 것입니다. 초현실적인 언어적 대화를 생성하기 위해 팀은 “음”과 같은 템포라이저가 산재된 녹음을 결합하여 대화가 더 자연스럽게 들리도록 했습니다. 우리가 출시된 후 왜 그 “음”이 거기에 있었는지에 대해 언론에서 말하는 내용을 읽는 것은 정말 재미있었습니다!
귀하와 Faro의 CEO는 모두 대규모 기술 회사 출신입니다. 귀하의 과거 경험이 Faro의 개발 및 전략에 어떤 영향을 미쳤습니까?
저는 경력을 쌓으면서 여러 번 대기업에 다양한 제품과 서비스를 판매하는 회사를 설립했습니다. Faro 역시 세계 최대 제약 회사를 대상으로 하고 있으므로 여기서 관련성이 높은 대기업과 협력하고 승리하는 데 필요한 경험이 많습니다. 뉴욕시에 본사를 둔 대규모 알고리즘 헤지 펀드인 Two Sigma에서 일하면서 제가 데이터 과학에 접근하는 방식이 결정되었습니다. 그들은 모든 새로운 아이디어가 연구 계획에 반영되고 철저하게 테스트되는 엄격한 가설 중심 프로세스를 갖추고 있습니다. 또한 새로운 데이터 세트를 온보딩하고 기능 엔지니어링을 수행하기 위해 매우 잘 발달된 데이터 엔지니어링 조직을 보유하고 있습니다. Faro가 임상 시험 개발에서 더 많은 문제를 해결하기 위해 AI 기능을 심화함에 따라 이 접근 방식은 우리가 수행하는 작업에 매우 관련성이 높고 적용 가능합니다.
Faro Health는 AI를 통해 임상 시험 설계의 복잡성을 단순화하는 데 중점을 두고 구축되었습니다. 비임상 경력을 바탕으로 프로토콜 설계에서 해결해야 할 특정 문제점을 이해하게 된 “아하 순간”은 무엇이었습니까?
나의 첫 번째 ‘아하 순간’은 ‘이룸의 법칙’이라는 개념을 접했을 때 일어났습니다. Eroom은 사람이 아니며 단지 “Moore”를 거꾸로 쓴 것일 뿐입니다. 이 농담 같은 이름은 지난 50년 동안 인플레이션을 조정한 임상 약물 개발 비용과 일정이 9년마다 약 두 배로 늘어났다는 사실을 가리키는 것입니다. 이것은 전체 정보 기술 혁명에 정면으로 맞서는 것이며 내 마음을 놀라게 했습니다. 여기서 해결해야 할 엄청난 문제가 있다는 사실이 정말 마음에 들었습니다!
이 영역에 더 깊이 들어가고 근본적인 문제를 더 완전히 이해하기 시작하면서 이와 같은 통찰력이 더 많이 생겼습니다. 기본적이고 매우 분명한 사실은 Word 문서가 매우 복잡한 임상 시험을 설계하고 저장하는 데 적합한 형식이 아니라는 것입니다. 이는 Faro의 기반이 된 CEO Scott의 임상 경험을 바탕으로 한 핵심 관찰입니다. 임상 연구 팀이 문자 그대로 과거 프로토콜을 복사하여 붙여 넣은 다음 더 많은 데이터를 수집하기 위해 새로운 평가를 추가함에 따라 시간이 지남에 따라 시험이 점점 더 복잡해지는 경향이 있다는 관찰도 있습니다. 연구 설계 프로세스에서 가능한 한 빨리, 가능한 한 많은 귀중한 통찰력을 사용자에게 제공하는 것이 Faro의 핵심 가치 제안입니다.
보다 빠르고 정확한 임상 시험 프로토콜 설계를 보장하기 위해 Faro의 플랫폼에서 AI는 어떤 역할을 합니까? Faro의 “AI Co-Author” 도구는 다른 생성 AI 솔루션과 어떻게 차별화됩니까?
당연하게 들릴 수도 있지만 ChatGPT에 임상 시험 프로토콜 문서 생성을 요청할 수는 없습니다. 우선, 프로토콜 문서의 고도로 기술적인 섹션에 올바른 정보를 표시하려면 세부적으로 표현된 활동 일정과 같은 매우 구체적이고 구조화된 임상시험 정보가 필요합니다. 둘째, 특정 유형의 임상시험에 대한 문서에는 많은 세부 사항과 특정 조항이 있어야 하며 의학 저술가와 리뷰어가 기대하는 특정 스타일 및 세부 수준이 있습니다. Faro에서는 LLM(대형 언어 모델)이 제공하는 콘텐츠가 사용자와 규제 기관의 엄격한 표준을 충족하는지 확인하기 위해 독점 프로토콜 평가 시스템을 구축했습니다.
희귀질환 및 면역종양학에 대한 임상시험이 더욱 복잡해짐에 따라 Faro는 AI가 정확성이나 품질을 희생하지 않고도 이러한 전문적인 요구를 충족할 수 있도록 어떻게 보장합니까?
모델은 훈련된 데이터만큼만 우수합니다. 따라서 현대 의학의 최첨단이 발전함에 따라 우리는 최신 임상 시험을 통해 모델을 훈련하고 테스트함으로써 보조를 맞춰야 합니다. 이를 위해서는 디지털화된 임상 프로토콜 라이브러리를 지속적으로 확장해야 합니다. 우리는 이미 Faro의 데이터 라이브러리에 가져온 임상 시험 프로토콜의 양을 매우 자랑스럽게 생각하며 항상 이 데이터 세트의 성장을 우선시하고 있습니다. 또한 모델의 결과를 지속적으로 평가하고 모델의 정확성과 품질을 보장하기 위해 사용하는 “평가 체크리스트”에 필요한 변경 사항을 제공하는 내부 임상 전문가 팀에 크게 의존해야 합니다.
Veeva 및 기타 선도 기업과 Faro의 파트너십을 통해 귀하의 플랫폼을 더 넓은 임상 시험 생태계에 통합할 수 있습니다. 이러한 협업은 프로토콜 설계부터 실행까지 전체 시험 프로세스를 간소화하는 데 어떻게 도움이 됩니까?
임상 시험의 핵심은 Faro의 Study Designer가 고객의 설계 및 최적화를 돕는 프로토콜입니다. 프로토콜은 임상시험에 대한 모든 다운스트림 정보를 알려주지만 전통적으로 프로토콜은 Word 문서로 설계되고 저장됩니다. 따라서 오늘날 임상 개발을 운영하는 데 있어 가장 큰 과제 중 하나는 프로토콜이나 기타 문서 기반 소스의 데이터를 다른 시스템이나 심지어 다른 문서로 지속적으로 기록하거나 “번역”하는 것입니다. 상상할 수 있듯이 사람이 문서 기반 정보를 다양한 시스템으로 수동으로 번역하는 것은 엄청나게 비효율적이며 그 과정에서 오류가 발생할 가능성이 많습니다.
Faro의 비전은 임상 시험의 “정의” 또는 요소가 처음 고안된 설계 시스템에서 다운스트림으로 다양한 시스템으로 흘러가거나 임상 시험의 운영 단계에서 필요할 수 있는 통합 플랫폼입니다. 이러한 원활한 정보 흐름이 이루어지면 자동화와 품질 개선을 위한 상당한 기회가 있습니다. 즉, 임상 시험을 설계하고 구현하는 데 드는 시간과 비용을 획기적으로 줄일 수 있습니다. Study Designer를 Veeva Vault EDC에 연결하기 위한 Veeva와의 파트너십은 이 방향의 한 단계일 뿐이며 앞으로 더 많은 것이 이루어질 것입니다.
AI가 임상 시험을 단순화하는 데 직면한 주요 과제는 무엇이며 Faro는 특히 AI 결과의 편견이나 환각과 같은 문제를 방지하고 투명성을 보장하는 것과 관련하여 이를 어떻게 극복합니까?
대부분의 다른 영역보다 임상시험 문서에 대한 기준이 훨씬 높습니다. 이러한 문서는 실제 사람들의 삶에 영향을 미치므로 매우 엄격한 규제 검토 프로세스를 거칩니다. LLM을 사용하여 처음 임상 문서 생성을 시작했을 때 기성 모델을 사용하면 결과가 기대에 미치지 못했다는 것이 분명했습니다. 당연히 어조, 세부 수준, 서식 등 모든 것이 완전히 벗어나 있었고 전문적인 임상 등급 문서보다는 범용 비즈니스 커뮤니케이션에 훨씬 더 중점을 두었습니다. 확실한 환각과 필요한 세부 사항의 직접적인 누락이 주요 과제였습니다. 사용자가 기대하는 도메인 특이성과 품질에 대한 높은 기준을 충족할 수 있는 생성 AI 솔루션을 개발하기 위해 우리는 임상 전문가와 협력하여 우리의 결과가 환각을 일으키지 않도록 하는 지침과 평가 체크리스트를 고안하는 데 많은 시간을 소비해야 했습니다. 또는 단순히 주요 세부 사항을 생략하고 올바른 톤을 갖췄습니다. 또한 고객마다 문서 작성 프로세스를 안내하는 템플릿과 표준이 다르기 때문에 최종 사용자가 출력에 대한 자체 지침과 수정 사항을 제공할 수 있는 역량을 제공해야 했습니다.
또한 시험 프로토콜 문서를 완벽하게 생성하는 데 필요한 자세한 임상 데이터를 쉽게 사용할 수 없으며 종종 조사 브로셔와 같은 다른 복잡한 문서에 깊이 저장될 수 있다는 문제도 있습니다. 우리는 그러한 정보를 추출하고 임상 프로토콜 문서 섹션을 생성하는 데 사용할 수 있도록 AI를 사용하는 방법을 모색하고 있습니다.
앞으로 임상시험의 맥락에서 AI가 어떻게 진화할 것으로 보시나요? Faro는 향후 10년 동안 이 공간의 디지털 변혁에서 어떤 역할을 하게 될까요?
시간이 지남에 따라 AI는 임상 개발 프로세스 전반에 걸쳐 점점 더 많은 결정과 프로세스를 개선하고 최적화하는 데 도움이 될 것입니다. 우리는 연구 팀이 등록 문제를 예상할 수 있는지 또는 운영 문제로 인해 연구에 수정이 필요한지 여부와 같은 프로토콜 설계 입력을 기반으로 주요 결과를 예측할 수 있습니다. 이러한 종류의 예측 통찰력을 통해 우리는 임상시험의 다운스트림 운영을 최적화하여 시험기관과 환자 모두에게 최상의 경험을 제공하고 임상시험의 운영 성공 가능성을 최대한 높일 수 있습니다. 이러한 가능성을 탐구하는 것 외에도 Faro는 다양한 임상 문서를 계속 생성하여 임상시험의 모든 제출 및 서류 작업 프로세스가 효율적이고 오류 발생 가능성을 줄일 계획입니다. 그리고 우리는 AI를 통해 플랫폼이 진정한 디자인 파트너가 될 수 있도록 하고 임상 과학자들이 생성 대화에 참여하여 환자 부담, 사이트 부담, 시간, 비용 및 복잡성 사이에서 올바른 균형을 이루는 시험을 설계하는 데 도움을 주는 세상을 예상합니다.
환자 중심 설계에 대한 Faro의 초점은 특히 환자 부담을 줄이고 연구 접근성을 향상시키는 측면에서 임상 시험의 효율성과 성공에 어떤 영향을 미치나요?
임상 시험은 더 많은 참가자 데이터 수집(즉, 환자에 대한 더 많은 평가 또는 테스트를 의미함)과 참가자 등록 및 유지 능력과 같은 시험의 운영 타당성 관리 사이에서 종종 발생합니다. 그러나 환자 모집 및 유지는 오늘날 임상 시험을 성공적으로 완료하는 데 가장 중요한 과제 중 하나입니다. 일부 추정에 따르면 임상 시험에 참여하기로 선택한 환자 중 최대 20~30%가 궁극적으로 임상 시험을 중단하게 됩니다. 빈번한 방문, 침습적 절차 및 복잡한 프로토콜을 포함한 참여 부담. 임상 연구팀은 고부담 임상시험이 환자에게 미치는 영향을 알고 있지만 실제로 부담을 줄이기 위해 구체적인 조치를 취하는 것은 실제로 어려울 수 있습니다. 우리는 환자의 부담을 줄이는 데 장애가 되는 것 중 하나가 바로 이를 정량화할 수 없다는 점이라고 생각합니다. 디자인이 Word 문서나 PDF로 되어 있는 경우 환자에게 미치는 영향을 측정하기가 어렵습니다.
Faro의 Study Designer를 사용하여 임상 개발 팀은 프로토콜 계획 프로세스 자체에서 특정 프로토콜이 환자 부담에 미치는 영향에 대한 실시간 통찰력을 얻을 수 있습니다. Faro는 시험 설계 단계 초기에 시험을 구성하고 비용, 환자 부담, 복잡성에 대한 분석적 통찰력을 제공함으로써 더 많은 데이터를 수집하기 위한 과학적 요구와 이러한 요소의 균형을 유지함으로써 임상 연구팀에게 시험 설계를 최적화할 수 있는 매우 효과적인 방법을 제공합니다. 우리 고객은 변경이 용이한 개발 시점에 환자의 부담과 관련 지표에 대한 가시성을 제공하고 필요한 경우 정보를 바탕으로 절충할 수 있다는 사실을 좋아합니다. 궁극적으로 우리는 고객이 수천 시간의 집단 환자 시간을 절약하는 것을 확인했으며, 이는 연구 참가자에게 즉각적으로 긍정적인 영향을 미치는 동시에 임상 시험을 제 시간에 시작하고 완료할 수 있도록 지원하는 데 도움이 될 것입니다.
Google과 Faro에서의 경험을 바탕으로 AI를 임상 시험 프로세스에 통합하려는 스타트업이나 회사에 어떤 조언을 해주시겠습니까?
지금까지 이 영역에 AI를 적용한 경험을 통해 제가 제공할 주요 내용은 다음과 같습니다.
- AI 프롬프트를 나누고 평가하세요.. GPT와 같은 대규모 언어 모델은 임상 등급 문서를 출력하도록 설계되지 않았습니다. 따라서 Gen AI를 사용하여 임상 시험 문서 작성을 자동화할 계획이라면 생성된 출력이 정확하고 완전하며 적절한 수준의 세부 정보와 어조를 갖는지 등을 보장하는 평가 프레임워크가 필요합니다. 이를 위해서는 임상 전문가가 안내하는 모델에 대한 많은 신중한 테스트가 필요합니다.
- 시도의 구조화된 표현 사용. 구조화된 저장소 없이는 최적의 임상 시험을 설계하기 위해 필요한 데이터 분석을 생성할 수 있는 방법이 없습니다. 오늘날 많은 회사에서는 Excel이 아닌 Word 문서를 사용합니다. – 임상 시험을 모델링합니다. 이는 스키마, 목표 및 종료점, 평가 일정 등 임상시험의 복잡성을 정확하게 나타내는 구조화된 도메인 모델을 통해 수행되어야 합니다. 이를 위해서는 임상 전문가의 많은 의견과 피드백이 필요합니다.
- 임상 전문가는 품질에 매우 중요합니다.. 이전 두 가지 사항에서 볼 수 있듯이 AI 기반 임상 개발 시스템의 설계 및 테스트에 임상 전문가를 직접 참여시키는 것이 절대적으로 중요합니다. 이는 제가 일했던 다른 어떤 영역보다 훨씬 더 그렇습니다. 필요한 지식이 매우 전문적이고 상세하며 이 공간에서 구축하려는 모든 제품에 널리 퍼져 있기 때문입니다.
우리는 끊임없이 새로운 것을 시도하고 있으며 기업이 이 공간을 탐색할 수 있도록 돕기 위해 정기적으로 블로그에 결과를 공유합니다.
훌륭한 인터뷰에 감사드립니다. 더 자세히 알고 싶은 독자들은 방문하시기 바랍니다. 파로 건강.
게시물 Faro Health CTO Patrick Leung – 인터뷰 시리즈 처음 등장한 Unite.AI.