연구자들이 LLM(대형 언어 모델)이 단계별로 “생각”할 수 있다는 사실을 처음 발견했을 때 일련의 생각을 불러일으키는획기적인 순간이었습니다. 마침내 우리는 이러한 블랙박스의 추론 과정을 엿볼 수 있었습니다. 하지만 AI 모델이 자연어로 생각하도록 만드는 것이 AI 모델을 방해할 수 있다고 말하면 어떻게 될까요?
이것이 Meta와 UC San Diego의 연구자들이 연구를 통해 밝혀낸 것입니다. 새로운 COCONUT(Chain of Continuous Thought) 방식.
모든 단계를 큰 소리로 설명해야 하는 동안 복잡한 수학 문제를 해결하려고 한다고 상상해 보십시오. 짜증나죠? 이제 언어 모델이 직면한 핵심 과제를 거의 이해하고 있습니다.
자연어를 통해 AI 모델을 추론하는 경우:
- 그들이 생성하는 대부분의 토큰은 추론 가치가 전혀 없는 “그러므로”, “다음” 및 “결과적으로”와 같은 단어인 언어적 접착제일 뿐입니다.
- 특정 단어를 입력해야 하므로 중요한 결정 지점에 병목 현상이 발생합니다.
- 모델은 실제 문제 해결보다는 문법적 일관성을 유지하는 데 상당한 계산 노력을 기울입니다.
연구자들은 신경 영상 연구에서 흥미로운 점을 발견했습니다. 인간이 복잡한 추론 작업을 수행할 때 우리 두뇌의 언어 센터는 놀라울 정도로 조용하게 유지되는 경우가 많습니다. 그러나 우리는 그 반대의 역할을 하는 AI 시스템을 구축해 왔습니다. 즉, 모든 추론 단계를 단어로 번역하도록 강요하는 것입니다.
퍼즐을 어떻게 푸는지 생각해 보세요. 당신의 마음은 아마도 여러 가능성을 동시에 탐구하고, 모호한 가설을 유지하고, 해결책을 공유할 때만 생각을 언어로 구체화할 것입니다. 그러나 전통적인 사고 연쇄 접근 방식은 AI 모델이 모든 중간 단계를 언어화하도록 강제하여 “언어적 병목 현상”을 발생시킵니다.
이러한 통찰력은 다음과 같은 강력한 질문으로 이어졌습니다. AI 모델이 모든 것을 토큰으로 변환하도록 강요하는 대신 AI 모델이 기본 “언어”(숨겨진 상태의 연속적이고 고차원 공간)로 추론하도록 할 수 있다면 어떨까요?
자신의 생각을 큰 소리로 말하는 것과 뇌에서 실제로 일어나는 정신 과정의 차이를 상상해보세요. 말로 표현된 생각과 신경 활동 사이의 격차는 바로 Meta의 연구자들이 COCONUT을 통해 활용한 것입니다.
COCONUT의 진정한 혁신은 AI 모델이 인간이 하는 것과 마찬가지로 두 가지 서로 다른 방식으로 생각할 수 있게 한다는 점입니다. 복잡한 퍼즐을 풀 때를 생각해 보세요. 머리 속에서 가능한 모든 움직임을 설명할 수는 없습니다. 그렇죠? 대신 다음을 수행합니다.
- 문제를 흡수하다: 정보를 받아들입니다(퍼즐 규칙을 읽는 것과 같습니다).
- 조용히 생각하라: 당신의 두뇌는 말로 표현하지 않고도 다양한 가능성을 탐구합니다.
- 솔루션 공유: 그래야만 자신의 생각을 다른 사람에게 설명할 수 있습니다.
COCONUT은 AI 모델에도 이와 동일한 자연스러운 유연성을 제공합니다. 모든 생각을 큰 소리로 “말”하도록 강요하는 대신(기존 방법처럼) 연구자들이 “잠재 공간”이라고 부르는 자연스러운 신경 공간에서 생각하도록 합니다.
모델은 두 가지 모드 사이를 원활하게 전환합니다.
- 질문을 이해하거나 답변을 해야 할 경우에는 일반 언어를 사용합니다.
- 하지만 실제 사고 과정을 위해서는? 단어의 제약이 없는 순수한 신경 패턴을 사용합니다.
이미지: 메타
훈련 여정
COCONUT의 가장 매력적인 측면 중 하나는 교육 커리큘럼입니다. 이것을 특별하게 만드는 것은 자연스러운 학습 진행 과정을 반영하는 방식입니다. 우리가 복잡한 기술을 어떻게 가르치는지 생각해 보세요. 누군가를 즉시 깊은 곳으로 몰아넣지는 않습니다. 점차적으로 성장하면서 각 레벨을 마스터하면서 복잡성이 추가됩니다.
연구원들은 COCONUT을 통해 다음과 같은 정확한 접근 방식을 취했습니다.
1단계: 재단
첫째, 모델은 다른 AI와 마찬가지로 전통적인 사고 사슬 추론을 통해 학습합니다. 이는 탄탄한 기본 이해를 제공합니다.
2단계: 전환
여기가 흥미로워지는 곳입니다. 점차적으로, 서면으로 작성된 추론 단계는 지속적인 생각으로 대체됩니다. 보조 바퀴를 천천히 제거하여 모델이 자체적인 내부 사고 패턴을 개발하도록 한다고 상상해 보십시오.
3단계: 균형
마지막으로, 모델은 잠재 공간에 대한 깊은 사고와 통찰력을 명확한 언어로 전달하는 것 사이를 원활하게 전환하는 방법을 학습합니다.
훈련 중에 모델은 여러 추론 경로를 동시에 고려하는 것과 같이 누구도 명시적으로 프로그래밍하지 않은 능력을 개발했습니다. 이러한 새로운 행동은 우리가 보다 자연스러운 형태의 AI 추론에 더 가까워질 수 있음을 시사하기 때문에 특히 흥미롭습니다. 종종 가장 큰 혁신으로 이어지는 것은 이러한 예상치 못한 발전입니다.
앞서 언급한 신경영상 연구를 기억하시나요? 그들은 인간의 두뇌가 언어 센터에 크게 관여하지 않고도 복잡한 추론 작업을 처리하는 경우가 많다는 것을 보여주었습니다. COCONUT은 기본 신경 공간에서 깊이 생각하고 의사소통에 필요할 때만 언어로 변환하는 유사한 패턴을 개발하는 것 같습니다.
숫자가 말해주는 이야기
연구에서 몇 가지 주요 결과가 더 눈에 띕니다.
- 수학 단어 문제(GSM8k): 여기서 COCONUT은 34.1%의 정확도를 달성했습니다. 이는 전통적인 사고 사슬(42.9%)보다 낮지만 기본 접근 방식보다 훨씬 낫습니다.
- 논리적 추론(ProntoQA): COCONUT은 99.8%의 정확도를 달성하여 기존 Chain-of-Thought의 98.8%를 앞질렀습니다. 그러나 여기에 중요한 점이 있습니다. CoT의 92.5에 비해 단 9개의 토큰을 사용하여 이 작업을 수행했습니다.
- 복합 계획(ProsQA): 가장 인상적인 결과는 이 고급 추론 테스트에서 나왔습니다. COCONUT은 97%의 정확도를 달성한 반면 기존 방법은 77.5%에 불과했습니다. 그리고 다시 한번 놀라운 효율성으로 이 작업을 수행했습니다. 14.2 토큰 대 49.4 토큰입니다.
이러한 결과를 유망하게 만드는 것은 단순한 숫자가 아니라 다양한 유형의 사고에 대해 드러내는 것입니다. COCONUT은 여전히 수학적 추론을 통해 기반을 찾을 수 있지만 복잡한 논리적 계획과 추론이 필요한 작업에 탁월합니다.
COCONUT은 AI 시스템이 어떻게 추론할 수 있는지에 대한 근본적인 재검토를 나타내며, 우리를 보다 자연스럽고 효율적이며 강력한 형태의 인공 지능에 더 가까이 다가가게 해줍니다. 언어 기반 추론에서 지속적인 사고로의 여정은 더욱 유능하고 효율적인 AI 시스템을 향한 한 단계입니다.
게시물 메타의 코코넛: 언어 없이 생각하는 AI 방식 처음 등장한 Unite.AI.
