Meta, UC Berkeley 및 NYU의 연구진이 개발한 획기적인 새로운 기술은 AI 시스템이 일반적인 작업에 접근하는 방식을 향상시킬 것을 약속합니다. “로 알려짐사고 선호도 최적화”(TPO), 이 방법은 대규모 언어 모델 (LLM)의 답변은 더욱 사려 깊고 신중합니다.
TPO의 공동 노력은 AI 연구 분야의 일부 주요 기관의 전문 지식을한데 모으는 것입니다.
사고 선호도 최적화의 메커니즘
TPO의 핵심은 AI 모델이 최종 답변을 생성하기 전에 “사고 단계”를 생성하도록 장려하는 방식으로 작동합니다. 이 과정은 인간의 인지 과정을 모방합니다. 인간은 응답을 명확하게 하기 전에 문제나 질문을 충분히 생각하는 경우가 많습니다.
이 기술에는 몇 가지 주요 단계가 포함됩니다.
- 모델은 쿼리에 응답하기 전에 사고 단계를 생성하라는 메시지를 받습니다.
- 여러 출력이 생성되며 각각 고유한 사고 단계와 최종 답변이 포함됩니다.
- 평가자 모델은 사고 단계 자체가 아닌 최종 답변만 평가합니다.
- 그런 다음 모델은 이러한 평가를 기반으로 선호도 최적화를 통해 학습됩니다.
이 접근 방식은 다음과 같은 이전 기술과 크게 다릅니다. CoT(사고 사슬) 프롬프트. CoT는 주로 수학 및 논리 작업에 사용되었지만 TPO는 다양한 유형의 쿼리 및 명령에 걸쳐 더 광범위한 유틸리티를 갖도록 설계되었습니다. 더욱이 TPO는 사고 과정에 대한 명시적인 감독을 요구하지 않으므로 모델이 자체적으로 효과적인 사고 전략을 개발할 수 있습니다.
또 다른 주요 차이점은 TPO가 인간의 사고 과정을 포함하는 제한된 훈련 데이터의 문제를 극복한다는 것입니다. TPO는 중간 단계가 아닌 최종 결과물에 대한 평가에 초점을 맞춤으로써 보다 유연하고 다양한 사고 패턴이 나타날 수 있도록 해줍니다.
실험 설정 및 결과
TPO의 효율성을 테스트하기 위해 연구원들은 AI 언어 모델 분야에서 두 가지 주요 벤치마크인 AlpacaEval과 Arena-Hard를 사용하여 실험을 수행했습니다. 이러한 벤치마크는 광범위한 작업에 걸쳐 AI 모델의 일반적인 지시 따르기 기능을 평가하도록 설계되었습니다.
실험에서는 Llama-3-8B-Instruct를 시드 모델로 사용했으며 평가에는 다양한 심사 모델이 사용되었습니다. 이 설정을 통해 연구원들은 TPO의 성능을 기준 모델과 비교하고 다양한 유형의 작업에 미치는 영향을 평가할 수 있었습니다.
이러한 실험의 결과는 유망했으며 다음과 같은 여러 범주에서 개선이 나타났습니다.
- 추론 및 문제 해결: 예상대로 TPO는 논리적 사고와 분석이 필요한 작업에서 좋은 결과를 보였습니다.
- 일반 지식: 흥미롭게도 이 기술은 광범위한 사실 정보와 관련된 쿼리에 대한 성능도 향상했습니다.
- 마케팅: 놀랍게도 TPO는 마케팅, 영업 관련 업무에서 향상된 역량을 보여주었습니다.
- 창의적인 작업: 연구자들은 창의적인 글쓰기와 같은 영역에서 잠재적인 이점을 언급하면서 “사고”가 창의적인 결과물을 계획하고 구조화하는 데 도움이 될 수 있음을 시사했습니다.
이러한 개선은 전통적으로 추론이 많은 작업에만 국한되지 않았으며, 이는 TPO가 광범위한 애플리케이션에서 AI 성능을 향상할 수 있는 잠재력이 있음을 나타냅니다. AlpacaEval 및 Arena-Hard 벤치마크의 승률은 기본 모델에 비해 크게 향상된 것으로 나타났으며, TPO는 훨씬 더 큰 언어 모델과 비교할 때에도 경쟁력 있는 결과를 달성했습니다.
그러나 현재 TPO 구현에는 특히 수학적 작업에서 몇 가지 제한 사항이 있다는 점을 기억하는 것이 중요합니다. 연구원들은 수학 문제에 대한 성능이 기본 모델에 비해 실제로 감소한 것을 관찰했으며, 이는 특정 영역을 해결하려면 추가 개선이 필요할 수 있음을 시사합니다.
AI 개발에 대한 시사점
다양한 범주에 걸쳐 성능을 향상시키는 데 있어 TPO의 성공은 AI 애플리케이션에 대한 흥미로운 가능성을 열어줍니다. 전통적인 추론 및 문제 해결 작업을 넘어서 이 기술은 창의적인 글쓰기, 언어 번역 및 콘텐츠 생성에서 AI 기능을 향상시킬 수 있습니다. AI가 출력을 생성하기 전에 복잡한 프로세스를 통해 “생각”할 수 있도록 함으로써 이러한 분야에서 보다 미묘하고 상황을 인식하는 결과를 볼 수 있습니다.
고객 서비스에서 TPO는 챗봇과 가상 비서의 보다 사려 깊고 포괄적인 응답으로 이어져 잠재적으로 사용자 만족도를 향상시키고 사람의 개입 필요성을 줄일 수 있습니다. 또한 데이터 분석 영역에서 이 접근 방식을 통해 AI는 복잡한 데이터 세트에서 결론을 도출하기 전에 다양한 관점과 잠재적 상관 관계를 고려하여 보다 통찰력 있고 신뢰할 수 있는 분석을 수행할 수 있습니다.
유망한 결과에도 불구하고 TPO는 현재 형태로 몇 가지 과제에 직면해 있습니다. 수학 관련 작업에서 관찰된 감소는 이 기술이 모든 영역에 걸쳐 보편적으로 유익하지 않을 수 있음을 시사합니다. 이러한 제한은 TPO 접근 방식에 대한 도메인별 개선의 필요성을 강조합니다.
또 다른 중요한 과제는 계산 오버헤드의 잠재적인 증가입니다. 여러 사고 경로를 생성하고 평가하는 프로세스는 잠재적으로 처리 시간과 리소스 요구 사항을 증가시킬 수 있으며, 이로 인해 신속한 대응이 중요한 시나리오에서 TPO의 적용 가능성이 제한될 수 있습니다.
또한 현재 연구는 특정 모델 크기에 초점을 맞춰 TPO가 더 크거나 작은 언어 모델로 얼마나 잘 확장될 수 있는지에 대한 의문을 제기합니다. 또한 “과도하게 생각”하는 위험도 있습니다. 과도한 “생각”은 단순한 작업에 대해 복잡하거나 지나치게 복잡한 반응을 초래할 수 있습니다.
생각의 깊이와 당면 과제의 복잡성 사이의 균형을 맞추는 것이 향후 연구 개발의 핵심 영역이 될 것입니다.
향후 방향
미래 연구의 핵심 영역 중 하나는 AI 사고 과정의 길이와 깊이를 제어하는 방법을 개발하는 것입니다. 여기에는 모델이 당면 작업의 복잡성에 따라 사고 깊이를 조정할 수 있도록 하는 동적 조정이 포함될 수 있습니다. 연구자들은 사용자 정의 매개변수를 탐색하여 사용자가 다양한 애플리케이션에 대해 원하는 사고 수준을 지정할 수 있도록 할 수도 있습니다.
이 영역에서는 효율성 최적화가 매우 중요합니다. 철저한 고려와 빠른 응답 시간 사이의 최적점을 찾는 알고리즘을 개발하면 다양한 도메인과 사용 사례에 걸쳐 TPO의 실제 적용 가능성을 크게 향상시킬 수 있습니다.
AI 모델의 크기와 기능이 지속적으로 성장함에 따라 모델 크기에 따라 TPO가 어떻게 확장되는지 탐색하는 것이 중요합니다. 향후 연구 방향은 다음과 같습니다.
- 최첨단 대규모 언어 모델에서 TPO를 테스트하여 고급 AI 시스템에 미치는 영향을 평가합니다.
- 더 큰 모델에 사고 생성 및 평가에 대한 다른 접근 방식이 필요한지 조사
- 더 작은 모델과 더 큰 모델 사이의 성능 격차를 해소하여 잠재적으로 계산 리소스를 보다 효율적으로 사용할 수 있는 TPO의 잠재력 탐색
이 연구는 효율성과 정확성을 유지하면서 점점 더 복잡해지는 작업을 처리할 수 있는 보다 정교한 AI 시스템으로 이어질 수 있습니다.
결론
사고 선호 최적화(Thought Preference Optimization)는 대규모 언어 모델의 기능을 향상시키는 데 있어서 중요한 진전을 나타냅니다. AI 시스템이 “말하기 전에 생각”하도록 장려함으로써 TPO는 광범위한 작업 전반에 걸쳐 개선 사항을 입증했으며 잠재적으로 AI 개발에 접근하는 방식에 혁명을 일으켰습니다.
이 분야에 대한 연구가 계속됨에 따라 기술이 더욱 개선되어 현재의 한계를 해결하고 응용 분야가 확장될 것으로 기대할 수 있습니다. AI의 미래에는 정보를 처리할 뿐만 아니라 보다 인간과 유사한 인지 프로세스에 참여하여 보다 미묘하고 상황을 인식하며 궁극적으로 보다 유용한 인공 지능을 구현하는 시스템이 포함될 수 있습니다.
게시물 사고 사슬을 넘어서: 사고 선호도 최적화가 LLM을 발전시키는 방법 처음 등장한 Unite.AI.