과학자 팀은 우리가 AI 기능에 대해 알고 있다고 생각했던 많은 것을 바꾸는 무언가를 발견했습니다. 모델은 단순히 정보를 처리하는 것이 아니라 훈련 이상의 정교한 능력을 개발하고 있습니다. 그리고 이러한 능력을 잠금 해제하려면 우리가 그들과 대화하는 방식을 바꿔야 합니다.
개념 공간 혁명
AI가 패턴과 일치한다고 생각했던 때를 기억하시나요? 새로운 연구 이제 “개념 공간”이라고 부르는 것을 매핑하여 AI 학습의 블랙박스를 열었습니다. 각 좌표가 색상, 모양 또는 크기와 같은 서로 다른 개념을 나타내는 다차원 지도로 AI 학습을 상상해 보세요. 연구원들은 AI 모델이 훈련 중에 이 공간을 어떻게 이동하는지 관찰하면서 예상치 못한 사실을 발견했습니다. AI 시스템은 단순히 암기하는 것이 아니라 다양한 속도로 개념에 대한 정교한 이해를 구축한다는 것입니다.
연구팀은 “이 공간에서 학습 역학을 특성화함으로써 개념이 학습되는 속도가 데이터 속성에 의해 어떻게 제어되는지 확인합니다.”라고 말합니다. 즉, 일부 개념은 훈련 데이터에서 얼마나 눈에 띄는지에 따라 다른 개념보다 더 빠르게 클릭됩니다.
이것이 흥미로운 이유는 다음과 같습니다. AI 모델이 이러한 개념을 학습할 때 이를 단지 고립된 정보 조각으로 저장하지 않습니다. 그들은 실제로 우리가 명시적으로 가르치지 않은 방식으로 그것들을 혼합하고 일치시키는 능력을 개발합니다. 이는 마치 그들이 자신만의 창의적인 툴킷을 구축하는 것과 같습니다. 우리는 단지 이를 사용하는 데 필요한 올바른 지침을 제공하지 않았을 뿐입니다.
이것이 AI 프로젝트에 어떤 의미인지 생각해 보세요. 작업 중인 모델은 아직 발견하지 못한 개념의 복잡한 조합을 이미 이해하고 있을 수도 있습니다. 문제는 그들이 더 많은 일을 할 수 있는지 여부가 아니라, 그들이 실제로 무엇을 할 수 있는지 보여주도록 하는 방법입니다.
숨겨진 힘의 잠금 해제
여기서 일이 흥미로워집니다. 연구원들은 AI 모델이 학습하는 방식에 대한 근본적인 것을 밝히기 위해 우아한 실험을 설계했습니다. 그들의 설정은 믿을 수 없을 정도로 간단했습니다. 단 세 가지 유형의 이미지에 대해 AI 모델을 훈련했습니다.
- 큰 빨간색 원
- 큰 파란색 원
- 작은 빨간색 원
그런 다음 핵심 테스트가 진행되었습니다. 모델이 작은 파란색 원을 만들 수 있습니까? 이는 단순히 새로운 모양을 그리는 것이 아니라, 모델이 이전에 볼 수 없었던 방식으로 두 가지 다른 개념(크기 및 색상)을 진정으로 이해하고 결합할 수 있는지 여부에 관한 것입니다.
그들이 발견한 것은 AI 기능에 대한 우리의 생각을 변화시킵니다. 일반적인 프롬프트를 사용하여 “작은 파란색 원”을 요청했을 때 모델은 어려움을 겪었습니다. 그러나 모델은 실제로 작은 파란색 원을 만들 수 있었습니다. 우리는 올바른 방법을 묻지 않았을 뿐입니다.
연구자들은 이를 입증하는 두 가지 기술을 발견했습니다.
- “잠재적 개입” – 이는 모델의 두뇌에 백도어를 찾는 것과 같습니다. 일반적인 프롬프트를 사용하는 대신 ‘파란색’과 ‘작은’을 나타내는 내부 신호를 직접 조정했습니다. 색상과 크기에 따라 별도의 다이얼이 있다고 상상해 보십시오. 그들은 이 다이얼을 특정한 방식으로 돌리면 모델이 이전에는 불가능해 보였던 것을 갑자기 만들어 낼 수 있다는 것을 발견했습니다.
- “과도한 제안” – 단순히 파란색을 요구하기보다 색상 값을 매우 구체적으로 지정했습니다. “파란색으로 만드세요”라고 말하는 것과 “정확히 이 파란색 음영으로 만드세요: RGB(0.3, 0.3, 0.7)” 사이의 차이와 같습니다. 이러한 추가적인 정밀도는 정상적인 조건에서는 숨겨져 있던 모델 액세스 능력에 도움이 되었습니다.
두 기술 모두 모델 훈련의 정확히 동일한 지점, 즉 약 6,000개의 훈련 단계에서 작동하기 시작했습니다. 한편, 정기적인 프롬프트는 완전히 실패했거나 작동하려면 8,000개 이상의 단계가 필요했습니다. 그리고 이것은 우연이 아니었습니다. 여러 테스트에서 일관되게 발생했습니다.
이는 우리에게 심오한 사실을 알려줍니다. AI 모델은 두 가지 단계로 기능을 개발합니다. 첫째, 내부적으로 개념을 결합하는 방법을 실제로 배웁니다. 이것이 6,000단계 주변에서 발생합니다. 그러나 이러한 내부 능력을 우리가 요청하는 일반적인 방식과 연결하는 방법을 배우는 두 번째 단계가 있습니다. 이는 모델이 우리를 위해 해당 언어를 번역하는 방법을 배우기 전에 새로운 언어에 능숙해지는 것과 같습니다.
그 의미는 중요합니다. 모델이 어떤 일을 할 수 없다고 생각한다면, 우리가 틀렸을 수도 있습니다. 모델에는 능력이 있지만 프롬프트와 능력 사이의 연결이 부족할 수 있습니다. 이는 단순한 모양과 색상에만 적용되는 것이 아니라 더 큰 AI 시스템의 더 복잡한 기능에도 적용될 수 있습니다.
연구자들이 실제 데이터에서 이러한 아이디어를 테스트했을 때 CelebA 얼굴 데이터세트그들은 동일한 패턴을 발견했습니다. 그들은 모델이 “모자를 쓴 여성”의 이미지를 생성하도록 시도했는데, 이는 훈련에서 볼 수 없었던 것입니다. 일반 프롬프트는 실패했지만 잠재 개입을 사용하면 모델이 실제로 이러한 이미지를 생성할 수 있음이 밝혀졌습니다. 기능이 있었습니다. 일반적인 수단으로는 액세스할 수 없었습니다.
Park 외, 하버드 대학교 및 NTT Research
핵심 내용
AI 역량을 평가하는 방법을 다시 생각해 볼 필요가 있습니다. 모델이 표준 프롬프트로 작업을 수행할 수 없다고 해서 전혀 수행할 수 없다는 의미는 아닙니다. AI 모델이 할 수 있는 것과 우리가 그들에게 하도록 할 수 있는 것 사이의 격차는 우리가 생각했던 것보다 작을 수 있습니다. 우리는 질문하는 능력을 향상시키면 됩니다.
이번 발견은 단순히 이론적인 것이 아니라 우리가 AI 시스템에 대해 생각하는 방식을 근본적으로 바꿔 놓았습니다. 모델이 작업을 수행하는 데 어려움을 겪는 것처럼 보이면 실제로 기능이 부족한지 아니면 제대로 액세스하지 못하는 것인지 물어봐야 할 수도 있습니다. 개발자, 연구원, 사용자 모두에게 이는 AI와 상호 작용하는 방식에 창의력을 발휘하는 것을 의미합니다. 때로는 필요한 기능이 이미 존재하고 잠금을 해제할 올바른 키를 기다리기만 하면 됩니다.
게시물 당신의 AI는 당신이 생각하는 것보다 더 강력합니다 처음 등장한 Unite.AI.
