Saket Saurabh, Nexla CEO 겸 공동 창업자 – 인터뷰 시리즈

사켓 사우라브Nexla의 CEO이자 공동 창업자인 그는 데이터와 인프라에 대한 깊은 열정을 가진 기업가입니다. 그는 데이터 작업에 규모와 속도를 제공하도록 설계된 차세대 자동화 데이터 엔지니어링 플랫폼의 개발을 주도하고 있습니다.

이전에 Saurabh는 인수, IPO, 수백만 달러 규모의 비즈니스 성장 등 중요한 이정표를 달성한 성공적인 모바일 스타트업을 설립했습니다. 그는 또한 Nvidia에 재직하는 동안 여러 혁신적인 제품과 기술에 기여했습니다.

넥슬라 데이터 엔지니어링을 자동화하여 데이터를 즉시 사용할 수 있도록 합니다. 그들은 독특한 접근 방식을 통해 이를 달성합니다. 넥세트 – 누구나 쉽게 데이터를 통합, 변환, 제공 및 모니터링할 수 있게 해주는 데이터 제품입니다.

와트시Nexla를 공동 창립하도록 영감을 주었으며, 데이터 엔지니어링 경험이 회사에 대한 비전을 어떻게 형성했습니까?

Nexla를 설립하기 전에 저는 Nvidia에서 컴퓨팅 측면에서 확장성이 뛰어난 고급 기술을 구축하는 데이터 엔지니어링 여정을 시작했습니다. 그 후 저는 이전 스타트업의 모바일 광고 분야에서 인수 및 IPO 과정을 거쳤습니다. 모바일 광고 분야에서는 대량의 데이터와 기계 학습이 우리 제품의 핵심 부분이었으며 매일 약 3000억 개의 데이터 레코드를 처리했습니다.

이전 회사가 상장된 후 2015년의 풍경을 보면서 나는 나를 흥분시키는 다음 큰 도전을 찾고 있었습니다. 이러한 두 가지 배경을 바탕으로 볼 때, 업계가 데이터와 AI를 기반으로 하는 고급 애플리케이션으로 전환함에 따라 데이터와 컴퓨팅 문제가 수렴되고 있다는 것이 매우 분명해졌습니다.

GenAI(Generative AI)가 지금처럼 빠르게 발전할 것이라는 사실은 당시에는 몰랐지만, 머신러닝과 AI가 데이터를 활용하는 기반이 될 것이라는 점은 분명했습니다. 그래서 저는 사람들이 데이터 작업을 성공적으로 수행하려면 어떤 종류의 인프라가 필요한지, 엔지니어뿐만 아니라 누구나 일상적인 직업 생활에서 데이터를 활용할 수 있도록 어떻게 만들 수 있는지 생각하기 시작했습니다.

이는 데이터 엔지니어링을 단순화하고 자동화하는 Nexla의 비전으로 이어졌습니다. 데이터 엔지니어링은 특히 복잡하거나 대규모 데이터 문제를 처리할 때 대부분의 회사에서 매우 맞춤형 솔루션이었기 때문입니다. 목표는 데이터 엔지니어뿐만 아니라 더 넓은 범위의 사용자가 데이터에 액세스하고 접근할 수 있도록 만드는 것이었습니다. 확장 가능한 데이터 시스템 및 애플리케이션을 구축한 경험은 자동화 및 단순화를 통해 데이터에 대한 액세스를 민주화하려는 이러한 비전을 촉진했습니다.

Nexsets는 모든 사람이 즉시 사용할 수 있는 데이터를 만들겠다는 Nexla의 사명을 어떻게 예시하며, 이러한 혁신이 현대 기업에 중요한 이유는 무엇입니까?

Nexsets는 데이터의 핵심 과제를 해결하여 모든 사람이 즉시 사용할 수 있는 데이터를 만들겠다는 Nexla의 사명을 잘 보여줍니다. 데이터의 3V(볼륨, 속도, 다양성)는 지속적인 문제였습니다. 업계는 규모와 속도 문제를 해결하는 데 어느 정도 진전을 이루었습니다. 그러나 새로운 시스템과 애플리케이션의 확산으로 인해 데이터 구조와 형식이 점점 더 다양해지면서 데이터의 다양성은 여전히 ​​큰 장애물로 남아 있습니다.

Nexla의 접근 방식은 다양한 소스의 데이터를 Nexset이라고 하는 데이터 제품인 일관되고 패키지된 엔터티로 자동으로 모델링하고 연결하는 것입니다. 이를 통해 사용자는 다양한 데이터 소스와 구조의 근본적인 복잡성을 이해하지 않고도 데이터에 액세스하고 작업할 수 있습니다. Nexset은 데이터에 대한 간단하고 직접적인 인터페이스를 제공하는 게이트웨이 역할을 합니다.

이는 데이터 엔지니어뿐만 아니라 더 많은 사람들이 일상 업무에서 데이터를 활용할 수 있게 해주기 때문에 현대 기업에 매우 중요합니다. Nexsets는 데이터의 다양성과 복잡성을 추상화함으로써 비즈니스 사용자, 분석가 및 기타 사람들이 광범위한 기술 전문 지식 없이도 필요한 데이터와 직접 상호 작용할 수 있도록 해줍니다.

우리는 또한 사용자 인터페이스, 사람들이 데이터를 협업하고 관리하는 방법부터 변환 및 워크플로를 구축하는 방법에 이르기까지 기술이 덜한 데이터 소비자가 쉽게 통합을 사용할 수 있도록 노력했습니다. 데이터 다양성의 복잡성을 추상화하는 것은 데이터에 대한 액세스를 민주화하고 더 넓은 범위의 사용자가 정보 자산에서 가치를 창출할 수 있도록 지원하는 데 핵심입니다. 이는 더욱 데이터 기반이 되고 조직 전체에서 데이터 기반 통찰력을 활용하려는 현대 기업에게 중요한 기능입니다.

데이터를 “GenAI 지원”으로 만드는 것은 무엇이며 Nexla는 이러한 요구 사항을 어떻게 효과적으로 해결합니까?

대답은 부분적으로 GenAI를 사용하는 방법에 따라 다릅니다. 대부분의 기업은 GenAI 검색 증강 생성(RAG)을 구현하고 있습니다. 이를 위해서는 먼저 벡터 데이터베이스에 로드할 데이터를 준비하고 인코딩한 다음 검색을 통해 데이터를 검색하여 이 데이터를 사용하여 훈련되지 않은 LLM(대형 언어 모델)에 대한 입력으로 컨텍스트로 프롬프트에 추가해야 합니다. 따라서 벡터 검색과 LLM 모두에 잘 작동하도록 데이터를 준비해야 합니다.

RAG, RAFT(Retrieval Augmented Fine-Tuning) 사용 여부 또는 모델 교육 수행 여부에 관계없이 몇 가지 주요 요구 사항이 있습니다.

• 데이터 형식: GenAI LLM은 특정 형식의 데이터에 가장 잘 작동하는 경우가 많습니다. 데이터는 모델이 쉽게 수집하고 처리할 수 있는 방식으로 구조화되어야 합니다. 또한 LLM이 데이터를 더 잘 활용하는 데 도움이 되는 방식으로 “청크”되어야 합니다.
• 연결성: GenAI LLM은 정적 데이터 세트에 의존하기보다는 관련 데이터 소스에 동적으로 액세스할 수 있어야 합니다. 이를 위해서는 다양한 엔터프라이즈 시스템 및 데이터 저장소에 대한 지속적인 연결이 필요합니다.
• 보안 및 거버넌스: 중요한 기업 데이터를 사용할 때는 강력한 보안 및 거버넌스 제어 기능을 갖추는 것이 중요합니다. 데이터 액세스 및 사용은 안전해야 하며 기존 조직 정책을 준수해야 합니다. 또한 데이터 침해를 방지하기 위해 LLM이 사용하는 데이터를 관리해야 합니다.
• 확장성: GenAI LLM은 데이터 및 컴퓨팅 집약적일 수 있으므로 기본 데이터 인프라는 이러한 모델의 요구 사항을 충족하도록 확장할 수 있어야 합니다.

Nexla는 몇 가지 주요 방법으로 GenAI에 적합한 데이터를 만들기 위한 이러한 요구 사항을 해결합니다.

• 동적 데이터 액세스: Nexla의 데이터 통합 ​​플랫폼은 수백 개의 소스에 연결하는 단일 방법을 제공하고 오케스트레이션과 함께 다양한 통합 스타일과 데이터 속도를 사용하여 GenAI LLM에 의존하지 않고 필요할 때 필요한 최신 데이터를 제공합니다. 정적 데이터 세트에 대해.
• 데이터 준비: Nexla는 내장된 데이터 청크 및 여러 인코딩 모델 지원을 포함하여 각 GenAI 사용 사례에 최적화된 형식으로 데이터를 추출, 변환 및 준비하는 기능을 갖추고 있습니다.
• 셀프 서비스 및 협업: Nexla를 사용하면 데이터 소비자가 스스로 데이터에 액세스하고 Nexset 및 흐름을 구축할 수 있습니다. 데이터가 올바른 형식인지 확인하고 재사용을 통해 생산성을 향상시키는 마켓플레이스를 통해 협업하고 작업을 공유할 수 있습니다.
• 자동 생성: 통합과 GenAI는 모두 어렵습니다. Nexla는 AI 및 기타 기술을 사용하여 데이터 소비자의 선택에 따라 필요한 많은 단계를 자동 생성하므로 사용자가 스스로 작업을 수행할 수 있습니다.
• 거버넌스 및 보안: Nexla는 협업을 포함한 강력한 보안 및 거버넌스 제어를 통합하여 민감한 기업 데이터가 안전하고 규정을 준수하는 방식으로 액세스되고 사용되도록 보장합니다.
• 확장성: Nexla 플랫폼은 GenAI 워크로드의 요구 사항을 처리할 수 있도록 확장되도록 설계되어 필요한 컴퓨팅 성능과 탄력적인 규모를 제공합니다.

데이터 민주화를 위해서는 융합 통합, 셀프 서비스 및 협업, 자동 생성, 데이터 거버넌스가 함께 구축되어야 합니다.

다양한 데이터 유형과 소스가 GenAI 모델의 성공에 어떻게 기여하며, 통합 프로세스를 단순화하는 데 Nexla의 역할은 무엇입니까?

GenAI 모델은 최고의 통찰력을 제공하고 관련 출력을 생성하기 위해 모든 종류의 정보에 액세스해야 합니다. 이 정보를 제공하지 않으면 좋은 결과를 기대할 수 없습니다. 사람들도 마찬가지입니다.

GenAI 모델은 세상에 대한 포괄적인 이해를 구축하기 위해 구조화된 데이터베이스부터 구조화되지 않은 문서에 이르기까지 광범위한 데이터에 대해 교육을 받아야 합니다. 뉴스 기사, 재무 보고서, 고객 상호 작용 등 다양한 데이터 소스는 이러한 모델이 활용할 수 있는 귀중한 상황 정보를 제공합니다. 또한 다양한 데이터에 노출되면 GenAI 모델의 유연성과 적응성이 향상되어 더 넓은 범위의 쿼리와 작업을 처리할 수 있습니다.

Nexla는 Nexsets를 사용하여 이 모든 데이터의 다양성을 추상화하고 거의 모든 소스에 쉽게 액세스한 다음 데이터를 추출, 변환, 조정 및 로드할 수 있도록 하여 데이터 소비자가 데이터에만 집중하고 GenAI를 준비할 수 있도록 합니다.

특히 GenAI의 부상으로 인해 2025년 이후 데이터 생태계를 형성하는 추세는 무엇입니까?

기업들은 대부분 GenAI를 사용하여 사람들이 답을 찾고 더 나은 결정을 내릴 수 있도록 보조자 또는 부조종사를 구축하는 데 중점을 두었습니다. 사람이 개입하지 않고 작업을 자동화하는 에이전트인 Agentic AI는 2025년으로 접어들면서 확실히 증가하는 추세입니다. 부조종사와 마찬가지로 에이전트도 데이터가 한 방향으로 원활하게 흐르는 것이 아니라 AI가 다음을 수행할 수 있도록 통합이 필요합니다. 해당 데이터에 따라 조치를 취하세요.

2025년의 또 다른 주요 추세는 AI 시스템의 복잡성이 증가한다는 것입니다. 이러한 시스템은 서로 다른 소스의 구성 요소를 결합하여 응집력 있는 솔루션을 생성함으로써 더욱 정교해지고 있습니다. 이는 인간이 작업을 수행하기 위해 하루 종일 다양한 도구에 의존하는 방식과 유사합니다. 강화된 AI 시스템은 이 접근 방식을 따라 여러 도구와 구성 요소를 조정합니다. 이러한 오케스트레이션은 중요한 과제이면서도 개발의 핵심 영역이기도 합니다.

트렌드 관점에서 볼 때, 단순한 패턴 매칭을 넘어 실제 추론까지 발전하는 생성 AI가 추진되고 있습니다. 이 분야에서는 많은 기술적 진보가 일어나고 있습니다. 이러한 발전은 2025년에 상업적 가치로 완전히 전환되지 않을 수도 있지만 우리가 향하고 있는 방향을 나타냅니다.

또 다른 주요 추세는 특히 Nvidia와 같은 회사에서 AI 추론을 위한 가속화 기술의 적용이 증가하고 있다는 것입니다. 전통적으로 GPU는 AI 모델 훈련에 많이 사용되었지만 모델이 적극적으로 사용되는 지점인 런타임 추론도 마찬가지로 중요해지고 있습니다. 추론 최적화의 발전을 기대하여 추론을 더욱 효율적이고 영향력 있게 만들 수 있습니다.

또한 사용 가능한 훈련 데이터가 대부분 최대치에 도달했다는 사실이 인식되었습니다. 이는 훈련 중에 더 많은 데이터를 추가하는 것이 아니라 추론 중에 모델이 작동하는 방식에서 모델의 추가 개선이 이루어질 것임을 의미합니다. 런타임 시 새로운 정보를 활용하여 모델 결과를 향상시키는 것이 중요한 초점이 되고 있습니다.

일부 흥미로운 기술이 한계에 도달하기 시작하는 동안 새로운 접근 방식이 계속 등장하여 궁극적으로 AI를 채택하는 조직에 민첩성의 중요성이 강조될 것입니다. 현재 잘 작동하는 것이 6개월에서 1년 내에 쓸모 없게 될 수 있으므로 데이터 소스와 AI 파이프라인의 구성 요소를 추가하거나 교체할 준비를 하십시오. 빠르게 변화하는 환경을 따라잡기 위해서는 적응력과 변화에 대한 개방성을 유지하는 것이 중요합니다.

조직은 데이터 사일로를 무너뜨리고 시스템 전반의 데이터 흐름을 개선하기 위해 어떤 전략을 채택할 수 있습니까?

첫째, 사람들은 데이터 사일로가 항상 존재한다는 사실을 받아들여야 합니다. 항상 그랬습니다. 많은 조직이 이상적인 설정을 만들고 상당한 가치를 창출할 것이라고 믿으며 모든 데이터를 한 곳에 집중시키려고 시도하지만 이는 거의 불가능합니다. 이는 특히 대기업의 경우 장기간, 비용이 많이 드는 다년간의 노력으로 바뀌는 경우가 많습니다.

따라서 현실은 데이터 사일로가 계속 존재한다는 것입니다. 일단 이를 받아들이면 질문은 다음과 같습니다. 데이터 사일로를 어떻게 더 효율적으로 사용할 수 있습니까?

유용한 비유는 대기업에 대해 생각하는 것입니다. 모든 사람이 전 세계적으로 함께 일하는 단일 사무실에서 운영되는 대기업은 없습니다. 대신 본사와 여러 사무실로 나뉘어졌습니다. 목표는 이러한 자연스러운 분할에 저항하는 것이 아니라 해당 사무실이 효과적으로 협업할 수 있도록 하는 것입니다. 이것이 바로 우리가 Zoom이나 Slack과 같은 생산성 도구에 투자하여 사람들을 연결하고 위치 전반에 걸쳐 원활한 워크플로를 지원하는 이유입니다.

마찬가지로 데이터 사일로는 단편화된 시스템입니다. 팀, 부서 또는 기타 경계를 넘어 항상 존재합니다. 핵심은 그것들을 제거하는 것이 아니라 그것들이 원활하게 함께 작동하도록 만드는 것입니다. 이를 알면 우리는 이러한 연결을 촉진하는 기술에 집중할 수 있습니다.

예를 들어 Nexsets와 같은 기술은 다양한 데이터 소스에서 작동하는 공통 인터페이스 또는 추상화 계층을 제공합니다. 데이터 사일로에 대한 게이트웨이 역할을 함으로써 다양한 사일로에 분산된 데이터와의 상호 운용 프로세스를 단순화합니다. 이는 효율성을 높이고 사일로의 부정적인 영향을 최소화합니다.

본질적으로 전략은 사일로에 맞서기보다는 사일로 간의 협력을 강화하는 것이어야 합니다. 많은 기업이 모든 것을 대규모 데이터 레이크에 통합하려고 시도하는 실수를 범합니다. 하지만 솔직히 말해서 이기는 것은 거의 불가능한 싸움입니다.

최신 데이터 플랫폼은 속도 및 확장성과 같은 문제를 어떻게 처리하며 이러한 문제를 해결하는 데 있어 Nexla를 차별화하는 요소는 무엇입니까?

제가 보기에 최신 데이터 스택 내의 많은 도구는 처음에 사용 편의성과 개발 속도에 초점을 맞춰 설계되었습니다. 이는 도구에 대한 접근성을 높여 마케팅 분석가가 마케팅 플랫폼에서 직접 데이터를 다른 플랫폼으로 이동할 수 있도록 하는 데서 비롯되었습니다. 예를 들어 시각화 도구. 이러한 도구의 발전에는 포인트 솔루션이나 구체적이고 좁게 정의된 문제를 해결하기 위해 설계된 도구의 개발이 포함되는 경우가 많습니다.

확장성에 대해 이야기할 때 사람들은 종종 더 많은 양의 데이터를 처리한다는 측면에서 확장을 생각합니다. 그러나 확장성의 실제 문제는 두 가지 주요 요인, 즉 데이터 작업을 수행해야 하는 사람의 수가 증가하고, 조직에서 관리해야 하는 시스템 및 데이터 유형이 점점 더 다양해지는 데서 비롯됩니다.

고도로 전문화된 최신 도구는 이러한 문제 중 일부만 해결하는 경향이 있습니다. 결과적으로 조직은 결국 하나의 문제를 해결하는 여러 도구를 사용하게 되고 결국 도구 과부하 및 비효율성과 같은 고유한 문제를 야기하게 됩니다.

Nexla는 사용 편의성과 유연성 사이의 균형을 신중하게 조정하여 이 문제를 해결합니다. 한편으로는 템플릿 및 사용자 친화적인 인터페이스와 같은 기능을 통해 단순성을 제공합니다. 반면에 우리는 팀이 플랫폼을 지속적으로 향상시킬 수 있는 유연성과 개발자 친화적인 기능을 제공합니다. 개발자는 시스템에 새로운 기능을 추가할 수 있지만 이러한 향상된 기능은 기술 지식이 없는 사용자가 간단한 버튼과 클릭만으로 액세스할 수 있습니다. 이 접근 방식은 광범위한 엔터프라이즈급 기능을 제공하는 동시에 과도하게 전문화된 도구의 함정을 피합니다.

Nexla를 진정으로 차별화하는 것은 조직에서 요구하는 확장성과 폭을 사용 편의성과 결합하는 능력입니다. 우리 플랫폼은 이 두 세계를 원활하게 연결하여 팀이 성능이나 유연성을 저하시키지 않고 효율적으로 작업할 수 있도록 해줍니다.

Nexla의 주요 강점 중 하나는 추상화된 아키텍처에 있습니다. 예를 들어 사용자는 데이터 파이프라인을 시각적으로 디자인할 수 있지만 파이프라인이 실행되는 방식은 적응성이 뛰어납니다. 소스, 대상 또는 데이터가 실시간이어야 하는지 여부 등 사용자의 요구 사항에 따라 플랫폼은 자동으로 파이프라인을 6가지 엔진 중 하나에 매핑합니다. 이를 통해 사용자가 이러한 복잡성을 수동으로 관리할 필요 없이 최적의 성능을 보장합니다.

플랫폼은 또한 느슨하게 결합되어 있습니다. 즉, 소스 시스템과 대상 시스템이 분리되어 있습니다. 이를 통해 사용자는 기존 소스에 더 많은 대상을 쉽게 추가하고, 기존 대상에 더 많은 소스를 추가하고, 시스템 간의 양방향 통합을 활성화할 수 있습니다.

중요한 점은 Nexla가 파이프라인 설계를 추상화하므로 사용자가 워크플로우나 설계를 변경하지 않고도 배치 데이터, 스트리밍 데이터 및 실시간 데이터를 처리할 수 있다는 것입니다. 플랫폼은 이러한 요구 사항에 자동으로 적응하므로 사용자가 어떤 형식이나 속도로든 데이터 작업을 더 쉽게 수행할 수 있습니다. 이는 프로그래밍 언어의 세부 사항보다 사려 깊은 디자인에 관한 것이며 원활한 경험을 보장합니다.

이 모든 것은 우리가 데이터의 최종 소비자를 염두에 두고 Nexla를 구축했음을 보여줍니다. 많은 기존 도구는 데이터를 생성하거나 시스템을 관리하는 사람들을 위해 설계되었지만 우리는 소스에 관계없이 데이터에 액세스할 수 있는 일관되고 간단한 인터페이스를 원하는 데이터 소비자의 요구 사항에 중점을 둡니다. 소비자 경험을 우선시함으로써 다양한 사용 사례를 지원하는 데 필요한 유연성을 유지하면서 데이터 액세스를 단순화하는 플랫폼을 설계할 수 있었습니다.

노코드 및 로우코드 기능이 고객을 위해 데이터 엔지니어링을 어떻게 변화시켰는지에 대한 예를 공유할 수 있습니까?

노코드 및 로우코드 기능은 데이터 엔지니어링 프로세스를 사용자를 위한 진정한 협업 환경으로 변화시켰습니다. 예를 들어 과거에는 판매자의 데이터를 관리하는 DoorDash의 계정 운영 팀이 엔지니어링 팀에 요구 사항을 제공해야 했습니다. 그런 다음 엔지니어는 솔루션을 구축하여 많은 시간이 소요되는 반복적인 앞뒤 프로세스로 이어졌습니다.

이제 노코드 및 로우코드 도구를 사용하여 이러한 역학이 변경되었습니다. 일상적인 운영팀은 로우 코드 인터페이스를 사용하여 작업을 직접 처리할 수 있습니다. 한편 엔지니어링 팀은 동일한 로우 코드 플랫폼을 통해 새로운 기능을 신속하게 추가하여 즉각적인 업데이트가 가능합니다. 그러면 운영팀은 지연 없이 이러한 기능을 원활하게 사용할 수 있습니다.

이러한 변화로 인해 프로세스가 창의적인 병목 현상이 아닌 공동 작업으로 전환되어 상당한 시간이 절약되었습니다. 고객들은 이전에 2~3개월이 걸렸던 작업을 이제는 2주 이내에 완료할 수 있어 속도가 5배~10배 향상되었다고 보고했습니다.

특히 AI 채택이 증가함에 따라 데이터 엔지니어링의 역할은 어떻게 진화하고 있나요?

데이터 엔지니어링은 GenAI와 같은 자동화 및 발전을 통해 빠르게 발전하고 있습니다. 코드 생성, 커넥터 생성 등 현장의 여러 측면이 더욱 빠르고 효율적으로 변하고 있습니다. 예를 들어 GenAI를 사용하면 커넥터를 생성, 테스트 및 배포할 수 있는 속도가 대폭 향상되었습니다. 그러나 이러한 발전으로 인해 복잡성 증가, 보안 문제, 강력한 거버넌스의 필요성 등 새로운 과제도 발생했습니다.

가장 시급한 우려 사항 중 하나는 기업 데이터의 오용 가능성입니다. 기업은 자신의 독점 데이터가 AI 모델을 훈련하는 데 실수로 사용되어 경쟁 우위를 잃거나 데이터가 다른 사람에게 유출되면서 데이터 침해가 발생하는 것을 걱정합니다. 시스템의 복잡성이 증가하고 데이터의 양이 엄청나게 늘어나면서 데이터 엔지니어링 팀은 보안, 거버넌스, 데이터 무결성 보장과 같은 중요한 시스템 문제에 초점을 맞춘 더 넓은 관점을 채택해야 합니다. 이러한 과제는 AI만으로는 해결할 수 없습니다.

생성적 AI가 하위 수준 작업을 자동화할 수 있는 반면, 데이터 엔지니어링의 역할은 더 넓은 생태계를 조율하는 방향으로 이동하고 있습니다. 이제 데이터 엔지니어는 오류나 무단 액세스를 방지하기 위한 보호 장치 설정, 거버넌스 표준 준수 보장, AI 생성 출력이 비즈니스 의사 결정에 사용되는 방식 모니터링 등 상호 연결된 수많은 구성 요소와 프로세스를 관리하는 지휘자처럼 행동합니다.

이러한 시스템의 오류와 실수는 비용이 많이 들 수 있습니다. 예를 들어, AI 시스템은 오래된 정책 정보를 가져와 허용되지 않는 경우 고객에게 환불을 약속하는 등 잘못된 응답을 초래할 수 있습니다. 이러한 유형의 문제에는 비즈니스에 영향을 미치기 전에 이러한 오류를 찾아 해결하기 위한 엄격한 감독과 잘 정의된 프로세스가 필요합니다.

데이터 엔지니어링 팀의 또 다른 주요 책임은 사용자 인구 통계의 변화에 ​​적응하는 것입니다. AI 도구는 더 이상 보고서와 데이터의 유효성에 의문을 제기할 수 있는 분석가나 기술 사용자에게만 국한되지 않습니다. 이러한 도구는 이제 고객 지원 상담원과 같이 잘못된 출력에 대해 문제를 제기할 전문 지식이 없는 조직의 가장자리에 있는 개인이 사용합니다. 이러한 기술의 광범위한 민주화로 인해 데이터 정확성과 신뢰성을 보장해야 하는 데이터 엔지니어링 팀의 책임이 증가합니다.

데이터 엔지니어링 분야가 지속적으로 성장함에 따라 Nexla에서 어떤 새로운 기능이나 발전을 기대할 수 있습니까?

우리는 데이터 엔지니어링이 계속 발전함에 따라 새로운 과제와 기회를 해결하기 위해 몇 가지 발전에 집중하고 있습니다. 그 중 하나는 데이터 다양성을 해결하는 AI 기반 솔루션입니다. 데이터 엔지니어링의 주요 과제 중 하나는 다양한 소스의 다양한 데이터를 관리하는 것입니다. 따라서 우리는 AI를 활용하여 이 프로세스를 간소화하고 있습니다. 예를 들어, 수백 개의 서로 다른 판매자로부터 데이터를 수신하면 시스템은 이를 자동으로 표준 구조에 매핑할 수 있습니다. 오늘날 이 프로세스에는 상당한 인력의 투입이 필요한 경우가 많지만 Nexla의 AI 기반 기능은 수동 작업을 최소화하고 효율성을 높이는 것을 목표로 합니다.

또한 새로운 에이전트를 쉽게 생성하는 기능을 포함하여 차세대 데이터 워크플로를 지원하기 위해 커넥터 기술을 발전시키고 있습니다. 이러한 에이전트를 사용하면 새로운 시스템에 원활하게 연결할 수 있으며 사용자는 해당 시스템 내에서 특정 작업을 수행할 수 있습니다. 이는 특히 GenAI 사용자의 증가하는 요구에 맞춰져 있으며 다양한 플랫폼과의 통합 및 상호 작용을 더 쉽게 만듭니다.

셋째, 모니터링 및 품질 보증 개선을 위한 지속적인 혁신을 진행합니다. 더 많은 사용자가 다양한 시스템에서 데이터를 소비함에 따라 데이터 품질을 모니터링하고 보장하는 것의 중요성이 크게 커졌습니다. 우리의 목표는 시스템 모니터링 및 품질 보증을 위한 강력한 도구를 제공하여 사용량이 늘어나더라도 데이터의 신뢰성과 실행 가능성을 유지하는 것입니다.

마지막으로 Nexla는 핵심 기능 중 일부를 오픈 소스화하기 위한 조치도 취하고 있습니다. 우리의 기술을 더 넓은 커뮤니티와 공유함으로써 더 많은 사람들이 고급 데이터 엔지니어링 도구 및 솔루션을 활용할 수 있도록 역량을 강화할 수 있으며, 이는 궁극적으로 해당 분야 내에서 혁신과 협업을 촉진하려는 우리의 약속을 반영합니다.

좋은 답변 감사드립니다. 더 자세한 내용을 알고 싶은 독자들은 방문해주세요. 넥슬라.

게시물 Saket Saurabh, Nexla CEO 겸 공동 창업자 – 인터뷰 시리즈 처음 등장한 Unite.AI.