NVIDIA는 렌더링, 시뮬레이션 및 생성 AI의 다양한 발전을 활용하고 있습니다. 시그래프 20247월 28일부터 8월 1일까지 덴버에서 열리는 최고의 컴퓨터 그래픽 컨퍼런스입니다.
NVIDIA Research의 20개 이상의 논문에서 차세대 모델을 훈련하는 데 도움이 되는 합성 데이터 생성기와 역 렌더링 도구를 발전시키는 혁신을 소개합니다. NVIDIA의 AI 연구는 이미지 품질을 높이고 실제 또는 상상의 세계의 3D 표현을 만드는 새로운 방법을 열어 시뮬레이션을 개선하고 있습니다.
이 논문은 시각적 생성 AI, 물리 기반 시뮬레이션 및 점점 더 사실적인 AI 기반 렌더링을 위한 확산 모델에 초점을 맞춥니다. 여기에는 두 가지 기술적 최우수 논문상 수상자 미국, 캐나다, 중국, 이스라엘, 일본의 대학과 Adobe, Roblox 등의 회사 연구원들과 협업을 진행하고 있습니다.
이러한 이니셔티브는 개발자와 기업이 복잡한 가상 객체, 캐릭터, 환경을 생성하는 데 사용할 수 있는 도구를 만드는 데 도움이 될 것입니다. 합성 데이터 생성 그러면 강력한 시각적 스토리를 전달하거나, 과학자들이 자연 현상을 이해하도록 돕거나, 로봇과 자율주행차의 시뮬레이션 기반 훈련을 지원하는 데 활용할 수 있습니다.
확산 모델은 텍스처 페인팅, 텍스트-이미지 생성을 개선합니다.
텍스트 프롬프트를 이미지로 변환하는 데 널리 사용되는 도구인 확산 모델은 아티스트, 디자이너 및 기타 제작자가 스토리보드나 프로덕션을 위한 비주얼을 신속하게 생성하여 아이디어를 실현하는 데 걸리는 시간을 줄이는 데 도움이 될 수 있습니다.
NVIDIA가 쓴 두 편의 논문은 이러한 생성 AI 모델의 역량을 더욱 발전시키고 있습니다.
추기경 회의NVIDIA와 텔아비브 대학교의 연구자들이 협업한 이 기술은 일관된 주인공이 있는 여러 이미지를 더 쉽게 생성할 수 있게 해줍니다. 이는 만화책을 그리거나 스토리보드를 개발하는 것과 같은 스토리텔링 사용 사례에 필수적인 기능입니다. 연구자들의 접근 방식은 주제 중심 공유 주의라는 기술을 도입하여 일관된 이미지를 생성하는 데 걸리는 시간을 13분에서 약 30초로 줄입니다.
NVIDIA 연구원들은 작년에 SIGGRAPH의 실시간 라이브에서 Best in Show 상 수상 텍스트나 이미지 프롬프트를 사용자 지정 텍스처 소재로 변환하는 AI 모델을 위한 이벤트입니다. 올해는 이를 적용하는 논문을 발표합니다. 2D 생성 확산 모델에서 대화형 텍스처 페인팅까지 3D 메시를 사용하면 아티스트가 모든 참조 이미지를 기반으로 복잡한 텍스처로 실시간으로 페인팅할 수 있습니다.
물리 기반 시뮬레이션의 킥스타트 개발
그래픽 연구자들은 물리 기반 시뮬레이션을 통해 실제 객체와 가상 표현 간의 격차를 줄이고 있습니다. 물리 기반 시뮬레이션은 디지털 객체와 캐릭터가 실제 세계에서와 같은 방식으로 움직이도록 하는 다양한 기술입니다.
여러 NVIDIA Research 논문에는 SuperPADL을 포함하여 해당 분야의 획기적인 발전이 포함되어 있습니다. 이 프로젝트는 다음과 같은 과제를 해결합니다. 텍스트 프롬프트를 기반으로 복잡한 인간의 동작을 시뮬레이션 (위의 영상 참조)
연구진은 강화 학습과 지도 학습을 결합하여 SuperPADL 프레임워크를 통해 5,000개 이상의 스킬 동작을 재현하도록 훈련하고 소비자 등급 NVIDIA GPU에서 실시간으로 실행할 수 있는 방법을 보여주었습니다.
또 다른 NVIDIA 논문에는 다음이 포함됩니다. 신경물리학 방법 3D 메시, NeRF 또는 텍스트-3D 모델에서 생성된 솔리드 객체로 표현된 객체가 환경에서 움직일 때 어떻게 동작하는지 학습하기 위해 AI를 적용합니다.
Carnegie Mellon University 연구원과 협력하여 작성된 논문에서는 물리적 빛을 모델링하는 대신 새로운 종류의 렌더러를 개발했습니다. 열 분석, 정전기학 및 유체 역학을 수행합니다.. SIGGRAPH에서 5개의 최고 논문 중 하나로 선정된 이 방법은 병렬화가 쉽고 번거로운 모델 정리가 필요하지 않아 엔지니어링 설계 주기를 단축할 수 있는 새로운 기회를 제공합니다.
위의 예에서 렌더러는 화성 큐리오시티 로버의 열 분석을 수행하는데, 특정 범위 내에서 온도를 유지하는 것이 임무 성공에 중요합니다.
추가 시뮬레이션 논문에서는 보다 효율적인 기술을 소개합니다. 머리카락 가닥 모델링 그리고 유체 시뮬레이션을 가속화하는 파이프라인 10배로.
사실적인 렌더링을 위한 기준 높이기, 회절 시뮬레이션
NVIDIA에서 작성한 또 다른 논문에서는 가시광선을 최대 25배 더 빠르게 모델링하고, 자율 주행 자동차 훈련을 위한 레이더 시뮬레이션에 사용되는 것과 같은 회절 효과를 최대 1,000배 더 빠르게 시뮬레이션하는 새로운 기술을 제시합니다.
NVIDIA와 워털루 대학 연구원들이 작성한 논문은 다음과 같은 문제를 다룹니다. 자유공간 회절빛이 물체의 가장자리 주변에서 퍼지거나 휘는 광학 현상입니다. 이 팀의 방법은 경로 추적 워크플로와 통합되어 복잡한 장면에서 회절을 시뮬레이션하는 효율성을 높이고 최대 1,000배의 가속을 제공할 수 있습니다. 가시광선을 렌더링하는 것 외에도 이 모델은 레이더, 음파 또는 전파의 더 긴 파장을 시뮬레이션하는 데에도 사용할 수 있습니다.
경로 추적 여러 경로(장면을 통과하는 다중 반사 광선)를 샘플링하여 사실적인 그림을 만듭니다. 두 개의 SIGGRAPH 논문은 NVIDIA와 Dartmouth College 연구원이 SIGGRAPH 2020에서 처음 소개한 경로 추적 알고리즘인 ReSTIR의 샘플링 품질을 개선합니다. 이 알고리즘은 게임 및 기타 실시간 렌더링 제품에 경로 추적을 도입하는 데 중요한 역할을 했습니다.
유타 대학과의 협업으로 작성된 이 논문 중 하나는 계산된 경로를 재사용하는 새로운 방법을 공유합니다. 효과적인 샘플 수를 최대 25배까지 증가시킵니다.이미지 품질을 크게 향상시킵니다. 다른 샘플 품질이 향상됩니다 빛의 경로의 하위 집합을 무작위로 변형하여. 이를 통해 노이즈 제거 알고리즘이 더 나은 성능을 발휘하고 최종 렌더링에서 시각적 아티팩트가 줄어듭니다.
AI에게 3D로 생각하는 법 가르치기
NVIDIA 연구진은 SIGGRAPH에서 3D 표현 및 디자인을 위한 다목적 AI 도구도 선보입니다.
한 논문에서는 다음을 소개합니다. fVDB, 실제 세계의 규모와 일치하는 3D 딥 러닝을 위한 GPU 최적화 프레임워크. fVDB 프레임워크는 도시 규모의 3D 모델의 대규모 공간 규모와 고해상도를 위한 AI 인프라를 제공합니다. NeRF대규모 포인트 클라우드의 분할 및 재구성.
Dartmouth College 연구원과 협력하여 작성된 최고 기술 논문 수상자는 이론을 소개합니다. 3D 객체가 빛과 상호 작용하는 방식을 나타냄이 이론은 다양한 형태의 현상을 하나의 모델로 통합합니다.
그리고 도쿄 대학, 토론토 대학 및 Adobe Research와의 협력을 통해 알고리즘이 도입되었습니다. 3D 메시에 부드럽고 공간을 채우는 곡선을 생성합니다. 실시간으로. 이전 방법은 몇 시간이 걸렸지만, 이 프레임워크는 몇 초 만에 실행되고 사용자에게 대화형 디자인을 가능하게 하는 높은 수준의 출력 제어를 제공합니다.
SIGGRAPH에서의 NVIDIA
더 알아보기 SIGGRAPH에서의 NVIDIA. 특별 이벤트에는 벽난로 옆 대화가 포함됩니다. NVIDIA 설립자 겸 CEO 젠슨 황(Jensen Huang)과 Meta 설립자 겸 CEO 마크 주커버그(Mark Zuckerberg)뿐만 아니라 황과 로렌 굿과의 벽난로 대화WIRED의 수석 작가가 산업 디지털화에 있어 로봇공학과 AI의 영향에 대해 이야기합니다.
NVIDIA 연구원들도 발표할 예정입니다. NVIDIA의 OpenUSD Day개발자와 업계 리더가 OpenUSD를 도입하고 발전시켜 AI 기반 3D 파이프라인을 구축하는 방법을 보여주는 하루 종일 이벤트입니다.
엔비디아 리서치 전 세계적으로 수백 명의 과학자와 엔지니어로 구성되어 있으며, AI, 컴퓨터 그래픽, 컴퓨터 비전, 자율주행차, 로봇공학 등의 주제에 초점을 맞춘 팀을 보유하고 있습니다. 보다 그들의 최신 작품 더 보기.
