Nvidia представила новeшую технологию для создания персонажей с искусственным интеллектом, которые выглядят и ведут себя как настоящие люди. Эта технология, Nvidia Ace, представляет собой набор цифровых технологий, которые обеспечивают речь, интеллект и анимацию на основе генеративного ИИ.

Nvidia представила новые плагины Unreal Engine 5 для Nvidia Ace, которые упрощают создание и развёртывание персонажей MetaHuman на базе ИИ на ПК с Windows. Разработчики теперь могут получить доступ к новому плагину Audio2Face-3D для лицевой анимации на базе искусственного интеллекта, где губы и лица движутся синхронно с аудиоречью, в Autodesk Maya. Этот плагин предоставляет разработчикам простой и оптимизированный интерфейс для ускорения и упрощения разработки аватаров в Maya. Плагин поставляется с исходным кодом, поэтому разработчики могут погрузиться в него и разработать плагин для инструмента создания цифрового контента по своему выбору.

МетаЧеловек Бернис.
Источник: Nvidia

Nvidia также создала микросервис рендеринга Unreal Engine 5, который использует технологию Unreal Pixel Streaming от Epic. Этот микросервис теперь поддерживает микросервис Nvidia Ace Animation Graph и операционную систему Linux в раннем доступе. Animation Graph обеспечивает реалистичные и отзывчивые движения персонажей, а благодаря поддержке Unreal Pixel Streaming разработчики могут транслировать свои творения MetaHuman на любое устройство.

Проект-пример Nvidia Ace Unreal Engine 5 служит руководством для разработчиков, желающих интегрировать цифровых людей в свои игры и приложения. Этот проект-пример расширяет количество подключаемых модулей ACE на устройстве, включая Audio2Face-3D для синхронизации губ и анимации лица, Nemotron-Mini 4B Инструкция по генерации ответа, и RAG для контекстной информации.

По словам Nvidia, разработчики могут создать базу данных, полную контекстной информации и генерировать соответствующие ответы с низкой задержкой и использовать эти ответы для бесперебойной работы соответствующих лицевых анимаций MetaHuman в Unreal Engine 5. Каждый из микросервисов был оптимизирован для работы на ПК с Windows с низкой задержкой и минимальным потреблением памяти. Кроме того, Nvidia представила серию руководств по настройке и использованию плагина Unreal Engine 5. 

Autodesk Maya предлагает высокопроизводительные функции анимации для разработчиков игр и технических художников для создания высококачественной 3D-графики. Теперь разработчики могут проще генерировать высококачественную, управляемую звуком лицевую анимацию для любого персонажа с помощью плагина Audio2Face-3D. Пользовательский интерфейс был оптимизирован чтобы легко перейти в среду Unreal Engine 5. Исходный код и скрипты настраиваются и могут быть изменены для использования в других инструментах для создания цифрового контента.

Чтобы начать работу с Maya, разработчики могут получить ключ API или загрузить Audio 2Face-3D NIM. Nvidia NIM — это набор простых в использовании микросервисов вывода ИИ, которые ускоряют развёртывание базовых моделей в любом облаке или центре обработки данных.

Разработчики, внедряющие цифровых людей через облако, пытаются одновременно охватить как можно больше клиентов, однако потоковая передача высококачественных персонажей требует значительных вычислительных ресурсов. Микросервис рендеринга Unreal Engine 5 в Nvidia Ace добавил поддержку микросервиса Nvidia Animation Graph и операционной системы Linux в раннем доступе. Animation Graph облегчает создание состояний анимации. Он предоставляет разработчикам гибкую систему на основе узлов для смешивания, воспроизведения и управления анимацией.

Новый микросервис рендеринга Unreal Engine 5 с потоковой передачей пикселей потребляет данные, поступающие от микросервиса Animation Graph, позволяя разработчикам запускать своего персонажа MetaHuman на сервере в облаке и передавать потоковые изображения и звук в любой браузер и периферийное устройство через Web Real-Time Communication (WebRTC).

Разработчики уже могут подать заявку на ранний доступ для загрузки микросервиса рендеринга Unreal Engine 5, а так же заявку на ранний доступ для загрузки микросервиса рендеринга Unreal Engine 5 с поддержкой микросервиса Animation Graph и ОС Linux. Плагин Maya Ace доступен для загрузки на GitHub.