Стартап Decart представил Oasis 3 — новую модель мира (world model), способную в реальном времени создавать фотореалистичные виртуальные дорожные окружения для управления автомобилем. В отличие от большинства конкурирующих разработок, система с первого дня доступна через API, что позволяет сторонним разработчикам создавать собственные приложения на её основе.

Первоначально компания нацеливается на рынок беспилотного транспорта. Автопроизводителям и разработчикам моделей автономного вождения необходимы миллионы сценариев для обучения и тестирования систем, включая редкие и опасные ситуации, которые сложно собрать в реальном мире. В дальнейшем Decart планирует использовать технологию в робототехнике и других направлениях физического ИИ — систем, взаимодействующих с реальным миром.

По словам сооснователя и генерального директора компании Дина Лайтерсдорфа (Dean Leitersdorf), Oasis 3 должна стать первой моделью, на базе которой можно полноценно разрабатывать собственные продукты. Компания рассчитывает сформировать вокруг технологии сообщество разработчиков по аналогии с тем, как экосистема выросла вокруг языковых моделей OpenAI.

Стоимость доступа составляет 2 цента за секунду генерации, а корпоративные тарифы рассчитываются индивидуально. У Decart уже есть сообщество более чем из 100 тысяч разработчиков, многие из которых используют предыдущую модель Lucy для задач электронной коммерции и прямых трансляций.

Рынок моделей реальности стремительно становится одним из самых конкурентных направлений индустрии ИИ. За последний год свои разработки представили Google с моделью Genie 3, компания World Labs, основанная Фэй-Фэй Ли (Fei-Fei Li), а также разработчики генеративного видео Luma и Runway.

Скриншот: Decart

Запуск Oasis 3 состоялся всего через несколько недель после того, как двухлетний стартап привлёк $300 млн инвестиций и достиг оценки почти $4 млрд. Среди инвесторов раунда — Toyota, Adobe, eBay и Nvidia. По словам руководства компании, интерес к её технологиям резко вырос благодаря спросу со стороны электронной коммерции, стриминговых сервисов и проектов физического ИИ.

Ключевым преимуществом Oasis 3 в Decart называют сочетание фотореализма и возможности практически бесконечной генерации окружения. Это стало возможным благодаря собственной программной платформе DOS (Decart Optimization Stack), которая оптимизирует работу моделей на оборудовании Nvidia, Amazon и Google. По утверждению компании, такой подход позволяет запускать мировые модели более чем на порядок дешевле конкурентов.

Система генерирует физически правдоподобное окружение сразу с трёх камер — фронтальной и двух боковых, что важно для обучения автономных транспортных систем. Разработчики могут создавать практически неограниченное количество дорожных ситуаций, что особенно ценно при поиске редких пограничных сценариев.

Однако технология пока далека от идеала. Во время тестирования Oasis 3 успешно создавал реалистичные сцены по текстовому описанию, но со временем терял логическую связность. Например, виртуальная улица Нью-Йорка постепенно превращалась в абстрактный городской ландшафт без характерных признаков города, а ранее пройденные перекрёстки могли полностью исчезать при возвращении к ним.

Ещё одна проблема связана с физикой мира. Автомобиль может проезжать сквозь другие машины, поскольку модель пока не способна надёжно поддерживать согласованность объектов в течение длительного времени. В компании называют это одной из главных исследовательских задач отрасли.

Причина ограничений кроется в архитектуре системы. Oasis 3 относится к авторегрессионным моделям: она генерирует кадры последовательно и постоянно опирается на ранее созданное содержимое. Каждый кадр содержит около 8 тысяч токенов информации, а при генерации десятков кадров в секунду объём контекста очень быстро исчерпывается. Поэтому Decart работает над увеличением памяти модели и более эффективным сжатием данных.

Следующая версия Oasis должна получить возможность создавать виртуальные миры не только по изображениям, но и по видеозаписям реальных локаций, что может улучшить согласованность окружения.

Несмотря на существующие ограничения, Decart делает ставку не столько на нынешние возможности технологии, сколько на её открытость для разработчиков. Компания рассчитывает, что доступность API позволит сторонним командам быстро найти десятки новых применений мировых моделей — так же, как это произошло с языковыми моделями несколько лет назад. Для отрасли это может стать важным шагом к появлению полноценной экосистемы приложений, работающих не с текстом, а с интерактивными цифровыми мирами.