Бесплатная платформа упростила создание трёхмерных сцен из картинок

Несколько лет назад инженеры из Калифорнийского университета в Беркли показали, как легко можно превращать изображения в 3D-сцену. Для этого они использовали технологию под названием Neural Radiance Fields («Поля нейронного излучения»), или NeRF. И вот другая команда исследователей из Беркли создала платформу, которая помогла ускорить проекты NeRF и сделать эту технологию более доступной для пользователей.

Под руководством Ангджу Каназава, доцента кафедры электротехники и компьютерных наук, исследователи разработали на основе языка программирования Python платформу Nerfstudio. Новая платформа предоставляет подключаемые компоненты для реализации методов NeRF, что упрощает совместную работу.

Каназава пояснила, что NeRF — это достижение, которое используют в приложениях для компьютерного зрения, в робототехнике, для визуальных эффектов и игр. Но поддержка разработки отставала, сказала эксперт. Поэтому и создана платформа Nerfstudio, которая предназначена для упрощения работы с методами NeRF и обработки данных.

Новая платформа уже помогает многим инженерам, использующим интерактивную компьютерную графику, особенно тем, кто стремится создавать 3D-реконструкции. Так, робототехники применяют NeRF для манипулирования, планирования движений, симуляции и картографирования. А игровые студии и новостные агентства используют интерактивную графику для более увлекательного показа историй.

Nerfstudio — это платформа с открытым исходным кодом, которая упрощает людям использование эффектов NeRF без необходимости начинать с нуля, пояснил Мэтт Танчик, ведущий соавтор разработки.

С момента появления NeRF исследователи по всему миру работают над улучшением этой базовой технологии, начиная с ускорения рендеринга изображений в реальном времени и обучения до разработки новых функций редактирования. Они также пытались заставить NeRF работать в новых ситуациях, например, при разнице освещения в фотографиях или при перемещении объектов внутри сцены. Но такие задачи часто решались с использованием платного контента, что затрудняло обмен материалами с более широким сообществом NeRF.

Nerfstudio решает эту проблему, предоставляя модульную структуру, которая «объединяет исследовательские инновации». Кроме того, она способствует «разработке, ориентированной на сообщество», то есть делает компьютерный код и данные общедоступными, так как у них лицензирование с открытым исходным кодом.


— Мэтт Танчик, аспирант из лаборатории Ангджу Каназава.

В настоящее время 20 инженеров из Беркли активно улучают Nerfstudio и помогают поддерживать платформу. И около 100 человек за пределами университета уже внесли свой вклад в основной код с момента его запуска в октябре 2022 года.

Nerfstudio также позволяет пользователям легко запускать NeRF на собственноручно собранных данных, что, вообще-то, считалось проблемой для разработчиков. Так что новая платформа делает эту технологию более для не имеющих опыта в NeRF, таких как начинающие студии спецэффектов и пользователи соцсетей.