Под руководством Ангджу Каназава, доцента кафедры электротехники и компьютерных наук, исследователи разработали на основе языка программирования Python платформу Nerfstudio. Новая платформа предоставляет подключаемые компоненты для реализации методов NeRF, что упрощает совместную работу.
Каназава пояснила, что NeRF — это достижение, которое используют в приложениях для компьютерного зрения, в робототехнике, для визуальных эффектов и игр. Но поддержка разработки отставала, сказала эксперт. Поэтому и создана платформа Nerfstudio, которая предназначена для упрощения работы с методами NeRF и обработки данных.
Новая платформа уже помогает многим инженерам, использующим интерактивную компьютерную графику, особенно тем, кто стремится создавать 3D-реконструкции. Так, робототехники применяют NeRF для манипулирования, планирования движений, симуляции и картографирования. А игровые студии и новостные агентства используют интерактивную графику для более увлекательного показа историй.
Nerfstudio — это платформа с открытым исходным кодом, которая упрощает людям использование эффектов NeRF без необходимости начинать с нуля, пояснил Мэтт Танчик, ведущий соавтор разработки.
С момента появления NeRF исследователи по всему миру работают над улучшением этой базовой технологии, начиная с ускорения рендеринга изображений в реальном времени и обучения до разработки новых функций редактирования. Они также пытались заставить NeRF работать в новых ситуациях, например, при разнице освещения в фотографиях или при перемещении объектов внутри сцены. Но такие задачи часто решались с использованием платного контента, что затрудняло обмен материалами с более широким сообществом NeRF.
Nerfstudio решает эту проблему, предоставляя модульную структуру, которая «объединяет исследовательские инновации». Кроме того, она способствует «разработке, ориентированной на сообщество», то есть делает компьютерный код и данные общедоступными, так как у них лицензирование с открытым исходным кодом.
Мы задались целью создать платформу, на которой люди будут создавать новые модули и методы, которые затем смогут использовать другие. В конечном счёте, цель Nerfstudio — стать проектом сообщества с открытым исходным кодом, с которым исследователям будет интересно работать, а также помогать продвигаться дальше
— Мэтт Танчик, аспирант из лаборатории Ангджу Каназава.
В настоящее время 20 инженеров из Беркли активно улучают Nerfstudio и помогают поддерживать платформу. И около 100 человек за пределами университета уже внесли свой вклад в основной код с момента его запуска в октябре 2022 года.
Nerfstudio также позволяет пользователям легко запускать NeRF на собственноручно собранных данных, что, вообще-то, считалось проблемой для разработчиков. Так что новая платформа делает эту технологию более для не имеющих опыта в NeRF, таких как начинающие студии спецэффектов и пользователи соцсетей.
