
Бесплатная платформа упростила создание трёхмерных сцен из картинок
Несколько лет назад инженеры из Калифорнийского университета в Беркли показали, как легко можно превращать изображения в 3D-сцену. Для этого они использовали технологию под названием Neural Radiance Fields («Поля нейронного излучения»), или NeRF. И вот другая команда исследователей из Беркли создала платформу, которая помогла ускорить проекты NeRF и сделать эту технологию более доступной для пользователей.
Под руководством Ангджу Каназава, доцента кафедры электротехники и компьютерных наук, исследователи разработали на основе языка программирования Python платформу Nerfstudio. Новая платформа предоставляет подключаемые компоненты для реализации методов NeRF, что упрощает совместную работу.
Каназава пояснила, что NeRF — это достижение, которое используют в приложениях для компьютерного зрения, в робототехнике, для визуальных эффектов и игр. Но поддержка разработки отставала, сказала эксперт. Поэтому и создана платформа Nerfstudio, которая предназначена для упрощения работы с методами NeRF и обработки данных.
Новая платформа уже помогает многим инженерам, использующим интерактивную компьютерную графику, особенно тем, кто стремится создавать 3D-реконструкции. Так, робототехники применяют NeRF для манипулирования, планирования движений, симуляции и картографирования. А игровые студии и новостные агентства используют интерактивную графику для более увлекательного показа историй.
Nerfstudio — это платформа с открытым исходным кодом, которая упрощает людям использование эффектов NeRF без необходимости начинать с нуля, пояснил Мэтт Танчик, ведущий соавтор разработки.
С момента появления NeRF исследователи по всему миру работают над улучшением этой базовой технологии, начиная с ускорения рендеринга изображений в реальном времени и обучения до разработки новых функций редактирования. Они также пытались заставить NeRF работать в новых ситуациях, например, при разнице освещения в фотографиях или при перемещении объектов внутри сцены. Но такие задачи часто решались с использованием платного контента, что затрудняло обмен материалами с более широким сообществом NeRF.
Nerfstudio решает эту проблему, предоставляя модульную структуру, которая «объединяет исследовательские инновации». Кроме того, она способствует «разработке, ориентированной на сообщество», то есть делает компьютерный код и данные общедоступными, так как у них лицензирование с открытым исходным кодом.
— Мэтт Танчик, аспирант из лаборатории Ангджу Каназава.
В настоящее время 20 инженеров из Беркли активно улучают Nerfstudio и помогают поддерживать платформу. И около 100 человек за пределами университета уже внесли свой вклад в основной код с момента его запуска в октябре 2022 года.
Nerfstudio также позволяет пользователям легко запускать NeRF на собственноручно собранных данных, что, вообще-то, считалось проблемой для разработчиков. Так что новая платформа делает эту технологию более для не имеющих опыта в NeRF, таких как начинающие студии спецэффектов и пользователи соцсетей.
Под руководством Ангджу Каназава, доцента кафедры электротехники и компьютерных наук, исследователи разработали на основе языка программирования Python платформу Nerfstudio. Новая платформа предоставляет подключаемые компоненты для реализации методов NeRF, что упрощает совместную работу.
Каназава пояснила, что NeRF — это достижение, которое используют в приложениях для компьютерного зрения, в робототехнике, для визуальных эффектов и игр. Но поддержка разработки отставала, сказала эксперт. Поэтому и создана платформа Nerfstudio, которая предназначена для упрощения работы с методами NeRF и обработки данных.
Новая платформа уже помогает многим инженерам, использующим интерактивную компьютерную графику, особенно тем, кто стремится создавать 3D-реконструкции. Так, робототехники применяют NeRF для манипулирования, планирования движений, симуляции и картографирования. А игровые студии и новостные агентства используют интерактивную графику для более увлекательного показа историй.
Nerfstudio — это платформа с открытым исходным кодом, которая упрощает людям использование эффектов NeRF без необходимости начинать с нуля, пояснил Мэтт Танчик, ведущий соавтор разработки.
С момента появления NeRF исследователи по всему миру работают над улучшением этой базовой технологии, начиная с ускорения рендеринга изображений в реальном времени и обучения до разработки новых функций редактирования. Они также пытались заставить NeRF работать в новых ситуациях, например, при разнице освещения в фотографиях или при перемещении объектов внутри сцены. Но такие задачи часто решались с использованием платного контента, что затрудняло обмен материалами с более широким сообществом NeRF.
Nerfstudio решает эту проблему, предоставляя модульную структуру, которая «объединяет исследовательские инновации». Кроме того, она способствует «разработке, ориентированной на сообщество», то есть делает компьютерный код и данные общедоступными, так как у них лицензирование с открытым исходным кодом.
Мы задались целью создать платформу, на которой люди будут создавать новые модули и методы, которые затем смогут использовать другие. В конечном счёте, цель Nerfstudio — стать проектом сообщества с открытым исходным кодом, с которым исследователям будет интересно работать, а также помогать продвигаться дальше
— Мэтт Танчик, аспирант из лаборатории Ангджу Каназава.
В настоящее время 20 инженеров из Беркли активно улучают Nerfstudio и помогают поддерживать платформу. И около 100 человек за пределами университета уже внесли свой вклад в основной код с момента его запуска в октябре 2022 года.
Nerfstudio также позволяет пользователям легко запускать NeRF на собственноручно собранных данных, что, вообще-то, считалось проблемой для разработчиков. Так что новая платформа делает эту технологию более для не имеющих опыта в NeRF, таких как начинающие студии спецэффектов и пользователи соцсетей.
- Дмитрий Ладыгин
- youtu.be/skoh-dPq0ew
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас

32 удивительных подарка за последние 20 лет: ученые пытаются понять, за что косатки «балуют» людей
Природная доброта? Любопытство? Желание выйти на контакт?...

Найдено идеальное место для жизни на Марсе
По словам ученых, оно похоже… на нашу Сибирь....

Уникальная находка в Нидерландах: археологи обнаружили римский лагерь далеко за пределами Империи
Как лидар и искусственный интеллект нашли объект-«невидимку» II века....

Тайна разгадана: стало известно, почему большинство кошек предпочитают спать строго на одном боку
Оказалось, что это древний защитный механизм, которому миллионы лет....

Эксперты обнаружили существ, переживших прямой удар астероида, который уничтожил динозавров
Почему конец света — это вовсе не повод, чтобы вымирать?...

«Вертолетная» конструкция да Винчи может сделать беспилотники тише, быстрее и даже дешевле
Ученые поражены, насколько разработка Леонардо опередила время....

Ученые хотят создать хранилище микробов, чтобы те… не вымерли
Звучит кошмарно, но на самом деле от этого зависит судьба всего человечества....