Бесплатная платформа упростила создание трёхмерных сцен из картинок
Несколько лет назад инженеры из Калифорнийского университета в Беркли показали, как легко можно превращать изображения в 3D-сцену. Для этого они использовали технологию под названием Neural Radiance Fields («Поля нейронного излучения»), или NeRF. И вот другая команда исследователей из Беркли создала платформу, которая помогла ускорить проекты NeRF и сделать эту технологию более доступной для пользователей.
Под руководством Ангджу Каназава, доцента кафедры электротехники и компьютерных наук, исследователи разработали на основе языка программирования Python платформу Nerfstudio. Новая платформа предоставляет подключаемые компоненты для реализации методов NeRF, что упрощает совместную работу.
Каназава пояснила, что NeRF — это достижение, которое используют в приложениях для компьютерного зрения, в робототехнике, для визуальных эффектов и игр. Но поддержка разработки отставала, сказала эксперт. Поэтому и создана платформа Nerfstudio, которая предназначена для упрощения работы с методами NeRF и обработки данных.
Новая платформа уже помогает многим инженерам, использующим интерактивную компьютерную графику, особенно тем, кто стремится создавать 3D-реконструкции. Так, робототехники применяют NeRF для манипулирования, планирования движений, симуляции и картографирования. А игровые студии и новостные агентства используют интерактивную графику для более увлекательного показа историй.
Nerfstudio — это платформа с открытым исходным кодом, которая упрощает людям использование эффектов NeRF без необходимости начинать с нуля, пояснил Мэтт Танчик, ведущий соавтор разработки.
С момента появления NeRF исследователи по всему миру работают над улучшением этой базовой технологии, начиная с ускорения рендеринга изображений в реальном времени и обучения до разработки новых функций редактирования. Они также пытались заставить NeRF работать в новых ситуациях, например, при разнице освещения в фотографиях или при перемещении объектов внутри сцены. Но такие задачи часто решались с использованием платного контента, что затрудняло обмен материалами с более широким сообществом NeRF.
Nerfstudio решает эту проблему, предоставляя модульную структуру, которая «объединяет исследовательские инновации». Кроме того, она способствует «разработке, ориентированной на сообщество», то есть делает компьютерный код и данные общедоступными, так как у них лицензирование с открытым исходным кодом.
— Мэтт Танчик, аспирант из лаборатории Ангджу Каназава.
В настоящее время 20 инженеров из Беркли активно улучают Nerfstudio и помогают поддерживать платформу. И около 100 человек за пределами университета уже внесли свой вклад в основной код с момента его запуска в октябре 2022 года.
Nerfstudio также позволяет пользователям легко запускать NeRF на собственноручно собранных данных, что, вообще-то, считалось проблемой для разработчиков. Так что новая платформа делает эту технологию более для не имеющих опыта в NeRF, таких как начинающие студии спецэффектов и пользователи соцсетей.
Под руководством Ангджу Каназава, доцента кафедры электротехники и компьютерных наук, исследователи разработали на основе языка программирования Python платформу Nerfstudio. Новая платформа предоставляет подключаемые компоненты для реализации методов NeRF, что упрощает совместную работу.
Каназава пояснила, что NeRF — это достижение, которое используют в приложениях для компьютерного зрения, в робототехнике, для визуальных эффектов и игр. Но поддержка разработки отставала, сказала эксперт. Поэтому и создана платформа Nerfstudio, которая предназначена для упрощения работы с методами NeRF и обработки данных.
Новая платформа уже помогает многим инженерам, использующим интерактивную компьютерную графику, особенно тем, кто стремится создавать 3D-реконструкции. Так, робототехники применяют NeRF для манипулирования, планирования движений, симуляции и картографирования. А игровые студии и новостные агентства используют интерактивную графику для более увлекательного показа историй.
Nerfstudio — это платформа с открытым исходным кодом, которая упрощает людям использование эффектов NeRF без необходимости начинать с нуля, пояснил Мэтт Танчик, ведущий соавтор разработки.
С момента появления NeRF исследователи по всему миру работают над улучшением этой базовой технологии, начиная с ускорения рендеринга изображений в реальном времени и обучения до разработки новых функций редактирования. Они также пытались заставить NeRF работать в новых ситуациях, например, при разнице освещения в фотографиях или при перемещении объектов внутри сцены. Но такие задачи часто решались с использованием платного контента, что затрудняло обмен материалами с более широким сообществом NeRF.
Nerfstudio решает эту проблему, предоставляя модульную структуру, которая «объединяет исследовательские инновации». Кроме того, она способствует «разработке, ориентированной на сообщество», то есть делает компьютерный код и данные общедоступными, так как у них лицензирование с открытым исходным кодом.
Мы задались целью создать платформу, на которой люди будут создавать новые модули и методы, которые затем смогут использовать другие. В конечном счёте, цель Nerfstudio — стать проектом сообщества с открытым исходным кодом, с которым исследователям будет интересно работать, а также помогать продвигаться дальше
— Мэтт Танчик, аспирант из лаборатории Ангджу Каназава.
В настоящее время 20 инженеров из Беркли активно улучают Nerfstudio и помогают поддерживать платформу. И около 100 человек за пределами университета уже внесли свой вклад в основной код с момента его запуска в октябре 2022 года.
Nerfstudio также позволяет пользователям легко запускать NeRF на собственноручно собранных данных, что, вообще-то, считалось проблемой для разработчиков. Так что новая платформа делает эту технологию более для не имеющих опыта в NeRF, таких как начинающие студии спецэффектов и пользователи соцсетей.
- Дмитрий Ладыгин
- youtu.be/skoh-dPq0ew
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Жуткие тайны из пасти людоедов
Ученые выяснили, чем на самом деле питались львы-каннибалы из Цаво....
Английский альпинист нашёлся спустя век. Правда, есть нюанс
На Эвересте обнаружили ногу британского исследователя....
Спустя 500 лет останки Колумба наконец-то обнаружены!
Ученым понадобилось более 20 лет, чтобы доказать их подлинность....
В Царской долине найден один из старейших скифских курганов
Как оказалось, здесь приносили человеческие жертвы 2000 лет подряд....
Миссия Илона Маска может погубить Марс
Эксперты пришли в ужас от планов миллиардера....
Таинственные области в мантии Земли оказались не тем, чем их считали ученые
Новое исследование показало, что все может быть намного проще....
Невероятный прорыв в науке: два человека смогли осознанно пообщаться во сне
Похоже, в нашей жизни скоро начнется новая эра....
Дотанцевался: у мужчины после многих лет брейк-данса появилась «дыра в черепе»
Врачи в шоке, а сами танцоры говорят, что это дело житейское....
Два подводных газовоза «Пилигрим» смогут заменить целый газопровод
Эксперты уверены, что новый российский проект в корне изменит систему грузоперевозок в Арктике....
Одно из древнейших животных на Земле обнаружили в австралийской глуши
Полмиллиарда лет назад был взрывной рост разнообразия видов....
Археологи восстановили приёмы боя на копьях в бронзовом веке
Экспериментальная археология проливает свет на технику обращения с оружием....
Находка окаменелостей может переписать историю не только Калифорнии, но даже США
Киты, мегалодоны, саблезубые лососи — и все это в одном месте!...
В Америке действует секретная программа по поиску и сокрытию информации об НЛО
Конгресс США в гневе, ведь Пентагон водил чиновников за нос много лет....
Контрольный выстрел в динозавров
Выяснилось, что астероид-убийца был не один....
Артроплевра: травоядный монстр длиной 2,7 м с головой хищника
Учёные воссоздали голову древнего членистоногого....
Доказано генетиками: Неандертальцы не вымерли
Они — это мы, хотя бы отчасти....