Оцифрованные 800 тыс. предметов для игр выложили в открытый доступ

Если создатели искусственного интеллекта (ИИ) собираются проложить себе путь к большинству пользователей, ему нужно будет лучше изучить пространство и объекты. Институт искусственного интеллекта Аллена создал гигантскую и разнообразную базу данных 3D-моделей повседневных объектов.


Игры-симуляторы — это в основном 3D-пространства. Но в отличие, скажем, от современной консольной игры, учебные симуляторы далеки от реалистичности и часто лишены деталей, вариаций или интерактивности.

Компания Objaverse https://objaverse.allenai.org стремится улучшить ситуацию с помощью растущей коллекции из уже более чем 800 тыс. 3D-моделей со всеми прилагающимися метаданными. Представленные предметы варьируются от продуктов питания до столов и стульев, бытовой техники и гаджетов. В виртуальном собрании представлен любой объект, который модно увидеть в доме, офисе или ресторане.

Коллекция предназначена для замены устаревающих библиотек объектов, таких как ShapeNet. Если единственная «лампа», которую когда-либо видел ИИ, выглядит обычно, без рисунка или окраски, как он распознает лампу стеклянную или совершенно другой формы? Objaverse включает вариации объектов, чтобы модель могла узнать, что их определяет в общем, несмотря на различия.

Использование фотореалистичных изображений, собранных с помощью фотограмметрии, также обеспечивает уровень разнообразия и реализма, который очевиден в ретроспективе. Конечно, все кровати выглядят примерно одинаково, но как насчёт неубранных кроватей? Все они разные!

Наличие объектов, которые к тому же анимируют, также полезно. Знать, как выглядят холодильник, шкаф, книга, ноутбук или гаражная дверь, закрытыми — это одно, а открытыми — совсем другое. Если моделям ИИ не предоставлена эта информация, они вряд ли интуитивно распознают варианты.

Разработчики уже могут использовать коллекцию изображений бесплатно через портал Hugging Face.