ИИ научили распознавать, из чего сделаны тысячи предметов
Роботу, который, скажем, орудует на кухне, будет полезно понимать, какие предметы состоят из одних и тех же материалов. При верном выборе робот не ошибётся, если возьмёт небольшой кусочек масла из тёмного уголка или целую пачку из ярко освещённого холодильника.
Идентификация объектов с одинаковым составом, то есть выбор материала, — особенно сложная задача для машин, поскольку внешний вид предметов может сильно отличаться в зависимости от их формы или освещения. Учёные из Массачусетского технологического института (MIT) и компании Adobe Research сделали большой шаг к решению этой проблемы. Они разработали метод, который может идентифицировать все пиксели на изображении того или иного материала по маленькому участку, выбранному пользователем.
Модель обучали только на данных компьютера, который преобразовал объёмные интерьеры для получения различных изображений. В итоге система эффективно работает с реальностью внутри и снаружи помещений, которую она прежде не видела. Подход также годится для видеороликов: как только пользователь идентифицирует точку в первом кадре, модель может идентифицировать объекты из того же материала на протяжении остального видео. Кроме распознавания окружающей обстановки роботами, метод подойдёт также для редактирования изображений или в вычислительных системах, которым важны параметры материалов. Систему также можно использовать для рекомендаций клиентам: возможно, покупатель ищет одежду из определённого типа ткани.
Но как быть, если речь идёт, к примеру, о мебели из разных материалов? В таком случае машинное обучение оценивает все пиксели изображения, сверяя материал между выбранным пользователем участком и всеми другими областями изображения. Если на картинке стол и два стула, и ножки стула и столешница из одной и той же древесины, модель способна точно идентифицировать похожие участки.
Прежде чем исследователи смогли разработать метод ИИ, позволяющий научиться выбирать похожие материалы, пришлось преодолеть несколько препятствий. Так, не хватало точного набора образцов. Тогда разработчики отрисовали свой собственный набор данных об интерьерах, который включал 50 тысяч изображений и более 16 тыс. материалов, соотнесённых с каждым объектом.
— Прафул Шарма, аспирант кафедры электротехники и компьютерных наук и ведущий автор научной статьи.
Имея набор данных, учёные стали учить модель сличать похожие материалы на реальных примерах, но… безуспешно. Исследователи поняли, что виноват сдвиг распределения, то есть разница между виртуальным и реальностью из-за отличий от обучающего набора. Чтобы решить эту проблему, они настроили модель на предварительно подготовленной, которая видела миллионы реальных изображений.
Итоговая модель преобразует общие визуальные характеристики в специфичные для материала, и делает это вне зависимости от форм объектов или различным условиям освещения. Затем система может вычислить показатель сходства материалов для каждого фрагмента изображения. Когда пользователь выбирает точку, модель определяет, насколько близок к запросу каждый другой участок. Система создаёт карту, где каждый пиксель ранжирован по шкале от 0 до 1 для определения сходства.
Поскольку модель выдаёт оценку сходства для каждого пикселя, пользователь может точно настроить результаты, установив пороговое значение, например, о сходстве на 90%, и получить карту изображения с выделенными областями. Метод также работает для перекрёстного выбора изображений: можно выбрать пиксель на одном изображении и найти тот же материал на другом.
В ходе экспериментов выяснилось, что полученная модель может предсказывать области изображения, содержащие тот же материал, более точно, чем другие методы. Когда разработчики измерили, насколько хорошо предсказание соответствует действительности, то есть фактическим областям изображения из одного и того же материала, их модель сработала с точностью около 92%.
Уже есть планы усовершенствовать новинку, чтобы она могла лучше распознавать мелкие детали объектов. Участница научной работы Кавита Бала, декан колледжа вычислительной техники и информатики и профессор компьютерных наук, пояснила, что технология может очень пригодиться тем же дизайнерам. Например, владелец дома может представить, как могут выглядеть дорогостоящие варианты обивки дивана или коврового покрытия перед их покупкой.
Идентификация объектов с одинаковым составом, то есть выбор материала, — особенно сложная задача для машин, поскольку внешний вид предметов может сильно отличаться в зависимости от их формы или освещения. Учёные из Массачусетского технологического института (MIT) и компании Adobe Research сделали большой шаг к решению этой проблемы. Они разработали метод, который может идентифицировать все пиксели на изображении того или иного материала по маленькому участку, выбранному пользователем.
Модель обучали только на данных компьютера, который преобразовал объёмные интерьеры для получения различных изображений. В итоге система эффективно работает с реальностью внутри и снаружи помещений, которую она прежде не видела. Подход также годится для видеороликов: как только пользователь идентифицирует точку в первом кадре, модель может идентифицировать объекты из того же материала на протяжении остального видео. Кроме распознавания окружающей обстановки роботами, метод подойдёт также для редактирования изображений или в вычислительных системах, которым важны параметры материалов. Систему также можно использовать для рекомендаций клиентам: возможно, покупатель ищет одежду из определённого типа ткани.
Но как быть, если речь идёт, к примеру, о мебели из разных материалов? В таком случае машинное обучение оценивает все пиксели изображения, сверяя материал между выбранным пользователем участком и всеми другими областями изображения. Если на картинке стол и два стула, и ножки стула и столешница из одной и той же древесины, модель способна точно идентифицировать похожие участки.
Прежде чем исследователи смогли разработать метод ИИ, позволяющий научиться выбирать похожие материалы, пришлось преодолеть несколько препятствий. Так, не хватало точного набора образцов. Тогда разработчики отрисовали свой собственный набор данных об интерьерах, который включал 50 тысяч изображений и более 16 тыс. материалов, соотнесённых с каждым объектом.
Нам нужен был набор данных, в котором каждый тип материала был бы отмечен в отдельности
— Прафул Шарма, аспирант кафедры электротехники и компьютерных наук и ведущий автор научной статьи.
Имея набор данных, учёные стали учить модель сличать похожие материалы на реальных примерах, но… безуспешно. Исследователи поняли, что виноват сдвиг распределения, то есть разница между виртуальным и реальностью из-за отличий от обучающего набора. Чтобы решить эту проблему, они настроили модель на предварительно подготовленной, которая видела миллионы реальных изображений.
Итоговая модель преобразует общие визуальные характеристики в специфичные для материала, и делает это вне зависимости от форм объектов или различным условиям освещения. Затем система может вычислить показатель сходства материалов для каждого фрагмента изображения. Когда пользователь выбирает точку, модель определяет, насколько близок к запросу каждый другой участок. Система создаёт карту, где каждый пиксель ранжирован по шкале от 0 до 1 для определения сходства.
Поскольку модель выдаёт оценку сходства для каждого пикселя, пользователь может точно настроить результаты, установив пороговое значение, например, о сходстве на 90%, и получить карту изображения с выделенными областями. Метод также работает для перекрёстного выбора изображений: можно выбрать пиксель на одном изображении и найти тот же материал на другом.
В ходе экспериментов выяснилось, что полученная модель может предсказывать области изображения, содержащие тот же материал, более точно, чем другие методы. Когда разработчики измерили, насколько хорошо предсказание соответствует действительности, то есть фактическим областям изображения из одного и того же материала, их модель сработала с точностью около 92%.
Уже есть планы усовершенствовать новинку, чтобы она могла лучше распознавать мелкие детали объектов. Участница научной работы Кавита Бала, декан колледжа вычислительной техники и информатики и профессор компьютерных наук, пояснила, что технология может очень пригодиться тем же дизайнерам. Например, владелец дома может представить, как могут выглядеть дорогостоящие варианты обивки дивана или коврового покрытия перед их покупкой.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...