Робота-повара научили воссоздавать блюда после просмотра кулинарных видеороликов
Исследователи обучили роботизированного «шеф-повара» смотреть кулинарные видеоролики и учиться по ним, а также воссоздавать само блюдо. Изобретатели из Кембриджского университета заложили в робота-повара «кулинарную книгу» из восьми простых салатов. После просмотра видео, на котором человек показал один из рецептов, робот смог определить, какой именно салат готовят, и повторить его «собственноручно». Научную статью о достижении озаглавили «Распознавание намерений шеф-повара-человека для постепенного изучения кулинарной книги роботизированным шеф-поваром по приготовлению салатов».
Кроме того, видеоролики помогли роботу постепенно пополнять свою кулинарную книгу. В конце эксперимента робот самостоятельно придумал девятый рецепт. Итак, видеоконтент может стать ценным и богатым источником данных для автоматизированного производства продуктов питания, чтобы упростить и удешевить внедрение робототехники на кухнях.
Роботов-поваров десятилетиями пописывали в научной фантастике, но на самом деле приготовление пищи — сложная задача для машины. Несколько коммерческих компаний уже создали робоповаров, но они значительно отстают от людей с точки зрения мастерства. Люди могут изучать новые рецепты, просто посмотрев, как работает другой, или видео про это на YouTube. Но программирование робота для приготовления различных блюд — это дорого и отнимает много времени.
— Гжегож Сохацкий из инженерного факультета Кембриджа, первый автор статьи.
Сохацкий, кандидат наук в лаборатории биоинженерной робототехники профессора Фумии Ииды, и его коллеги придумали восемь простых рецептов салатов и засняли на видео, как они их готовят. Затем использовали общедоступную нейронную сеть для обучения робота. Нейронная сеть уже была обучена узнавать различные объекты, включая фрукты и овощи: брокколи, морковь, яблоко, банан и апельсин.
Используя компьютерное зрение, робот проанализировал каждый кадр видео и смог опознать различные объекты и особенности: нож, ингредиенты, руки и лицо своего учителя. И рецепты, и видеоролики преобразовали в векторы, и робот выполнил математические операции, чтобы определить сходство между демонстрацией и вектором.

Правильно определяя ингредиенты и действия человека, робот мог понять, какой из рецептов шёл в дело. Если бы демонстратор держал нож в одной руке, а морковь — в другой, то происходила резка овоща, делала свой вывод машина.
Из 16 просмотренных видеороликов робот распознал правильный рецепт в 93% случаев, хотя понимал только 83% действий человека. Робот также смог обнаружить, что небольшие изменения в рецепте — двойная порция или обычная человеческая ошибка — это вариации одного процесса, а не новый рецепт. Робот также правильно распознал демонстрацию нового, девятого по счёту салата, а затем добавил его в свою кулинарную книгу и приготовил.
Сохацкий считает удивительным то, сколько нюансов робот смог обнаружить. Да, эти были простенькие рецепты, всего лишь нарезанные фрукты и овощи. Но эффективность машины состоит в том, что она поняла: два нарезанных яблока и две нарезанные моркови — это тот же рецепт, что и три нарезанных яблока и три нарезанные моркови.
Видеоролики, используемые для обучения робота-повара, не похожи на сюжеты о еде, сделанные блогерами в соцсетях, эффектные и резвые. Например, роботу было бы трудно распознать морковь, если бы её сжимали в руке. Чтобы робот идентифицировал морковку, человек-демонстратор должен был показать овощ целиком. Но поскольку роботы-повара всё лучше и всё быстрее определяют ингредиенты в видео о еде, они уже могут использовать YouTube для изучения целого ряда рецептов, добавил Сохацкий.
Кроме того, видеоролики помогли роботу постепенно пополнять свою кулинарную книгу. В конце эксперимента робот самостоятельно придумал девятый рецепт. Итак, видеоконтент может стать ценным и богатым источником данных для автоматизированного производства продуктов питания, чтобы упростить и удешевить внедрение робототехники на кухнях.
Роботов-поваров десятилетиями пописывали в научной фантастике, но на самом деле приготовление пищи — сложная задача для машины. Несколько коммерческих компаний уже создали робоповаров, но они значительно отстают от людей с точки зрения мастерства. Люди могут изучать новые рецепты, просто посмотрев, как работает другой, или видео про это на YouTube. Но программирование робота для приготовления различных блюд — это дорого и отнимает много времени.
Мы хотели посмотреть, сможем ли мы обучить робота-повара тому же поэтапному способу, как у людей: опознавать ингредиенты и их сочетания в блюде
— Гжегож Сохацкий из инженерного факультета Кембриджа, первый автор статьи.
Сохацкий, кандидат наук в лаборатории биоинженерной робототехники профессора Фумии Ииды, и его коллеги придумали восемь простых рецептов салатов и засняли на видео, как они их готовят. Затем использовали общедоступную нейронную сеть для обучения робота. Нейронная сеть уже была обучена узнавать различные объекты, включая фрукты и овощи: брокколи, морковь, яблоко, банан и апельсин.
Используя компьютерное зрение, робот проанализировал каждый кадр видео и смог опознать различные объекты и особенности: нож, ингредиенты, руки и лицо своего учителя. И рецепты, и видеоролики преобразовали в векторы, и робот выполнил математические операции, чтобы определить сходство между демонстрацией и вектором.

Правильно определяя ингредиенты и действия человека, робот мог понять, какой из рецептов шёл в дело. Если бы демонстратор держал нож в одной руке, а морковь — в другой, то происходила резка овоща, делала свой вывод машина.
Из 16 просмотренных видеороликов робот распознал правильный рецепт в 93% случаев, хотя понимал только 83% действий человека. Робот также смог обнаружить, что небольшие изменения в рецепте — двойная порция или обычная человеческая ошибка — это вариации одного процесса, а не новый рецепт. Робот также правильно распознал демонстрацию нового, девятого по счёту салата, а затем добавил его в свою кулинарную книгу и приготовил.
Сохацкий считает удивительным то, сколько нюансов робот смог обнаружить. Да, эти были простенькие рецепты, всего лишь нарезанные фрукты и овощи. Но эффективность машины состоит в том, что она поняла: два нарезанных яблока и две нарезанные моркови — это тот же рецепт, что и три нарезанных яблока и три нарезанные моркови.
Видеоролики, используемые для обучения робота-повара, не похожи на сюжеты о еде, сделанные блогерами в соцсетях, эффектные и резвые. Например, роботу было бы трудно распознать морковь, если бы её сжимали в руке. Чтобы робот идентифицировал морковку, человек-демонстратор должен был показать овощ целиком. Но поскольку роботы-повара всё лучше и всё быстрее определяют ингредиенты в видео о еде, они уже могут использовать YouTube для изучения целого ряда рецептов, добавил Сохацкий.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...