Робота-повара научили воссоздавать блюда после просмотра кулинарных видеороликов

Исследователи обучили роботизированного «шеф-повара» смотреть кулинарные видеоролики и учиться по ним, а также воссоздавать само блюдо. Изобретатели из Кембриджского университета заложили в робота-повара «кулинарную книгу» из восьми простых салатов. После просмотра видео, на котором человек показал один из рецептов, робот смог определить, какой именно салат готовят, и повторить его «собственноручно». Научную статью о достижении озаглавили «Распознавание намерений шеф-повара-человека для постепенного изучения кулинарной книги роботизированным шеф-поваром по приготовлению салатов».


Кроме того, видеоролики помогли роботу постепенно пополнять свою кулинарную книгу. В конце эксперимента робот самостоятельно придумал девятый рецепт. Итак, видеоконтент может стать ценным и богатым источником данных для автоматизированного производства продуктов питания, чтобы упростить и удешевить внедрение робототехники на кухнях.

Роботов-поваров десятилетиями пописывали в научной фантастике, но на самом деле приготовление пищи — сложная задача для машины. Несколько коммерческих компаний уже создали робоповаров, но они значительно отстают от людей с точки зрения мастерства. Люди могут изучать новые рецепты, просто посмотрев, как работает другой, или видео про это на YouTube. Но программирование робота для приготовления различных блюд — это дорого и отнимает много времени.


— Гжегож Сохацкий из инженерного факультета Кембриджа, первый автор статьи.

Сохацкий, кандидат наук в лаборатории биоинженерной робототехники профессора Фумии Ииды, и его коллеги придумали восемь простых рецептов салатов и засняли на видео, как они их готовят. Затем использовали общедоступную нейронную сеть для обучения робота. Нейронная сеть уже была обучена узнавать различные объекты, включая фрукты и овощи: брокколи, морковь, яблоко, банан и апельсин.

Используя компьютерное зрение, робот проанализировал каждый кадр видео и смог опознать различные объекты и особенности: нож, ингредиенты, руки и лицо своего учителя. И рецепты, и видеоролики преобразовали в векторы, и робот выполнил математические операции, чтобы определить сходство между демонстрацией и вектором.



Правильно определяя ингредиенты и действия человека, робот мог понять, какой из рецептов шёл в дело. Если бы демонстратор держал нож в одной руке, а морковь — в другой, то происходила резка овоща, делала свой вывод машина.

Из 16 просмотренных видеороликов робот распознал правильный рецепт в 93% случаев, хотя понимал только 83% действий человека. Робот также смог обнаружить, что небольшие изменения в рецепте — двойная порция или обычная человеческая ошибка — это вариации одного процесса, а не новый рецепт. Робот также правильно распознал демонстрацию нового, девятого по счёту салата, а затем добавил его в свою кулинарную книгу и приготовил.

Сохацкий считает удивительным то, сколько нюансов робот смог обнаружить. Да, эти были простенькие рецепты, всего лишь нарезанные фрукты и овощи. Но эффективность машины состоит в том, что она поняла: два нарезанных яблока и две нарезанные моркови — это тот же рецепт, что и три нарезанных яблока и три нарезанные моркови.

Видеоролики, используемые для обучения робота-повара, не похожи на сюжеты о еде, сделанные блогерами в соцсетях, эффектные и резвые. Например, роботу было бы трудно распознать морковь, если бы её сжимали в руке. Чтобы робот идентифицировал морковку, человек-демонстратор должен был показать овощ целиком. Но поскольку роботы-повара всё лучше и всё быстрее определяют ингредиенты в видео о еде, они уже могут использовать YouTube для изучения целого ряда рецептов, добавил Сохацкий.