Кроме того, видеоролики помогли роботу постепенно пополнять свою кулинарную книгу. В конце эксперимента робот самостоятельно придумал девятый рецепт. Итак, видеоконтент может стать ценным и богатым источником данных для автоматизированного производства продуктов питания, чтобы упростить и удешевить внедрение робототехники на кухнях.
Роботов-поваров десятилетиями пописывали в научной фантастике, но на самом деле приготовление пищи — сложная задача для машины. Несколько коммерческих компаний уже создали робоповаров, но они значительно отстают от людей с точки зрения мастерства. Люди могут изучать новые рецепты, просто посмотрев, как работает другой, или видео про это на YouTube. Но программирование робота для приготовления различных блюд — это дорого и отнимает много времени.
Мы хотели посмотреть, сможем ли мы обучить робота-повара тому же поэтапному способу, как у людей: опознавать ингредиенты и их сочетания в блюде
— Гжегож Сохацкий из инженерного факультета Кембриджа, первый автор статьи.
Сохацкий, кандидат наук в лаборатории биоинженерной робототехники профессора Фумии Ииды, и его коллеги придумали восемь простых рецептов салатов и засняли на видео, как они их готовят. Затем использовали общедоступную нейронную сеть для обучения робота. Нейронная сеть уже была обучена узнавать различные объекты, включая фрукты и овощи: брокколи, морковь, яблоко, банан и апельсин.
Используя компьютерное зрение, робот проанализировал каждый кадр видео и смог опознать различные объекты и особенности: нож, ингредиенты, руки и лицо своего учителя. И рецепты, и видеоролики преобразовали в векторы, и робот выполнил математические операции, чтобы определить сходство между демонстрацией и вектором.
Правильно определяя ингредиенты и действия человека, робот мог понять, какой из рецептов шёл в дело. Если бы демонстратор держал нож в одной руке, а морковь — в другой, то происходила резка овоща, делала свой вывод машина.
Из 16 просмотренных видеороликов робот распознал правильный рецепт в 93% случаев, хотя понимал только 83% действий человека. Робот также смог обнаружить, что небольшие изменения в рецепте — двойная порция или обычная человеческая ошибка — это вариации одного процесса, а не новый рецепт. Робот также правильно распознал демонстрацию нового, девятого по счёту салата, а затем добавил его в свою кулинарную книгу и приготовил.
Сохацкий считает удивительным то, сколько нюансов робот смог обнаружить. Да, эти были простенькие рецепты, всего лишь нарезанные фрукты и овощи. Но эффективность машины состоит в том, что она поняла: два нарезанных яблока и две нарезанные моркови — это тот же рецепт, что и три нарезанных яблока и три нарезанные моркови.
Видеоролики, используемые для обучения робота-повара, не похожи на сюжеты о еде, сделанные блогерами в соцсетях, эффектные и резвые. Например, роботу было бы трудно распознать морковь, если бы её сжимали в руке. Чтобы робот идентифицировал морковку, человек-демонстратор должен был показать овощ целиком. Но поскольку роботы-повара всё лучше и всё быстрее определяют ингредиенты в видео о еде, они уже могут использовать YouTube для изучения целого ряда рецептов, добавил Сохацкий.
