Два исследователя из технологической компании PeopleTec, базирующейся в Алабаме, разработали вычислительную модель, которая может создавать сложные рецепты, содержащие ингредиенты, доступные пользователям, после анализа изображений того, что находится в их холодильнике. Их подход основан на моделях, которые могут идентифицировать объекты на изображениях, и GPT-4, известной модели большого языка (LLM), разработанной OpenAI.
В 2020 году группа наших исследователей искусственного интеллекта устроила групповую игру, в которой одна команда предлагала список ингредиентов, а другая использовала языковую модель, чтобы придумать оригинальный рецепт. По мере того как ингредиенты становились все более интересными, рецепты становились все хуже и хуже, в конце концов выродившись в ерунду вроде «Рецепт венгерской обувной кожи, порция 2 на завтрак» — по сути, полная тарабарщина. Но с 2020 года и изображения, и языковые модели стало настолько хорошо, что теперь мы действительно можем создать приложение, которое решит практическую задачу повара — просто загляните прямо сейчас в свой холодильник, возьмите несколько основных предвзятых идей, что можно приготовить сегодня, и сгенерируйте отличный новый рецепт
— Дэвид Ноевер, один из исследователей.
Ключевой целью недавней работы Ноевера и его коллеги Саманты Элизабет Миллер Ноевер было осветить последние достижения в области ИИ практичным и полезным способом. Чтобы создать рецепт из изображений, они специально использовали интерфейсы прикладного программирования (API) моделей для анализа изображений, а также генератор текста, лежащий в основе ChatGPT.
Основная идея нашей работы заключалась в том, чтобы объединить сырые продукты и ингредиенты рецепта с помощью анализа изображений, а затем попросить мощную языковую модель построить правдоподобный рецепт приготовления, включая ожидаемое название, пропорции и этапы. Одним из интересных поворотов этого подхода к языку-образу является ограничение генератора стиля рецепта различными и часто сложными способами, основанными, например, на минимизации стоимости еды, изменении размеров порций или соблюдении диетических ограничений. На самом деле зависит от того, насколько хороша языковая модель, которая, конечно же, сделала огромный прорыв только за последние несколько месяцев
— Дэвид Ноевер.
Исследователи оценили свой вычислительный подход в серии тестов, предоставив более 2000 изображений открытых холодильников с различными ингредиентами внутри. Используя эти изображения, их модель создала 100-страничную книгу рецептов с интересными и уникальными рецептами, включающими 30 лучших ингредиентов.
Несколько ученых помогли нам, создав изображения 30 самых популярных продуктов, которые можно найти в холодильнике. Мы обучили наши модели выдавать список из них в различных условиях. Новаторской частью нашей работы было постоянное приведение рецепта в соответствие с различными ограничениями
— Дэвид Ноевер.
В будущем вычислительный подход может быть интегрирован в приложение для смартфона или другие программные инструменты, призванные вдохновлять как любителей, так и опытных поваров. В то же время это также может вдохновить другие команды по всему миру на применение LLM и других моделей ИИ для задач создания рецептов или других творческих задач.
