ИИ научили придумывать рецепты по фото холодильника
Модели искусственного интеллекта (ИИ) уже нашли применение в самых разных условиях реального мира, помогая людям быстрее и эффективнее решать повседневные проблемы. В последнее время ученые-компьютерщики также изучают их потенциал для помощи людям в решении творческих задач, таких как придумывание интересных дизайнов, стихов и даже рецептов.
Два исследователя из технологической компании PeopleTec, базирующейся в Алабаме, разработали вычислительную модель, которая может создавать сложные рецепты, содержащие ингредиенты, доступные пользователям, после анализа изображений того, что находится в их холодильнике. Их подход основан на моделях, которые могут идентифицировать объекты на изображениях, и GPT-4, известной модели большого языка (LLM), разработанной OpenAI.
— Дэвид Ноевер, один из исследователей.
Ключевой целью недавней работы Ноевера и его коллеги Саманты Элизабет Миллер Ноевер было осветить последние достижения в области ИИ практичным и полезным способом. Чтобы создать рецепт из изображений, они специально использовали интерфейсы прикладного программирования (API) моделей для анализа изображений, а также генератор текста, лежащий в основе ChatGPT.
— Дэвид Ноевер.
Исследователи оценили свой вычислительный подход в серии тестов, предоставив более 2000 изображений открытых холодильников с различными ингредиентами внутри. Используя эти изображения, их модель создала 100-страничную книгу рецептов с интересными и уникальными рецептами, включающими 30 лучших ингредиентов.
— Дэвид Ноевер.
В будущем вычислительный подход может быть интегрирован в приложение для смартфона или другие программные инструменты, призванные вдохновлять как любителей, так и опытных поваров. В то же время это также может вдохновить другие команды по всему миру на применение LLM и других моделей ИИ для задач создания рецептов или других творческих задач.
Два исследователя из технологической компании PeopleTec, базирующейся в Алабаме, разработали вычислительную модель, которая может создавать сложные рецепты, содержащие ингредиенты, доступные пользователям, после анализа изображений того, что находится в их холодильнике. Их подход основан на моделях, которые могут идентифицировать объекты на изображениях, и GPT-4, известной модели большого языка (LLM), разработанной OpenAI.
В 2020 году группа наших исследователей искусственного интеллекта устроила групповую игру, в которой одна команда предлагала список ингредиентов, а другая использовала языковую модель, чтобы придумать оригинальный рецепт. По мере того как ингредиенты становились все более интересными, рецепты становились все хуже и хуже, в конце концов выродившись в ерунду вроде «Рецепт венгерской обувной кожи, порция 2 на завтрак» — по сути, полная тарабарщина. Но с 2020 года и изображения, и языковые модели стало настолько хорошо, что теперь мы действительно можем создать приложение, которое решит практическую задачу повара — просто загляните прямо сейчас в свой холодильник, возьмите несколько основных предвзятых идей, что можно приготовить сегодня, и сгенерируйте отличный новый рецепт
— Дэвид Ноевер, один из исследователей.
Ключевой целью недавней работы Ноевера и его коллеги Саманты Элизабет Миллер Ноевер было осветить последние достижения в области ИИ практичным и полезным способом. Чтобы создать рецепт из изображений, они специально использовали интерфейсы прикладного программирования (API) моделей для анализа изображений, а также генератор текста, лежащий в основе ChatGPT.
Основная идея нашей работы заключалась в том, чтобы объединить сырые продукты и ингредиенты рецепта с помощью анализа изображений, а затем попросить мощную языковую модель построить правдоподобный рецепт приготовления, включая ожидаемое название, пропорции и этапы. Одним из интересных поворотов этого подхода к языку-образу является ограничение генератора стиля рецепта различными и часто сложными способами, основанными, например, на минимизации стоимости еды, изменении размеров порций или соблюдении диетических ограничений. На самом деле зависит от того, насколько хороша языковая модель, которая, конечно же, сделала огромный прорыв только за последние несколько месяцев
— Дэвид Ноевер.
Исследователи оценили свой вычислительный подход в серии тестов, предоставив более 2000 изображений открытых холодильников с различными ингредиентами внутри. Используя эти изображения, их модель создала 100-страничную книгу рецептов с интересными и уникальными рецептами, включающими 30 лучших ингредиентов.
Несколько ученых помогли нам, создав изображения 30 самых популярных продуктов, которые можно найти в холодильнике. Мы обучили наши модели выдавать список из них в различных условиях. Новаторской частью нашей работы было постоянное приведение рецепта в соответствие с различными ограничениями
— Дэвид Ноевер.
В будущем вычислительный подход может быть интегрирован в приложение для смартфона или другие программные инструменты, призванные вдохновлять как любителей, так и опытных поваров. В то же время это также может вдохновить другие команды по всему миру на применение LLM и других моделей ИИ для задач создания рецептов или других творческих задач.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...