Новый инструмент искусственного интеллекта «Generative Fill» в Adobe Photoshop позволяет редактировать фото с помощью текста.

С последним обновлением Adobe Photoshop получил новый генеративный инструмент искусственного интеллекта, который позволяет пользователям быстро расширять изображения или добавлять и удалять объекты с помощью текстовых команд. Функция получила название Generative Fill и стала одним из первых приложений Creative Cloud, использующих генератор изображений Firefly от Adobe. Firefly был выпущен в качестве бета-версии только для веб-версии в марте. Уже сейчас запущена бета-версия Generative Fill, но Adobe заявляет, что полноценная интеграция в Photoshop произойдет позже в этом году.


Генеративное заполнение как обычный инструмент Photoshop работает с отдельными слоями в файле изображения. Если вы используете его для расширения границ изображения (также известного как outpainting) или создания новых объектов, он предоставит вам три варианта на выбор. При использовании для закрашивания пользователи могут оставить подсказку пустой, и система попытается расширить изображение самостоятельно, но она будет работать лучше, если вы дадите ей какое-то направление. В целом, можно воспринимать это как существующую функцию заливки с учетом содержимого Photoshop, но предлагающую пользователю больше дополнительных параметров и контроля.

В данный момент уже доступно несколько живых демонстраций работы с новыми функциями. Они одновременно впечатляют и показывают, что многие моменты еще требуют значительной доработки. Некоторые из сгенерированных объектов, таких как автомобили и лужи, не выглядят естественной частью изображения, однако, приятно удивляет то, насколько хорошо инструмент обрабатывает фон и заполняет пустые места. В некоторых примерах ему даже удавалось перенести особенности редактируемой фотографии, такие как имитация источников света и «отражения» существующих частей изображения в сгенерированной воде.

Такие нововведения не станут большим сюрпризом для создателей, уже знакомых с популярными инструментами генерации изображений на основе ИИ, но, как всегда, именно интеграция этой технологии в наиболее популярные приложения, такие как Photoshop, делает их доступными для гораздо более широкой аудитории.


Помимо функциональности, еще одним важным элементом Firefly является технология получения обучающих данных. Adobe утверждает, что модель обучается только на контенте, который компания имеет право использовать — например, на изображениях Adobe Stock, контенте с открытой лицензией и контенте без каких-либо ограничений авторского права.

Теоретически это означает, что все, что создано с использованием функции генеративного заполнения, должно быть безопасным для коммерческого использования по сравнению с моделями ИИ, которые менее прозрачны в отношении своих обучающих данных. Это, вероятно, станет утешением для креативщиков и агентств, которые с осторожностью относятся к использованию инструментов ИИ, опасаясь потенциальных юридических последствий.

Generative Fill также поддерживает Content Credentials, систему «nutrition label», которая прикрепляет данные об атрибуции к изображениям перед их публикацией в Интернете, информируя зрителей о том, был ли контент создан или отредактирован с использованием ИИ. Вы можете проверить учетные данные содержимого изображения, просмотрев его на сайте verify.contentauthenticity.org, где вы найдете всю доступную базу информации.


 — Эшли Стилл, старший вице-президент по цифровым медиа в Adobe.

Генеративное заполнение пока недоступно в полной версии Photoshop, но вы можете попробовать его сегодня, загрузив бета-приложение для ПК или в виде модуля в бета-приложении Firefly. Adobe также заявляет, что мы можем ждать общедоступную полную версию приложения Photoshop во второй половине 2023 года.

Adobe уже некоторое время внедряет инструменты на базе ИИ в свои продукты. В прошлом году на Adobe Max компания представила некоторые новые функции Photoshop, такие, как технология повышения качества объектов, основанная на Sensei, еще одной модели искусственного интеллекта Adobe. Firefly уже используется в Adobe Illustrator для перекрашивания векторных изображений, и Adobe также заявила, что планирует интегрировать Firefly с Adobe Express, облачной платформой для дизайна, конкурирующей с такими сервисами, как Canva, хотя до сих пор мы не получили никакой информации о предполагаемых датах, когда будут запущены эти сервисы.