Художникам бесплатно предоставили инструмент Nightshade, чтобы «отравлять» ИИ

Nightshade — новое бесплатное программное обеспечение (ПО), которое позволяет художникам «отравлять» модели искусственного интеллекта (ИИ), не давая им корректно включать в свою базу образов создаваемые изображения. Через несколько месяцев после анонсирования Nightshade теперь можно скачать и использовать в любых работах, где пожелают сами авторы.


Инструмент разработали в Чикагском университете под руководством профессора Бена Чжао в рамках проекта Glaze. Название Nightshade можно перевести и как «Паслён», и как «Ночная тень». По сути, ПО настраивает ИИ против ИИ. Инструмент базируется на популярной платформе машинного обучения с открытым исходным кодом PyTorch. С её помощью он определяет, что именно на том или ином изображении, затем встраивает тег, который незаметно глазу изменяет графику на уровне пикселей. В результате другие программы ИИ увидят что-то совершенно отличное от того, что видится на исходной картинке человеку.

Это уже второй такой инструмент от тех же разработчиков: почти год назад они представили Glaze, отдельное ПО. Glaze позволяет сбить с толку обучающие алгоритмы ИИ, «внушая» им, что стиль изображения отличается от реального. Например, что видимые человеку цвета и мазки кисти иные, чем в действительности.

Но Glaze задумывали как инструмент защиты, и его в этих целях рекомендуют применять в сочетании с Nightshade, чтобы модели ИИ не смогли сымитировать стиль художника. А вот у Nightshade наступательная, а не оборонительная, концепция.

Модель ИИ, которую попытались тренировать на картинках, изменённых с помощью Nightshade, скорее всего, ошибочно присвоит соответствующим объектам тот или иной класс для всех будущих пользователей этой модели. Причём эта заложенная инструментом «диверсия» сработает даже для тех изображений «отравленной» модели ИИ, которые не подверглись модификациям с помощью Nightshade.

Например, поле после внесённых новым инструментом изменений человеческие глаза будут воспринимать корову на лужайке всё той же, практически без изменений. Однако несанкционированный ИИ, как бы одурманенной внесённой обманкой, увидит большую кожаную сумку, лежащую в траве, пояснили создатели Nightshade.

Таким образом, модель ИИ, обученная по изображениям «отравленной» инструментом коровы, начнёт генерировать сумки вместо коров, даже если пользователь попросит модель сгенерировать корову.

Спрос на новый инструмент уже столь высок, что некоторые пользователи стали отмечать трудности с загрузкой ПО, в ряде случаев — до восьми часов. И это при том, что дистрибутив «весит» всего лишь 255 Мб и 2,6 Гб для Mac и ПК соответственно.

Коллектив Glaze / Nightshade вместе с тем отрицает, что преследует разрушительные цели. Они утверждают, что их целью была не поломка обучающихся моделей ИИ, а побудить разработчиков искусственного интеллекта тренировать его на лицензированных изображениях.

Другими словами, создатели стремятся сделать так, чтобы разработчики моделей ИИ платили художникам за обучение на их данных, над которыми не поработал коварный «Паслён», он же «Ночная тень». Кстати, съедобным чёрным паслёном действительно можно отравиться, если наброситься на слегка недозрелые ягоды, которые могут содержать атропин и соланин, второй особенно ядовит.