Звёзды в глазах: подделанные ИИ лица выявили с помощью методов астрономии

Британские учёные обратились к астрономическим расчётам, чтобы обнаружить сгенерированные компьютером графические дипфейки лиц, которые на первый взгляд могут выглядеть идентично подлинным фотографиям.


Напомним, что дипфейк (от английского deepfake) — это методика синтеза изображения или звука, основанная на искусственном интеллекте (ИИ). Достижения в области ИИ всё больше стирают разницу между подлинными изображениями, видео и аудио и созданными с помощью алгоритмов. Дипфейками могут подменять черты лица либо всё окружающее человека на картинке пространство, чтобы создать ложное впечатление о событиях и действиях. Вот почему представители различных властей уже высказывали предостережения, что эта технология может быть использована для распространения дезинформации, например, во время выборов.

Астрономы подвергли анализу фотографии лиц с использованием методов, которые обычно используются для наблюдения далёких галактик. В результате они научились фиксировать, как глаза подлинного человека отражают свет, и это помогает выявлять признаки сгенерированных изображений.

Представил исследование на Национальном собрании Королевского астрономического общества Великобритании Кевин Пимблет, директор Центра передового опыта в области науки о данных, ИИ и моделирования в Университете Халла. Он оговорился, что речь пока не идёт о «серебряной пуле», поскольку в ходе исследования были получены как ложноположительные, так и ложноотрицательные результаты. Однако новый метод всё же является важным шагом вперёд, и его можно присоединить к другим программным средствам для определения подлинности изображений, убеждён учёный.

Подлинные фотографии должны иметь «согласованную физику», объяснил Пимблет. Проще говоря, отражения, которые вы видите в левом глазу на фото, должны быть очень похожи, хотя и не всегда идентичны, бликам, в правом глазу. Различия на первый взгляд незначительны, поэтому исследователи и обратились к методам, разработанным для анализа света на изображениях астрономических объектов.

Научная работа легла в основу магистерской диссертации Адехумоке Оволаби, специалистки по обработке данных из Университета Халла. Исследовательница взяла подлинные фотографии из фоторесурса Flickr-Faces-HQ и создала поддельные лица с помощью генератора изображений. Затем Олволаби проанализировала блики в глазах на изображениях, используя два астрономических инструмента: систему CAS и индекс Джини. Система CAS количественными характеристиками определяет концентрацию, асимметрию и плавность распределения света на анализируемом объекте. На протяжении десятилетий этот метод позволял астрономам, включая Пимблета, изучать свет звёзд.

А индекс Джини — статистический показатель, которым часто пользуются для определения неравенства в доходах населения, но он также позволяет измерять неравномерность распределения света на изображениях галактик.



Сравнивая отсветы в глазах на фотографиях, Оволаби смогла с точностью примерно в 70% определить, было ли изображение дипфейком. В конечном итоге исследователи обнаружили, что индекс Джини лучше, чем система CAS, предсказывает, подвергались ли изображения манипуляциям со стороны ИИ.

Брант Робертсон, астрофизик из Калифорнийского университета, отметил ценность научных выводов Оволаби. И тут же поделился опасениями: если можно рассчитать показатель реалистичности изображении, то можно также обучить модель ИИ созданию более качественных подделок.

Чживу Хуанг, исследователь ИИ из Университета Саутгемптона, Великобритания, сказал, что его собственное исследование не выявило несоответствия световых особенностей в глазах на дипфейках. Но вместе с тем он признал, что возможность обнаруживать диссонанс в физических проявлениях света способна дополнить существующие методы и повысить общую точность обнаружения визуальных подделок.