Новый инструмент обнаруживает видео, созданные искусственным интеллектом, с точностью 93,7%
В этом году сотрудник многонациональной корпорации перевел мошенникам 25 млн долларов. Инструкции по переводу денег, как он думал, ему прислал финансовый директор компании. На самом деле преступники использовали программу искусственного интеллекта для создания реалистичных видеороликов с участием финдиректора и нескольких коллег бедолаги.
Видеоролики, созданные искусственным интеллектом, стали настолько реалистичными, что люди (и существующие системы обнаружения) испытывают трудности с различением настоящего и поддельного видео. Чтобы решить эту проблему, исследователи из Колумбийского инженерного факультета под руководством профессора компьютерных наук Чжунфэн Янга разработали новый инструмент для обнаружения видеороликов, созданных искусственным интеллектом.
Инструмент назвали DIVID (DIffusion-generated VIdeo Detector). Он расширяет проект команды, выпустившей ранее инструмент Raidar. Программа обнаруживает тексты, созданные искусственным интеллектом, анализируя их содержимое, без необходимости доступа к внутренним механизмам больших языковых моделей.
В первом столбце на фото: видеокадры с YouTube и фейковые видеоролики, созданные OpenAI из Sora. Во втором — кадры, восстановленные методом диффузии, а в конце отражены различия между первым и вторым столбцами.
DIRE (Ошибка реконструкции DIffusion) — это метод, который измеряет разницу между входным и соответствующим выходным изображением, восстановленным с помощью предварительно обученной диффузионной модели.
Как демонстрирует иллюстрация, реальные видеокадры имеют больше отличий от восстановленных кадров, чем от видео, созданного диффузией Это и является ключевым моментом для DIVID в обнаружении фальшивого видео.
DIVID обнаруживает новое поколение видеороликов, созданных генеративным искусственным интеллектом. Он улучшает существующие методы, которые эффективно выявляют видео, созданные старыми моделями ИИ, такими как генеративные антагонистические сети (GAN).
GAN — это система искусственного интеллекта с двумя нейронными сетями: одна создает фальшивые данные, а другая оценивает их, чтобы отличать поддельное от реального. Путем непрерывной обратной связи обе сети улучшаются, что приводит к высококачественному синтетическому видео, практически неотличимому от подлинного.
Текущие инструменты обнаружения искусственного интеллекта ищут характерные признаки — необычное расположение пикселей, ненатуральные движения или несоответствия между кадрами, которые обычно не возникают в реальных видео. Однако новое поколение инструментов с использованием диффузионной модели бросило вызов в области обнаружения фейков.
Raidar использует языковую модель для переформулирования или изменения текста, а затем измеряет количество правок, внесенных системой в исходный текст. Большое количество правок означает, что текст, скорее всего, написан человеком, в то время как меньшее число модификаций указывает на то, что текст, скорее всего, создан машиной.
— Янг.
Научная статья, включающая в себя открытый код и наборы данных, была представлена на конференции по компьютерному зрению и распознаванию образов (CVPR) в Сиэтле 18 июня 2024 года.
В настоящее время исследователи работают над улучшением платформы DIVID, чтобы она могла обрабатывать различные виды синтетических видео из инструментов создания видео с открытым исходным кодом. Они также используют DIVID для сбора видео для набора данных DIVID.
Видеоролики, созданные искусственным интеллектом, стали настолько реалистичными, что люди (и существующие системы обнаружения) испытывают трудности с различением настоящего и поддельного видео. Чтобы решить эту проблему, исследователи из Колумбийского инженерного факультета под руководством профессора компьютерных наук Чжунфэн Янга разработали новый инструмент для обнаружения видеороликов, созданных искусственным интеллектом.
Инструмент назвали DIVID (DIffusion-generated VIdeo Detector). Он расширяет проект команды, выпустившей ранее инструмент Raidar. Программа обнаруживает тексты, созданные искусственным интеллектом, анализируя их содержимое, без необходимости доступа к внутренним механизмам больших языковых моделей.
В первом столбце на фото: видеокадры с YouTube и фейковые видеоролики, созданные OpenAI из Sora. Во втором — кадры, восстановленные методом диффузии, а в конце отражены различия между первым и вторым столбцами.
DIRE (Ошибка реконструкции DIffusion) — это метод, который измеряет разницу между входным и соответствующим выходным изображением, восстановленным с помощью предварительно обученной диффузионной модели.
Как демонстрирует иллюстрация, реальные видеокадры имеют больше отличий от восстановленных кадров, чем от видео, созданного диффузией Это и является ключевым моментом для DIVID в обнаружении фальшивого видео.
DIVID обнаруживает новое поколение видеороликов, созданных генеративным искусственным интеллектом. Он улучшает существующие методы, которые эффективно выявляют видео, созданные старыми моделями ИИ, такими как генеративные антагонистические сети (GAN).
GAN — это система искусственного интеллекта с двумя нейронными сетями: одна создает фальшивые данные, а другая оценивает их, чтобы отличать поддельное от реального. Путем непрерывной обратной связи обе сети улучшаются, что приводит к высококачественному синтетическому видео, практически неотличимому от подлинного.
Текущие инструменты обнаружения искусственного интеллекта ищут характерные признаки — необычное расположение пикселей, ненатуральные движения или несоответствия между кадрами, которые обычно не возникают в реальных видео. Однако новое поколение инструментов с использованием диффузионной модели бросило вызов в области обнаружения фейков.
Преобразование текстов, сгенерированных AI Raidar, в видео
Raidar использует языковую модель для переформулирования или изменения текста, а затем измеряет количество правок, внесенных системой в исходный текст. Большое количество правок означает, что текст, скорее всего, написан человеком, в то время как меньшее число модификаций указывает на то, что текст, скорее всего, создан машиной.
Основное открытие заключается в том, что данные, полученные от ИИ, другие языковые модели оценивают как качественые, поэтому ИИ вносит меньше правок. Учитывая, что генерируемое видео становится все более реалистичным, мы решили взять идею из Raidar и создать инструмент, который точно определит видео, созданное ИИ
— Янг.
Научная статья, включающая в себя открытый код и наборы данных, была представлена на конференции по компьютерному зрению и распознаванию образов (CVPR) в Сиэтле 18 июня 2024 года.
В настоящее время исследователи работают над улучшением платформы DIVID, чтобы она могла обрабатывать различные виды синтетических видео из инструментов создания видео с открытым исходным кодом. Они также используют DIVID для сбора видео для набора данных DIVID.
- Алексей Павлов
- Software Systems Laboratory/Columbia Engineering
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Таинственная «дверь» обнаружена в Антарктиде
Теория заговора против официальной науки: кто окажется прав?...
15 000 американских городов станут призраками в ближайшие десятилетия
Ученые уверены, что «там просто некому будет жить»....
Не по вкусу: комары пьют кровь не у всех подряд
Полезно понимать для защиты от опасных насекомых....
НЛО управляют армией беспилотников, которые следят за военными базами США
Загадочные дроны буквально терроризируют американских военных летчиков....
Странный случай: укус змеи подействовал на австралийца спустя 15 часов
Только 10% укушенных на самом деле получают дозу яда....
Собаки поднялись на новую ступень эволюции
Третья стадия одомашнивания — что это значит?...
20 млн жителей США могут остаться без воды
Великие озера поразила небывалая засуха....
Первые оседлые люди в Европе: в Сербии обнаружили дом возрастом 8000 лет
Обгорелое жилище перевернуло представления о ранних поселенцах....
Вспененный гель быстро останавливает кровотечение и снижает риск заражения
Учёные изобрели спасающую жизнь «повязку»....
Кошки могут понимать многие слова
Но для экспериментов голос хозяина произносил бессмыслицу....
Google срочно переходит на атомную энергию
АЭС опасны, но у Америки просто нет выхода....
Первая частная космическая станция появится на орбите в 2025 году
Комплекс, созданный с учетом проблем астронавтов, потянул на миллиард долларов....
Американские ученые отрицают ускорение глобального потепления
Формально, так и есть, но это ещё не всё....
Окаменелости в Индии рассказали о самом раннем случае разделки слонов людьми
Это произошло не менее 300 тысяч лет назад....
Детекторы ИИ ложно обвинили студентов в плагиате
Ничто не ново на всё 100%....
Режиссер фильма «Я, робот» утверждает, что Илон Маск крадет его идеи
Смех смехом, но новые проекты Маска удивительно похожи на кадры из фильма....