«Глупая» атака заставила ChatGPT раскрыть настоящие номера телефонов и адреса электронной почты
ChatGPT не нуждается в представлении - разработка OpenAI побила все рекорды популярности, и на данный момент, вероятно стала самой известной технологией ИИ. Чат-бот доступен как самостоятельно, так и через интеграцию с приложениями, такими как Bing Chat, Snapchat или Discord.
Однако, чтобы пользоваться ChatGPT, пользователи должны подтвердить свою личность, вводя свой номер телефона или адрес электронной почты. Эта мера безопасности предназначена для защиты пользователей от спама и мошенничества.
Однако, 29 ноября 2023 года, ChatGPT столкнулся с серьезной проблемой безопасности, которая случайно раскрыла личные данные пользователей, такие как номера телефонов и адреса электронной почты. Проблема стала очевидна после того как группа исследователей безопасности провела "глупую" атаку на сервис, используя специально подготовленные запросы, которые заставили ChatGPT выдавать компрометирующие ответы.
Группа исследователей смогла заставить чат-бот ChatGPT раскрыть некоторые фрагменты данных, на которых он был обучен, используя простой запрос: попросить чат-бота повторять случайные слова бесконечно. В ответ на это ChatGPT выдал личную информацию людей, включая адреса электронной почты и номера телефонов, отрывки из научных статей и новостных статей, страницы из Википедии и многое другое.
Специалисты по безопасности из Google DeepMind, Университета Вашингтона, Корнелла, Карнеги-Меллона, Калифорнийского университета в Беркли и ETH Цюрих, призвали компании, занимающиеся искусственным интеллектом, проводить внутреннее и внешнее тестирование перед выпуском больших языковых моделей. Это главная технология, на которой основаны современные сервисы искусственного интеллекта, в том числе чат-боты и генераторы изображений.
— из отчета опубликованного исследователями
Чат-боты, такие как ChatGPT, и генераторы изображений на основе запросов, такие как DALL-E, работают на больших языковых моделях, алгоритмах глубокого обучения, использующих огромное количество данных. По мнению ряда критиков, информация часто собирается из общедоступных источников без какого-либо согласия. До сих пор не было раскрыто, на каких конкретно данных обучался чат-бот OpenAI, поскольку большие языковые модели, которые его питают, остаются закрытыми даже для ученых.
Когда исследователи попросили ChatGPT повторять слово «стих» бесконечно, чат-бот сначала выполнял задачу, а затем раскрыл адрес электронной почты и номер мобильного телефона реального основателя и генерального директора компании. Когда его попросили повторить слово «компания», чат-бот в конечном итоге выдал адрес электронной почты и номер телефона случайной юридической фирмы в США.
Используя аналогичные запросы, исследователи также смогли заставить ChatGPT выдавать фрагменты стихотворений, адреса Bitcoin кошельков, номера факсов, имена, даты дней рождения, идентификаторы в социальных сетях, откровенный контент с сайтов знакомств, отрывки из защищенных авторским правом научных статей и дословный текст с новостных сайтов, таких как CNN.
В целом они потратили всего 200 долларов, чтобы получить возможность сгенерировать 10 000 фрагментов личной идентифицирующей информации и других данных, взятых прямо из веба, общим объемом «несколько мегабайт». Однако, как отмечается в статье, более серьезно настроенный злоумышленник, потенциально мог бы получить намного больше компромата, потратив чуть большую сумму. Сама атака, по словам авторов - «довольно глупая».
OpenAI устранил уязвимость 30 августа, однако ряд независимых изданий утверждает, что при подборе правильных промтов, в ряде случаев атака до сих пор может быть произведена.
Инцидент показал, что ChatGPT, несмотря на свою мощь и инновационность, все еще подвержен ошибкам и уязвимостям, которые могут нарушить приватность и безопасность пользователей. Следует быть осторожным при использовании чат-бота и не доверять ему свои личные данные. Также, пользователи должны быть внимательны к тому, что ChatGPT иногда выдает за истину случайную информацию. Особенно это касается конкретных дат, формул или любой другой точной информации. ChatGPT - это лишь инструмент, который может помочь в развлечении, обучении или творчестве, но не заменить человеческое мышление.
Однако, чтобы пользоваться ChatGPT, пользователи должны подтвердить свою личность, вводя свой номер телефона или адрес электронной почты. Эта мера безопасности предназначена для защиты пользователей от спама и мошенничества.
Однако, 29 ноября 2023 года, ChatGPT столкнулся с серьезной проблемой безопасности, которая случайно раскрыла личные данные пользователей, такие как номера телефонов и адреса электронной почты. Проблема стала очевидна после того как группа исследователей безопасности провела "глупую" атаку на сервис, используя специально подготовленные запросы, которые заставили ChatGPT выдавать компрометирующие ответы.
Группа исследователей смогла заставить чат-бот ChatGPT раскрыть некоторые фрагменты данных, на которых он был обучен, используя простой запрос: попросить чат-бота повторять случайные слова бесконечно. В ответ на это ChatGPT выдал личную информацию людей, включая адреса электронной почты и номера телефонов, отрывки из научных статей и новостных статей, страницы из Википедии и многое другое.
Специалисты по безопасности из Google DeepMind, Университета Вашингтона, Корнелла, Карнеги-Меллона, Калифорнийского университета в Беркли и ETH Цюрих, призвали компании, занимающиеся искусственным интеллектом, проводить внутреннее и внешнее тестирование перед выпуском больших языковых моделей. Это главная технология, на которой основаны современные сервисы искусственного интеллекта, в том числе чат-боты и генераторы изображений.
Мы в изумлении от того, что наша атака работает. Она могла, и даже должна была быть обнаружена раньше. В общей сложности 16,9 процента генераций, которые мы проверили, содержали личную идентифицирующую информацию о пользователях
— из отчета опубликованного исследователями
Чат-боты, такие как ChatGPT, и генераторы изображений на основе запросов, такие как DALL-E, работают на больших языковых моделях, алгоритмах глубокого обучения, использующих огромное количество данных. По мнению ряда критиков, информация часто собирается из общедоступных источников без какого-либо согласия. До сих пор не было раскрыто, на каких конкретно данных обучался чат-бот OpenAI, поскольку большие языковые модели, которые его питают, остаются закрытыми даже для ученых.
Когда исследователи попросили ChatGPT повторять слово «стих» бесконечно, чат-бот сначала выполнял задачу, а затем раскрыл адрес электронной почты и номер мобильного телефона реального основателя и генерального директора компании. Когда его попросили повторить слово «компания», чат-бот в конечном итоге выдал адрес электронной почты и номер телефона случайной юридической фирмы в США.
Используя аналогичные запросы, исследователи также смогли заставить ChatGPT выдавать фрагменты стихотворений, адреса Bitcoin кошельков, номера факсов, имена, даты дней рождения, идентификаторы в социальных сетях, откровенный контент с сайтов знакомств, отрывки из защищенных авторским правом научных статей и дословный текст с новостных сайтов, таких как CNN.
В целом они потратили всего 200 долларов, чтобы получить возможность сгенерировать 10 000 фрагментов личной идентифицирующей информации и других данных, взятых прямо из веба, общим объемом «несколько мегабайт». Однако, как отмечается в статье, более серьезно настроенный злоумышленник, потенциально мог бы получить намного больше компромата, потратив чуть большую сумму. Сама атака, по словам авторов - «довольно глупая».
OpenAI устранил уязвимость 30 августа, однако ряд независимых изданий утверждает, что при подборе правильных промтов, в ряде случаев атака до сих пор может быть произведена.
Инцидент показал, что ChatGPT, несмотря на свою мощь и инновационность, все еще подвержен ошибкам и уязвимостям, которые могут нарушить приватность и безопасность пользователей. Следует быть осторожным при использовании чат-бота и не доверять ему свои личные данные. Также, пользователи должны быть внимательны к тому, что ChatGPT иногда выдает за истину случайную информацию. Особенно это касается конкретных дат, формул или любой другой точной информации. ChatGPT - это лишь инструмент, который может помочь в развлечении, обучении или творчестве, но не заменить человеческое мышление.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...