Новое программное обеспечение может проверить, сколько информации действительно знает ИИ
В связи с растущим во всем мире интересом к системам генеративного искусственного интеллекта (ИИ) исследователи из Университета Суррея создали программное обеспечение, способное проверять, сколько информации система данных ИИ извлекла из цифровой базы данных организации.
Программное обеспечение для проверки Surrey можно использовать как часть протокола онлайн-безопасности компании, помогая организации понять, не слишком ли многому научился ИИ или не получил ли он доступ к конфиденциальным данным.
Программное обеспечение также способно определить, выявил ли ИИ недостатки в программном коде и способен ли он их использовать. Например, в контексте онлайн-игр он может определить, научился ли ИИ всегда выигрывать в онлайн-покере, используя ошибку кода.
— доктор Фортунат Раджаона, научный сотрудник в области формальной проверки конфиденциальности в Университете Суррея.
Исследование о программном обеспечении Суррея получило награду за лучшую статью на 25-м Международном симпозиуме по формальным методам.
Создание инструментов, которые могут проверять производительность генеративного ИИ, имеет важное значение для обеспечения их безопасного и ответственного развертывания. Это исследование является важным шагом на пути к обеспечению конфиденциальности и целостности наборов данных, используемых в обучении машин.
Программное обеспечение для проверки Surrey можно использовать как часть протокола онлайн-безопасности компании, помогая организации понять, не слишком ли многому научился ИИ или не получил ли он доступ к конфиденциальным данным.
Программное обеспечение также способно определить, выявил ли ИИ недостатки в программном коде и способен ли он их использовать. Например, в контексте онлайн-игр он может определить, научился ли ИИ всегда выигрывать в онлайн-покере, используя ошибку кода.
Во многих приложениях системы ИИ взаимодействуют друг с другом или с людьми, например, в беспилотных автомобилях на шоссе или в больничных роботах. Выяснение того, что знает интеллектуальная система данных ИИ, является постоянной проблемой, на решение которой у нас ушли годы. Наше программное обеспечение для проверки может определить, сколько ИИ может узнать из их взаимодействия, достаточно ли у них знаний для успешного сотрудничества и не слишком ли много у них знаний, которые нарушат конфиденциальность. Благодаря возможности проверять, чему научился ИИ, мы можем дать организациям уверенность в безопасном раскрытии возможностей ИИ в безопасных условиях
— доктор Фортунат Раджаона, научный сотрудник в области формальной проверки конфиденциальности в Университете Суррея.
Исследование о программном обеспечении Суррея получило награду за лучшую статью на 25-м Международном симпозиуме по формальным методам.
Создание инструментов, которые могут проверять производительность генеративного ИИ, имеет важное значение для обеспечения их безопасного и ответственного развертывания. Это исследование является важным шагом на пути к обеспечению конфиденциальности и целостности наборов данных, используемых в обучении машин.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...