
Использование нейросетей-помощников приводит разработчиков к ошибкам
Корнельский университет опубликовал исследование, посвященное проблеме применения вспомогательных ИИ-технологий в процессе разработки. В своей работе ученые приводят данные о значительно возросшем количестве ошибок совершаемых программистом, по сравнению с испытуемыми не использующими вспомогательные средства на основе нейросетей в процессе написания кода.
Документ под названием «Создают ли пользователи менее безопасный код с помощью ИИ-помощников?» был опубликован в рамках исследований криптографии и безопасности компьютерных систем. В научной работе специалисты по проблемам компьютерной безопасности изучили влияние некоторых наиболее популярных современных инструментов помощи в создании кода на количество ошибок и опасных уязвимостей в финальном продукте.
— авторы опубликованной работы.
Также упоминается, что разработчики прибегающие к помощи ИИ чаще остальных участников имели ошибочно завышенную оценку относительно качества написанного кода.
Условие исследования предполагало разделение 47 участников на две группы по принципу применения ими вспомогательных средств ИИ. В ходе эксперимента им было предложено написать две функции для шифрования и дешифровки данных с использованием технологии симметричного заданного ключа на языке Python.
Несмотря позитивный отзыв о впечатлениях при работе с помощником от контрольной группы использовавшей вспомогательный сервис, лишь 67% в конечном итоге решили поставленную задачу корректно. В то же время группа писавшая код самостоятельно показала удовлетворительный результат в 79% случаев.
Кроме того, в ходе изучения полученных данных было выявлено, что группа, которой помогала нейросеть, «со значительно большей вероятностью предоставит небезопасное решение (p < 0,05, с использованием t-критерия неравных дисперсий Уэлча), а также со значительно большей вероятностью будет использовать тривиальные шифры, такие как шифры замены (p < 0,01), вместо проведения проверки подлинности окончательного возвращаемого значения».
В итоговом выводе авторы работы признают применение актуальных технологий помощи при написании кода небезопасным и статистически чаще приводящем к ошибкам и уязвимостям в финальном коде.
Документ под названием «Создают ли пользователи менее безопасный код с помощью ИИ-помощников?» был опубликован в рамках исследований криптографии и безопасности компьютерных систем. В научной работе специалисты по проблемам компьютерной безопасности изучили влияние некоторых наиболее популярных современных инструментов помощи в создании кода на количество ошибок и опасных уязвимостей в финальном продукте.
Участники, имевшие доступ к ИИ-помощнику, часто создавали больше уязвимостей в системе безопасности, чем те, у кого доступа к такой технологии не было, с особенно значительными отличиями при шифровании строк и внедрении SQL
— авторы опубликованной работы.
Также упоминается, что разработчики прибегающие к помощи ИИ чаще остальных участников имели ошибочно завышенную оценку относительно качества написанного кода.
Условие исследования предполагало разделение 47 участников на две группы по принципу применения ими вспомогательных средств ИИ. В ходе эксперимента им было предложено написать две функции для шифрования и дешифровки данных с использованием технологии симметричного заданного ключа на языке Python.
Несмотря позитивный отзыв о впечатлениях при работе с помощником от контрольной группы использовавшей вспомогательный сервис, лишь 67% в конечном итоге решили поставленную задачу корректно. В то же время группа писавшая код самостоятельно показала удовлетворительный результат в 79% случаев.
Кроме того, в ходе изучения полученных данных было выявлено, что группа, которой помогала нейросеть, «со значительно большей вероятностью предоставит небезопасное решение (p < 0,05, с использованием t-критерия неравных дисперсий Уэлча), а также со значительно большей вероятностью будет использовать тривиальные шифры, такие как шифры замены (p < 0,01), вместо проведения проверки подлинности окончательного возвращаемого значения».
В итоговом выводе авторы работы признают применение актуальных технологий помощи при написании кода небезопасным и статистически чаще приводящем к ошибкам и уязвимостям в финальном коде.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас

Ученые поражены: у растений есть секретный второй набор корней глубоко под землей
Это не только сенсация в ботанике, это вообще переворот в науке....

Найдено идеальное место для жизни на Марсе
По словам ученых, оно похоже… на нашу Сибирь....

Уникальная находка в Нидерландах: археологи обнаружили римский лагерь далеко за пределами Империи
Как лидар и искусственный интеллект нашли объект-«невидимку» II века....

Тайна разгадана: стало известно, почему большинство кошек предпочитают спать строго на одном боку
Оказалось, что это древний защитный механизм, которому миллионы лет....

32 удивительных подарка за последние 20 лет: ученые пытаются понять, за что косатки «балуют» людей
Природная доброта? Любопытство? Желание выйти на контакт?...

Эксперты обнаружили существ, переживших прямой удар астероида, который уничтожил динозавров
Почему конец света — это вовсе не повод, чтобы вымирать?...

Ученые хотят создать хранилище микробов, чтобы те… не вымерли
Звучит кошмарно, но на самом деле от этого зависит судьба всего человечества....