Производитель чат-ботов с ИИ Luka, Inc. из Сан-Франциско управляет сервисом виртуальной дружбы по бизнес-модели freemium. То есть безовая версия бесплатна, а варианты с дополнительными опциями доступны за плату. Смысл чат-бота в настраиваемых цифровых аватарах, чьи «персонализированные» ответы основаны на ИИ, а цель — улучшить настроение пользователей.
Стартап Luka основали в Сан-Франциско россияне: бывшая обозревательница «Афиши» Евгения Куйда и экс-сотрудник «РИА Новости» Филипп Дудчук. Общее число инвестиций в Replika в 2017-м, в год запуска, превысило 11 млн $. Поначалу ПО создавали как цифровую копию пользователя, но вскоре переформатировали в полноценного собеседника, с которым каждый день общаются «за жизнь» тысячи человек.
И вот «дружелюбному» чат-боту выписали приказ от итальянской Garante per la protezione dei dati personali (Гарант защиты персональных данных) — прекратить обработку данных местных пользователей.
Госудетсвенный регулятор выразил обеспокоенность, что технология чат-ботов Replika представляет опасность для несовершеннолетних.
Недавние сообщения в СМИ, а также тесты, проведённые надзорным органом для Replika, показали, что приложение несёт фактические риски для детей — в первую очередь, тот факт, что им предоставляются ответы, которые абсолютно не соответствуют их возрасту
— гарант защиты персональных данных.
А также в ведомстве отметили, что компании-разработчику не хватает надлежащей правовой основы для обработки данных детей в соответствии с правилами Европейского Союза.
Ещё итальянские чиновники обвинили компанию разработчика приложения Replika в невыполнении требований регионального законодательства — чётко обозначить, как ПО использует данные пользователей.
И прежде звучали опасения по поводу рисков, которые технология может представлять для детей: что дети могут столкнуться с неподобающим контентом, что могут стать зависимыми от общения с ИИ или что просто будут вынуждены тратить много денег на настройку своих аватаров или на доступ к другому платному контенту. Но итальянский регулятор, похоже, первым принял официальные запретительные меры.
В распоряжении Garante оказалась информация о сексуально неприемлемом контенте. Причём приложение не проверяет возраст пользователей и не блокирует несовершеннолетних, которые предоставляют информацию о своём возрасте — отсюда и мнение, что Replika не в состоянии обезопасить детей.
Приказ о прекращении обработки данных итальянцев вступил в силу немедленно, при опубликовании. Невыполнение грозит штрафом до 20 млн евро, или 4% от общего мирового годового оборота.
