Не так давно компания выпустила видеодемонстрацию своей последней разработки. Хотя сама система изначально предназначена для интеграции больших языковых моделей (LLM), таких как GPT-4 от OpenAI или BERT от Google в частные сети, первое, что было показано в демонстрации, — это применение системы на современном поле боя.
Palantir уже предоставляет свои услуги по внутреннему наблюдению для иммиграционной и таможенной службы США, поэтому неудивительно, что компания, основанная миллиардером Питером Тилем, также работает над установлением полноценного сотрудничества с Пентагоном.
В приведенной на официальном канале видеодемонстрации военный оператор, которому поручено следить за восточноевропейским театром военных действий, обнаруживает силы противника, скопившиеся у границы. Затем оператор ведет диалог с ИИ, внешне напоминающим ChatGPT и обращается к нему за помощью в развертывании разведывательных дронов, подготовке тактических ответов на предполагаемую агрессию, а также организации подавления средств связи противника.
В видео AIP использовался для помощи в оценке состава и возможностей противника. Система запустила дрон Reaper с разведывательной миссией в ответ на запрос оператора о более качественных изображениях и предложила подходящие ответы после обнаружения присутствия бронированного элемента.
LLM и алгоритмы должны применяться лишь при условии существования строго регулируемой и конфиденциальной системы командования, чтобы гарантировать, что они используются законным и этичным образом
— фрагмент из представленной демонстрации Palantir
Хотя демонстрация возможностей AIP была впечатляющей, Palantir признает важность регулирования использования LLM и алгоритмов в деликатных контекстах, особенно в военных операциях. Компания разработала три ключевых принципа для обеспечения ответственного использования технологии.
Во-первых, AIP будет развернута в секретной системе, способной анализировать в режиме реального времени как секретные, так и несекретные данные с соблюдением этических и юридических норм. Компания, правда, пока не уточнила, как именно это будет реализовано. Второй принцип работы AIP гарантирует, что пользователи смогут контролировать масштаб свободы помощника и действия каждого LLM и актива в сети.
Согласно демонстрации, сам AIP будет генерировать защищенную цифровую запись всей операции. Запись будет осуществляться в условиях секретности и конфиденциальности, и по словам разработчиков она будет иметь решающее значение для снижения любых юридических, нормативных и этических рисков. В качестве третьего принципа приводится обеспечение лучших в отрасли систем ограничения AIP.
Несмотря на амбициозность показанной системы у многих пользователей и экспертов возникли сомнения в реальной эффективности и безопасности API.
В сценарии Palantir ИИ действительно работает в режиме пошагового человеческого контроля, чтобы предотвратить любые нерегламентированные действия, хотя в видео «оператор», кажется, делает немногим больше, чем кивает вместе с тем, что предлагает AIP.
Также шаги, предпринятые для предотвращения «галлюцинаций» LLM или генерации ложных фактов и деталей, не были объяснены во время демонстрации, что вызывает сомнения в надежности и эффективности технологии.
