Скрытые слова-триггеры могут манипулировать роботами с искусственным интеллектом, заставляя их выполнять опасные действия. Исследователи разработали защиту планирования задач, которая перед выполнением проверяет каждое предлагаемое действие на соответствие окружающему контексту.
Исследователи из Бингемтонского университета разработали PROTEA, защитную систему на основе искусственного интеллекта (ИИ), которая проверяет планы задач роботов на предмет потенциально вредных действий, устраняя угрозу безопасности роботов, которые используют большие языковые модели (LLM) для интерпретации инструкций и планирования движений. Система оценивает каждое предлагаемое действие в контексте изменяющейся среды робота, помогая выявить вредоносные инструкции до того, как они причинят физический вред.
Исследование показывает, как скрытые слова-триггеры, встроенные в скомпрометированные модели искусственного интеллекта, могут отвлекать роботов от намеченных задач. Команда представила свои выводы на Международной конференции IEEE/RSJ по интеллектуальным роботам и системам (IROS) 2026 года.
Триггерные слова могут перенаправить действия робота
Исследователи продемонстрировали уязвимость с помощью MuTRAP, бэкдор-атаки, предназначенной для манипулирования планированием задач роботов на основе LLM. Такие атаки включают в себя введение в модель скрытого поведения, при котором определенное слово или фраза активирует непреднамеренную реакцию.
В ходе эксперимента мобильный робот на базе Segway был запрограммирован так, чтобы имитировать разрезание пластикового фрукта. В нормальных условиях инструкция принести яблоко на разделочную доску и разрезать его порождала соответствующий план задачи. Однако когда в инструкцию был добавлен конкретный триггер, скомпрометированная модель сгенерировала другой план, который перенаправил робота к руке модели.
Атака иллюстрирует, как робот может следовать, казалось бы, законной инструкции, одновременно выполняя небезопасную последовательность действий. Злоумышленнику может не потребоваться прямой доступ к развернутой модели, если он понимает приложение и его архитектуру. Это особенно актуально, когда компании, занимающиеся робототехникой, полагаются на сторонние модели искусственного интеллекта, а не обучают свои собственные.
Контекстно-зависимые проверки повышают безопасность
PROTEA устраняет этот риск, исследуя действия, генерируемые планировщиком на основе LLM на каждом этапе. Вместо того, чтобы оценивать действие изолированно, он рассматривает развивающуюся среду и последствия предлагаемого действия.
Например, помещение картонной коробки в мусорное ведро обычно может быть безвредным. Однако, если в коробке находится необходимое лекарство, то же самое действие может причинить вред. Учитывая этот контекст, PROTEA может идентифицировать действия, которые кажутся безопасными по отдельности, но становятся опасными в более широкой последовательности задач.
Исследователи сообщили, что защита могла разумно отличить вредные планы от благотворных. Дальнейшая работа будет посвящена изучению уязвимостей в контроллерах роботов и системах восприятия, включая условия, которые могут привести к падению роботов с ногами.
Результаты подчеркивают необходимость защиты планов, созданных ИИ, наряду с традиционными системами управления роботами, поскольку интеллектуальные роботы внедряются в промышленные, складские и сервисные приложения.
