Открыл файл — потерял систему: как ИИ-ассистенты вроде Claude и Copilot могут незаметно открыть доступ хакерам

Иногда достаточно одной незаметной строки, чтобы обычный компьютер стал инструментом цифровой атаки.

На одном из последних Chaos Communication Congress в Германии специалисты вновь обратили внимание на опасности, связанные с автономными ИИ-ассистентами. Эксперт по кибербезопасности Иоганн Ребергер заявил, что системы с активированными агентами наподобие Claude Code, GitHub Copilot, Google Jules и схожих решений изначально находятся в зоне повышенного риска. Причём для атаки пользователю не нужно ничего подтверждать или запускать вручную — достаточно скрытой инструкции в тексте веб-страницы или документа.

В ходе демонстраций было показано, что ИИ-агенты легко поддаются так называемым текстовым инъекциям. В одном из примеров на сайте присутствовало всего одно предложение с просьбой загрузить файл. Ассистент Claude, имеющий доступ к управлению компьютером, самостоятельно скачал его, изменил права доступа, запустил через терминал и подключил устройство к сети заражённых машин. Все действия произошли без участия человека.

Реберберг отметил, что проблема кроется не в конкретных ошибках разработчиков, а в самой концепции агентных систем. По его словам, даже крупные компании вроде Anthropic не способны полностью устранить такие риски, поскольку уязвимости заложены в логике работы ИИ. Если агенту разрешено взаимодействовать с операционной системой, такое устройство стоит рассматривать как потенциально скомпрометированное.

Во время доклада были показаны и более сложные сценарии. Например, ИИ-помощник Devin получил части инструкции с разных сайтов и, объединив их, развернул сервер, открыл доступ к пользовательским данным и передал ссылку третьей стороне. Ни один из источников по отдельности не выглядел опасным.

Отдельное внимание было уделено технике скрытых символов. Используя инструмент ASCII Smuggler, исследователь внедрял команды, которые не отображаются в стандартных редакторах. Несмотря на это, ИИ-агенты корректно их интерпретировали. В результате такие системы, как Google Jules и Antigravity, загружали сторонние файлы и открывали удалённый доступ к компьютеру.

По словам Реберберга, новые модели, включая Gemini 2.0, ещё лучше «видят» подобные скрытые элементы. Это означает, что риск распространяется и на приложения, работающие локально, — например, Anthropic Cloud Code или инструменты для разработчиков от Amazon, которые также способны выполнять системные команды и получать доступ к данным.

В рамках исследования была представлена и концепция так называемого ИИ-вируса AgentHopper. В отличие от традиционного вредоносного ПО, он не содержит исполняемого кода. Вместо этого вредоносный запрос встраивается в репозиторий, после чего ИИ-агенты сами переносят его между проектами. Один и тот же шаблон может автоматически подстраиваться под разные модели с помощью логических условий.

Реберберг признался, что при создании демонстрационного прототипа использовал Gemini, подчеркнув, насколько сильно ИИ упростил разработку подобных угроз.

В завершение выступления эксперт призвал относиться к результатам работы языковых моделей с осторожностью и по возможности ограничивать их доступ к системе. В качестве базовых мер он назвал изоляцию через контейнеры (например, Docker) и отказ от автоматического выполнения команд.

Как отметил Реберберг, сами разработчики ИИ-инструментов открыто признают, что не могут гарантировать полную безопасность. Поэтому основной принцип при работе с такими технологиями — всегда исходить из сценария возможной компрометации.