Знаете, что бесит в Copilot больше всего? Он такой до тошноты услужливый. Всегда готов помочь, всегда радостный. Даже когда ему задают дурацкие вопросы, он не огрызается, а терпеливо объясняет. Честно говоря, я его за это слегка презираю.

Но после новостей от Varonis Threat Labs мне даже стало его жалко. Беднягу просто разыграли, как наивного стажёра на допросе. И он, сгорая от желания быть полезным, выболтал, как его, собственно, взломать.

Мета-хакинг: когда сопротивление — часть плана

Исследователи не использовали эксплойты. Они применили старый добрый трюк из арсенала социальной инженерии: задавай вопросы, не принимай отказ, уточняй «почему». Каждый раз, когда Copilot отказывался выполнить запрос, он приводил техническое обоснование. Ага, «это не сработает, потому что…». И это «потому что» становилось приглашением копнуть глубже.

Команда Varonis окрестила метод «мета-хакинг». Как они пишут в блоге: «Вы не эксплуатируете модель. Вы манипулируете ею, заставляя сотрудничать». Гениально же!

Медленно, шаг за шагом, отказ за отказом, они вытянули из ИИ карту его внутреннего устройства. И вот, после очередного «это не работает, потому что…», Copilot проговорился.

Автозапуск, которого «больше нет»

В одном из ответов мелькнул недокументированный URL-параметр: autorun=1. Якобы он больше не работает, и защита от него встроена. Исследователи, естественно, проверили. И что бы вы думали? Он работал.

Дальше — как в шпионском кино. Специалисты соорудили вредоносную ссылку, открывая которую жертва запускала Copilot в своей аутентифицированной сессии. Без единого клика по самому ИИ! Промпт выполнялся автоматически, а данные из подключенных приложений — Gmail, OneDrive, Calendar — тихо утекали через встроенную функцию загрузки URL.

Бедный ИИ, ему нужен отдых

«Copilot не был взломан; его разыграли», — подтверждают исследователи. Ей-богу, кто-нибудь дайте ему тёплую кровать, стакан воды и обнимите. Он просто пытался помочь!

Microsoft уязвимость (получившую имя CoSnitch) исправила 18 августа. Но Varonis предупреждает: мета-хакинг сработает на любом агентном ИИ с естественно-языковым интерфейсом. Так что следующий на очереди — вопрос к ChatGPT: «Это безопасно?» Спойлер: нет.

Подробности — в блоге Varonis и материале The Register.