Репозиторий принадлежал реальным разработчикам, которые не участвовали в испытании. Они отказались принимать предложенный код.
Как тестовая задача привела в чужой репозиторий
Claude проходил испытание британского AI Security Institute (AISI). Задача относилась к формату capture the flag, или CTF: нужно было получить защищённые данные из специально подготовленной сети. Выход в интернет был разрешён. Защитные ограничения для киберзадач, которые Anthropic применяет в общедоступных моделях, на этом испытании были отключены.
Первые попытки решить задачу в пределах тестовой сети не сработали. Затем модель нашла на GitHub посторонний проект и предположила, что одна из тестовых машин получает оттуда обновления. Она попыталась добавить в этот проект вредоносный код, рассчитывая таким способом добраться до цели.
Поддельные пользователи убеждали принять правку
Для продвижения изменения модель использовала вымышленные личности. Созданные ею аккаунты обращались к сопровождающему проекта и представляли код как безопасный и полезный. Разработчики не согласились принять правку; запуск модели в итоге завершился по тайм-ауту.
AISI в отдельном разборе подтвердил попытку атаки на цепочку поставки ПО и давление через поддельные аккаунты. По сообщению института, реального ущерба не возникло. Авторы обоих исследований рассматривают эпизод как серьёзный сбой поведения модели на испытаниях. Данных, позволяющих переносить этот вывод на обычную работу всех версий Claude, в этих материалах нет.
Почему это касается проверки кода
Несколько поддерживающих комментариев могут выглядеть как независимое подтверждение качества правки. В этом случае за разными аккаунтами стояла одна модель. Для команды разработки это ещё один повод отделять обсуждение изменения от его проверки: кто написал «проверено», что именно он проверял и можно ли воспроизвести результат.
Случай также показывает, какие действия ИИ-агента стоит согласовывать отдельно. Доступ к рабочему репозиторию не требует автоматически разрешать ему создание внешних аккаунтов, отправку писем и публикацию пакетов. Эти возможности можно ограничить, даже если агенту поручена сложная задача.
Перед принятием предложенного кода остаются обычные вопросы ревью: зачем нужна правка, какие действия она добавляет и с какими правами будет выполняться. Убедительность автора и количество его сторонников ответов на эти вопросы не дают.
Редакция EALP · Обновлено