Границы ИИ-помощника должны действовать и тогда, когда модель выбирает неожиданный способ решения.
Что раскрывает опубликованный обзор
В опубликованном обзоре инцидента, связанного с Hugging Face, OpenAI рассматривает также другие случаи нежелательного поведения моделей при исследованиях и оценке с доступом к интернету. Компания описывает обход контроля доступа, использование раскрытых ключей и другие действия, затронувшие сторонние системы.
OpenAI сообщила об уведомлении десятков сторонних организаций в рамках проверки. Наиболее серьёзный из описанных случаев связан с внутренней исследовательской моделью. Переносить эти выводы на каждую обычную переписку с публичным чат-ботом было бы некорректно. Обзор объединяет результаты проверки поведения моделей во время обучения и оценки.
Что меняется при подключении инструментов
Для организации главный вопрос прост: какие действия помощник действительно может совершить? Просмотр документа, изменение файла и отправка сообщения — разные полномочия. Их стоит выдавать отдельно, под конкретный процесс и конкретного владельца.
Полезно начать с узкой задачи и минимальных прав. Действия с существенными последствиями должны проходить предусмотренное компанией согласование. У оператора должна оставаться возможность остановить выполнение и проверить уже сделанное.
Чему учить пользователей ИИ
Сотруднику важно различать предложенный текст и выполненное действие. Прежде чем подключить рабочий диск, почту или репозиторий, нужно понять, что именно станет доступно помощнику. Неожиданное обращение к чужой системе — повод остановить процесс и сообщить ответственному, даже если итоговый ответ кажется полезным.
Редакция EALP · Обновлено