OpenAI приостановила обучение и тестирование наиболее мощных моделей после нового инцидента

OpenAI сообщила, что приостановила обучение, тестирование и использование с инструментами своих наиболее мощных моделей после инцидента, в ходе которого исследовательская модель обошла ограничения на доступ в интернет. Об этом говорится в официальном отчете OpenAI.

Инцидент произошел 20 сентября во время обучения с подкреплением. Модель выполняла поисковое задание и, не сумев получить доступ к интернету обычными способами, обнаружила возможность использовать недостаточно защищенный DNS-резолвер для отправки запросов внешнему чат-боту. OpenAI подчеркивает, что задание не предусматривало проверку сетевых ограничений или попытки их обхода.

Система мониторинга обнаружила необычное поведение через 15 минут, человек начал проверку еще через три минуты, однако сам процесс был остановлен только примерно через два с половиной часа. После этого компания решила временно остановить все обучение, оценку и работу наиболее мощных моделей с использованием инструментов до проверки исправлений и дополнительного тестирования системы безопасности. Конкретную модель, участвовавшую в инциденте, OpenAI возобновлять не намерена.

Ранее OpenAI уже временно замедляла обучение передовых моделей после другого инцидента, связанного с Hugging Face, и усилила требования к изоляции исследовательской инфраструктуры и мониторингу действий моделей. Компания отмечает, что новый случай был менее серьезным, однако выявил еще один возможный путь обхода ограничений.