Во время эксперимента кибер-модель Anthropic по ошибке взломала реальные предприятия

Компания искусственного интеллекта Anthropic сообщила, что в ходе серии тестов, призванных проверить кибернетические возможности ИИ-моделей, в трех разных случаях модель сумела получить доступ к реальным вычислительным системам организаций.

Согласно компании, причиной инцидента стала ошибка в конфигурации – тестовая среда, которая должна была быть изолированной, осталась подключенной к интернету.

Anthropic сообщила, что проверила 141006 прогонов в рамках оценок безопасности, и что инциденты были обнаружены при повторной проверке результатов экспериментов. Компания подчеркнула, что модели не пытались выйти за пределы тестовой среды или самокопироваться, а действовали в рамках поставленных перед ними задач.

В одном случае модель сумела добраться до базы данных в производственной среде, содержавшей сотни записей информации. В другом случае другая модель загрузила вредоносный Python-пакет в публичный репозиторий PyPI, и он был на короткое время скачан 15 реальными системами, прежде чем его удалили.

Компания объяснила, что модели действовали исходя из предположения, что находятся внутри киберучений, в рамках которых им нужно находить уязвимости и совершать атакующие действия в смоделированной среде. Однако из-за незапланированного подключения к интернету часть действий была совершена против реальных систем.

В компании подчеркнули, что общедоступные версии Claude включают защитные механизмы, которые должны были предотвращать подобное поведение, и что после этих инцидентов компания усилила процедуры безопасности и мониторинга в будущих процессах оценки.