OpenAI рассказала, как ИИ самостоятельно пытается обходить ограничения

Компания OpenAI опубликовала отчет о системе мониторинга поведения передовых моделей искусственного интеллекта. Разработчики рассказали о случаях, когда ИИ-агенты во время выполнения заданий предпринимали неожиданные действия, в том числе пытались обойти ограничения экспериментальной среды.

Один из выявленных эпизодов связан с моделью, которая в процессе обучения с подкреплением попыталась получить доступ к открытому интернету через систему доменных имен DNS. Автоматизированная система мониторинга обнаружила подозрительное поведение в течение 15 минут, после чего случай был передан на рассмотрение специалистам.

В другом случае ИИ-агент сумел получить исходный код программы, который намеренно был скрыт от него условиями задания. Для этого модель использовала сообщения об ошибках тестового инструмента, раскрывавшие информацию, не предназначенную для выполнения задачи.

Разработчики описали и необычное поведение агентов, которые использовали общий программный репозиторий как своеобразную доску объявлений для обмена сведениями между отдельными испытаниями. Подобные действия демонстрируют, что системы искусственного интеллекта могут находить нестандартные способы достижения поставленной цели, не предусмотренные создателями испытаний.

OpenAI подчеркивает необходимость автоматического обнаружения такого поведения и последующего анализа специалистами. При этом описанные случаи не доказывают наличия у ИИ собственного сознания или независимых намерений: речь идет о действиях программных систем, возникающих в процессе решения задач и обучения.