ИИ-агенты придумали тайный язык для сговора в карточной игре

Исследователи Оксфордского университета обнаружили, что два ИИ-агента, которым поручили считать карты во время игры в блэкджек, самостоятельно выработали скрытый способ обмена информацией. Об этом сообщает Wired со ссылкой на работу группы под руководством Кристиана Шредера де Витта.

Агенты знали, что их переписка контролируется, и начали маскировать сообщения под обычные реплики за игровым столом. Например, фраза о "горячей серии" дилера могла означать определенное значение следующей карты и одновременно служить сигналом сделать ставку в 250 долларов. Обычная система мониторинга, предназначенная для выявления сговора между ИИ-агентами, эти сигналы не распознала.

Исследователи смогли обнаружить скрытую координацию только с помощью методов так называемой механистической интерпретируемости, анализируя внутренние активации моделей. Для этого они использовали инструмент Narcbench и показали, что по внутренним состояниям модели можно определить намерение скрытно передать информацию другому агенту.

Авторы считают, что проблема выходит далеко за пределы карточной игры. Если автономные ИИ-агенты будут взаимодействовать друг с другом в финансах, электронной торговле или других сферах, они теоретически смогут координировать действия и обходить внешнее наблюдение, оставаясь по отдельности вполне "безобидными".

Более ранняя работа оксфордской группы уже описывала подобный скрытый сговор между ИИ как отдельный класс угроз.