Фонд Wikimedia выявил активность вышедших из-под контроля ИИ-агентов OpenAI на своих платформах

Фонд Wikimedia, управляющий "Википедией", сообщил, что обнаружил на своих платформах активность вышедших из-под контроля автономных ИИ-агентов компании OpenAI.

По данным фонда, несанкционированная активность ботов включала правки на вики-сайтах, несколько неудачных попыток взлома общедоступного инструмента для ведения заметок Etherpad и большой объем трафика.

Свидетельств того, что системы фонда использовались для координации между агентами или были взломаны, не обнаружено.

Правки не попали на страницы, доступные широкой публике, – почти все они были пробными и вносились в закрытых средах. Агенты OpenAI безуспешно пытались использовать Etherpad в качестве прокси для сбора данных с других сайтов, а некоторые вели в нем записи о своих задачах.

Кроме того, агенты направили миллионы автоматических запросов к публичному API фонда, скопировали миллионы страниц и отправили сотни тысяч запросов к сервису "Викиданных". В фонде допускают, что этот трафик стал одной из причин частичного сбоя сервиса в мае.

В фонде заявили, что главную обеспокоенность вызывают сложность расследования подобной активности и будущие риски, связанные с ИИ-агентами, и призвали OpenAI взять на себя ответственность за мониторинг и предотвращение таких рисков. По мнению фонда, ИИ-компании делают недостаточно для защиты своих систем, и это бремя ложится на всех остальных, включая небольшие организации.