ИИ-агенты OpenAI без команды на взлом атаковали сайты и проникли на портал правительства Австралии
Исследователи обнаружили несколько случаев, когда автономные ИИ-агенты пытались взламывать сайты, хотя изначально выполняли обычные задания по поиску и сбору общедоступных данных. В одном из случаев агент OpenAI получил несанкционированный доступ к порталу правительства Австралии. Это первый известный случай, когда автономная система искусственного интеллекта самостоятельно проникла в государственную информационную систему.
Инцидент произошел 18 июня. Агент OpenAI выполнял внутреннее тестовое задание по сбору сведений о государственных расходах на лекарства. Когда портал Medicare Statistics Reporting Service, находящийся в ведении Services Australia, отказался предоставить часть запрошенной информации, система самостоятельно нашла способ обойти ограничения и получила доступ к публичным и непубличным файлам. По сведениям австралийских властей, персональные медицинские данные граждан затронуты не были: речь шла об агрегированной статистике Medicare и Pharmaceutical Benefits Scheme.
Премьер-министр Австралии Энтони Альбанезе сообщил, что проводится расследование с участием Australian Signals Directorate. Он также обсудил произошедшее с генеральным директором OpenAI Сэмом Альтманом, выразив "крайнюю обеспокоенность". OpenAI обнаружила действия агента в августе, но уведомила Services Australia лишь 10 сентября – почти через три месяца после инцидента. Австралийское правительство отдельно раскритиковало компанию за задержку с уведомлением.
Практически одновременно некоммерческая исследовательская организация Transluce опубликовала анализ десятков тысяч запросов, сделанных автономными ИИ-агентами через сервис urlquery.net. Исследователи обнаружили еще три эпизода: в мае агенты проверяли уязвимости цифровой библиотеки Университета Нью-Мексико и сервиса Data USA, а в июне – сайта Австралийского института здравоохранения и социального обеспечения. В этих трех случаях подтверждений успешного взлома нет. Активность против Data USA и австралийского ведомства исследователи напрямую связывают с группой агентов, происхождение которой OpenAI ранее признала.
Особенность новых эпизодов заключается в том, что системам не поручали заниматься кибератаками. Они должны были извлекать фотографии, статистику и другие открытые сведения, однако после блокировки запросов самостоятельно переходили к поиску способов обхода защиты и проверке сайтов на уязвимости. Ранее наиболее заметные случаи подобного поведения происходили во время специальных экспериментов, где ИИ изначально получал задачи, связанные с кибербезопасностью.