Израильская компания предлагает 30 тысяч долларов тем, кто сумеет обмануть ИИ
Израильская компания Cato Networks, основанная предпринимателем Шломо Крамером, объявила конкурс с призовым фондом 30 тысяч долларов. Деньги получат трое первых участников, которым удастся обмануть защищенного ИИ-агента и заставить его отклониться от поставленной задачи.
Как сообщает "Глобс", конкурс стартовал 17 ноября в 15:30. Участникам предлагается внедрить вредоносные инструкции в материалы, с которыми работает автономный ИИ-агент, и добиться того, чтобы он выполнил действия, не предусмотренные первоначальным заданием.
Такой метод атаки называется prompt injection – внедрение инструкций. Его особенность заключается в том, что злоумышленник не обращается к искусственному интеллекту напрямую, а размещает команды в документах, на веб-страницах или в других данных, которые ИИ должен обработать. Если защита оказывается недостаточной, агент может принять эти команды за обязательные к исполнению.
Конкурс приурочен к презентации AgentSense – новой системы кибербезопасности, разработанной Cato Networks. По утверждению компании, система непрерывно отслеживает действия автономных ИИ-агентов и проверяет, соответствуют ли их решения и результаты первоначальным намерениям пользователя.
В отличие от традиционных решений, ориентированных на обнаружение известных способов атак, AgentSense анализирует, как недоверенный контент влияет на поведение искусственного интеллекта. Разработчики утверждают, что такой подход позволяет противодействовать в том числе ранее неизвестным уязвимостям.
ИИ-агент, которого предстоит обмануть участникам конкурса, защищен именно этой системой. Полученные результаты Cato Networks намерена использовать для проверки и совершенствования своего продукта.
"Предоставление автономии ИИ-агентам требует механизмов безопасности, способных предотвращать вредоносные действия", – заявил основатель и генеральный директор Cato Networks Шломо Крамер.
В последние годы автономные ИИ-агенты все чаще используются для выполнения сложных задач без постоянного контроля человека. Они могут самостоятельно искать информацию, анализировать документы и взаимодействовать с внешними сервисами. Однако расширение их возможностей создает новые угрозы: внедренные злоумышленниками инструкции способны заставить ИИ совершать действия, которых пользователь от него не требовал.
