Израильский стартап разработал платформу для тестирования ИИ-агентов

Компания Plurai разработала платформу, которая проверяет ИИ-агента на тысячах виртуальных клиентов, которые пытаются взломать защиту и нарушить его работу.

ИИ-агенты – это программы, которые не просто отвечают на вопросы, они действуют: оформляют возвраты, меняют бронирования, работают с данными клиентов. Каждый агент должен подчиняться десяткам правил, и ошибка стоит дорого. Проблема в том, что правила сталкиваются в непредсказуемых сочетаниях, и проверить все варианты вручную невозможно. "ИИ-системы ломаются, когда сталкиваются с трудностями, которых никто не предвидел", – говорит сооснователь и CEO Plurai Илан Кадар.

Решение пришло из мира беспилотных автомобилей: Кадар и его партнер, математик Элад Леви, прежде работали в компании Nexar над системами для Waymo. По словам Кадара, Waymo заслужила доверие клиентов, проехав в симуляции примерно в сто раз больше, чем по реальным дорогам. Plurai делает то же самое для агентов: строит цифрового двойника агента с базой знаний, инструментами и правилами компании и выпускает на него тысячи виртуальных клиентов, в том числе и таких, которые пытается его обмануть и обойти заложенные ограничения.

Основой платформы стали глубокие теоретические исследования. Сценарии тестирования собираются по "карте правил", где отмечено, какие правила обычно встречаются вместе. Так система подбирает сочетания нарастающей сложности, не перебирая все сочетания вариантов подряд. Авторы проверили этот подход: рейтинг моделей на таких синтетических тестах почти не уступил рейтингу на эталонном наборе, составленном людьми.

Другая идея, предложенная Plurai – это так называемый "маленький охранник", который в реальной работе проверяет каждый шаг агента. Чтобы обучить этого охранника, нужны тысячи размеченных примеров. Plurai получает их без людей: одна модель придумывает сложные случаи, а несколько других обсуждают, стоит ли эти случаи использовать для тестирования. По данным авторов, обученный таким методом охранник работает точнее больших коммерческих моделей и обходится намного дешевле.

Компания основана в 2025 году, в ней 12 сотрудников в Израиле и США. Посевной раунд привлек $13 миллионов.