Израильские эксперты: мошенники научились подменять ответы служб поддержки ChatGPT и Gemini

Израильские специалисты по кибербезопасности выявили масштабную кампанию, в рамках которой злоумышленники добиваются появления поддельных телефонных номеров, адресов электронной почты и ссылок в ответах систем искусственного интеллекта. По сведениям Israel Defense, разработанная исследователями система обнаружила подобные атаки в отношении 374 известных брендов. Кампания получила название Dark Sourcery.

Злоумышленники массово размещают в интернете оптимизированные для поисковых систем и ИИ сообщения, PDF-файлы, отзывы и страницы поддельных служб поддержки. В результате ChatGPT, Google Gemini и Google AI Overview в некоторых случаях могут представить мошеннический номер телефона или фишинговую ссылку как контактные данные компании. Среди брендов, которые, по данным исследователей, подвергались таким атакам, называются Delta, Lufthansa, United Airlines, Emirates, Qatar Airways, Airbnb, TripAdvisor, Chase, Citi и Wells Fargo.

Например, пользователь, пытающийся изменить авиабилет или связаться с банком, может получить от ИИ номер поддельного колл-центра. Оператор такого центра предлагает выполнить нужную операцию, но затем требует данные банковской карты или взимает значительно более высокую плату. Исследователи подчеркивают, что речь идет не о взломе самих моделей: атакующие "отравляют" источники информации, к которым обращаются системы ИИ.

По данным Israel Defense, исследователи обращались к Google и OpenAI. Google указала, что подобная дезинформация не относится к сфере ее программы раскрытия уязвимостей, а OpenAI закрыла обращение, поскольку результаты не удавалось стабильно воспроизвести из-за изменчивости ответов языковых моделей.

Авторы исследования считают, что при поиске номеров служб поддержки, платежных страниц и других чувствительных данных пользователям следует дополнительно проверять информацию на официальных сайтах компаний.