Исследователи проверяют надежность ИИ, играя в судоку

Инструменты искусственного интеллекта, такие как ChatGPT от OpenAI и Gemini от Google, сегодня умеют многое: от написания текстов и советов по личной жизни до составления писем для отказа от встреч и даже создания научных статей. Но способны ли они справиться с обычной головоломкой вроде судоку. Ответ на этот вопрос попыталась найти команда ученых из Университета Колорадо в Боулдере. Они разработали около 2300 уникальных судоку, где нужно было заполнить сетку числами по определенным правилам, и поручили нескольким ИИ-системам решить их.

Результаты оказались противоречивыми. Хотя некоторые модели успешно справлялись с простыми задачами, даже лучшие из них не могли внятно объяснить ход своих решений. Объяснения зачастую были неточными, запутанными или даже странными. Исследование опубликовано в журнале Findings of the Association for Computational Linguistics.

Ученые не стремились просто научить ИИ разгадывать головоломки. Их цель – использовать логические задачи вроде судоку, чтобы лучше понять, как именно мыслят современные языковые модели. Авторы отметили, что такие головоломки затрагивают глубинные аспекты человеческого мышления. Чтобы успешно решить судоку, необходимо не просто угадывать, а применять строго определенные логические правила – например, не ставить одну и ту же цифру дважды в пределах строки или столбца. При этом многие современные языковые модели не способны рассуждать таким образом. Это связано с тем, как они устроены.

Сначала ученые разработали серию судоку разной степени сложности, используя сетки 6×6 – упрощенный вариант классических головоломок 9×9, которые чаще всего встречаются в интернете. Затем они предложили эти задачи различным языковым моделям, включая предварительную версию модели o1 от OpenAI, которая на тот момент (в 2023 году) считалась одной из самых передовых среди LLM.

Лучше всех справилась именно модель o1 – она правильно решила около 65% головоломок. После этого исследователи попросили ИИ объяснить, как он пришел к своим решениям. И вот тут началось самое интересное. Один из ярких примеров: во время диалога по поводу решения судоку одна из моделей внезапно вместо объяснения выдала прогноз погоды – и никто так и не понял, почему.

Ученые планируют создать собственную систему искусственного интеллекта, способную не только решать сложные головоломки, но и четко объяснять ход своих рассуждений. В качестве первого шага они выбрали другой тип логических задач – хитори. Как и судоку, это числовые головоломки, основанные на заполнении сетки по определенным правилам.