Нейросеть научилась описывать мир, ни разу его не увидев
Исследователи Тель-Авивского и Стэнфордского университетов обучили модель на данных, которые она сама для себя создала, и модель научилась предсказывать тексты, звуки и ДНК.
Построение практически всех моделей искусственного интеллекта начинается одинаково: модели дают огромные массивы реальных данных – книги, сайты, изображения, – и она учится находить в них закономерности. Авторы новой работы, размещенной на сервере препринтов arXiv, задались другим вопросом: может ли модель приобрести общие способности к обучению, если все данные для тренировки порождены внутри самого процесса обучения?
Схема обучения устроена как игра двух моделей, стартующих с нуля. Первая, генератор, пишет короткие программы, которые выдают последовательности символов. Вторая, ученик, учится предсказывать следующий символ. Генератор получает обратную связь о том, насколько его задания полезны, и постепенно подбирает упражнения на границе текущих возможностей ученика.
Главная проверка – перенос. Ни одна из моделей не видела естественных данных, но после тренировки ученика испытали на текстах, изображениях, звуках, музыке, программном коде и последовательностях ДНК. С ростом вычислительных затрат качество предсказания стабильно улучшалось во всех этих областях. Модель также научилась выводить правила из примеров прямо во время тестирования. В заданиях, которые генератор создавал для ученика, сами собой возникли знакомые математические закономерности, в том числе числа Фибоначчи. А предобучение новым методом ускоряло последующее обучение модели на реальных данных.
Авторы подчеркивают: фактам о мире так не научить, для этого нужен сам мир. Но метод может сделать обучение на реальных данных намного эффективнее.
"Долгие годы считалось, что для того чтобы модель научилась чему-то полезному, ее сначала нужно "накормить" огромным количеством реальных данных. Мы опровергли это фундаментальное допущение", – говорит руководитель работы Йоав Левин.
Новой информации о мире модель не получает, все нужное уже заложено в правилах игры, как теоремы заложены в аксиомах. Но чтобы вывести теорему, нужно долго вычислять, и в модели оседают как раз навыки таких вычислений.