Израильские ученые показали, как улучшить работу генераторов изображений без дорогого переобучения
Ученые Хайфского Техниона разработали программное обеспечение, которое позволяет за секунды "поправить" работу генератора изображений: удалить предубеждения и внести новую информацию.
Генеративные ИИ-модели сегодня суперпопулярны. Они создают и тексты, и звук, и изображения. DALLE-3, Midjourney, Stable Diffusion и множество других генераторов изображений по тексту справляются со своей работой настолько хорошо, что вызывают тревогу художников и дизайнеров за свои рабочие места.
Но проблем у таких генераторов тоже много. Ученые Хайфского Техниона сосредоточились на двух основных: первая получила название "предубеждение ИИ" (AI-Bias), вторая – запаздывание ИИ относительно обновляемой информационной картины мира.
Для решения этих проблем ученые предложили два дополнения, которые могут "поправить" основной генератор. Одно получило название TIME (Text-to-Image Model Editing), другое – ReFACT.
При обучении модели она просматривает огромное количество изображений. В результате она получает как полезный, так и не слишком полезный опыт, как нечто должно выглядеть. ИИ-модель обязательно исходит из таких предположений "по умолчанию" при создании картинки.
Соавтор работы Адас Оргад говорит: "Некоторые из этих предположений полезны, например, "небо голубое", и они позволяют нам получать красивые изображения даже при коротком и простом описании. С другой стороны, модель иногда запоминает неверные предположения о мире и воспроизводит социальные предубеждения. Например, если мы попросим у Stable Diffusion изображение "генерального директора", мы получим фотографии женщин только в 4% случаев".
Другой момент, на который обращают внимание ученые – изменение картины мира. Например, если мы попросим тот же Stable Diffusion нарисовать "президента США", он, скорее всего, нарисует портрет Дональда Трампа, потому что в его данных изображений Джо Байдена гораздо меньше.
ИИ-модели не обновляются после того, как они были обучены и не сохраняют новые данные, в том числе сообщаемые им пользователями. Чтобы добавить новую информацию или устранить предубеждение нужно переобучить всю модель. Это довольно дорого.
Решением этих проблем и занялись в Технионе. Метод, названный TIME, позволяет быстро и эффективно корректировать предвзятости и предположения по умолчанию, которые есть у модели. TIME меняет около 2% параметров модели. Весь процесс "доводки" по методу TIME занимает менее секунды. Это позволяет "удалить" из модели, например, изображения защищенные авторским правом. Другой метод называется ReFACT. Он изменяет совсем немного: только 0,25% параметров.
Оба метода работают сходным образом. Например, если нужно откорректировать имя президента США, программа-корректировщик передает "источник", на котором модель основывает неявные предположения ("Дональд Трамп"), и "цель", содержащую новые характеристики ("Джо Байден"). После этого ИИ-модель меняет лишь небольшую часть параметров, чтобы в следующий раз учесть, как правильно ответить на вопрос, кто сейчас президент США.