ТРИЗ, TRIZ, АРИЗ, ARIZ, МОДИФИКАТОР, MODIFIER, Триколор, Спутниковое ТВ.

Imagen беспрецедентный фотореализм × глубокий уровень понимания языка Google Research, команда Brain.

Мы представляем Imagen, модель распространения текста в изображение с беспрецедентной степенью фотореализма и глубоким уровнем понимания языка. Imagen опирается на мощь больших языковых моделей преобразования в понимании текста и опирается на силу моделей диффузии в высокоточном создании изображений.

Наше ключевое открытие заключается в том, что универсальные большие языковые модели (например, T5), предварительно обученные на текстовых корпусах, на удивление эффективны при кодировании текста для синтеза изображений: увеличение размера языковой модели в Imagen значительно повышает как точность выборки, так и выравнивание изображения и текста. больше, чем увеличение размера модели диффузии изображения.

Imagen достигает нового современного балла FID 7,27 в наборе данных COCO, даже не обучаясь на COCO, и люди-оценщики считают, что образцы Imagen находятся на одном уровне с самими данными COCO в выравнивании изображения и текста.

Для более глубокой оценки моделей преобразования текста в изображение мы представляем DrawBench, всеобъемлющий и сложный эталонный тест для моделей преобразования текста в изображение.

С помощью DrawBench мы сравниваем Imagen с последними методами, включая VQ-GAN+CLIP, модели скрытой диффузии и DALL-E 2, и обнаруживаем, что оценщики-люди предпочитают Imagen другим моделям в параллельных сравнениях, как с точки зрения качества выборки и выравнивание изображения и текста.

Imagen — это система искусственного интеллекта, которая создает фотореалистичные изображения из вводимого текста.

Визуализация Imagen. Imagen использует большой замороженный кодировщик T5-XXL для кодирования входного текста во встраивание. Модель условной диффузии отображает встраивание текста в изображение размером 64×64. Imagen также использует текстовые модели диффузии сверхвысокого разрешения для увеличения разрешения изображения до 64×64→256×256 и 256×256→1024×1024.

Модель большого предварительно обученного языка × Модель каскадной диффузии

глубокое понимание текста → фотореалистичная генерация

Основные моменты исследования Imagen

Мы показываем, что большие предварительно обученные кодировщики замороженного текста очень эффективны для задачи преобразования текста в изображение.

Мы показываем, что масштабирование размера предварительно обученного кодировщика текста более важно, чем масштабирование размера диффузионной модели.

Мы представляем новый пороговый диффузионный сэмплер, который позволяет использовать очень большие весовые ориентиры без классификатора.

Мы представляем новую эффективную архитектуру U-Net, которая более эффективна с точки зрения вычислений, памяти и быстрее сходится.

На COCO мы достигаем нового современного COCO FID 7,27; и оценщики-люди считают, что образцы Imagen не уступают эталонным изображениям с точки зрения выравнивания изображения и текста.

DrawBench: новый сложный тест

Параллельная оценка человека.

Систематически проверяйте: композиционность, кардинальность, пространственные отношения, длинный текст, редкие слова и сложные подсказки. Оценщики-люди решительно предпочитают Imagen другим методам как с точки зрения выравнивания изображения и текста, так и с точки зрения точности изображения.

Современный текст в изображение

Диффузионные модели добились большого успеха в генерации изображений [1, 2, 3, 4].

Авторегрессионные модели [5], GAN [6, 7] VQ-VAE Transformer, основанные на методах [8, 9], добились значительного прогресса в исследованиях преобразования текста в изображение.

Совсем недавно модели Diffusion были исследованы для генерации текста в изображение [10, 11], включая параллельную работу DALL-E 2 [12]. DALL-E 2 использует предварительную диффузию для скрытых CLIP и модели каскадной диффузии для создания изображений с высоким разрешением 1024×1024.

Мы считаем, что Imagen намного проще, так как Imagen не требует изучения латентного априорного анализа, но при этом достигает лучших результатов как в MS-COCO FID, так и в параллельной оценке человеком на DrawBench.

GLIDE [10] также использует каскадные модели диффузии для преобразования текста в изображение, но Imagen использует более крупные предварительно обученные замороженные языковые модели, которые, как мы обнаружили, играют важную роль как для точности изображения, так и для выравнивания изображения и текста. XMC-GAN [7] также использует BERT в качестве текстового кодировщика, но мы масштабируем текстовые кодировщики гораздо большего размера и демонстрируем их эффективность. Использование каскадных моделей диффузии также популярно в литературе [13, 14] и успешно используется в моделях диффузии для создания изображений с высоким разрешением [2, 3].

Наконец, Imagen является частью серии работ по преобразованию текста в изображение в Google Research, включая родственную модель Parti.

Ограничения и влияние на общество

Существует несколько этических проблем, с которыми сталкиваются исследования преобразования текста в изображение в целом. Мы предлагаем более подробное исследование этих проблем в нашей статье и предлагаем краткую версию здесь.

Во-первых, последующие приложения моделей преобразования текста в изображение разнообразны и могут сложным образом влиять на общество.

Потенциальные риски неправильного использования вызывают опасения в отношении ответственного открытого исходного кода кода и демонстраций.

В настоящее время мы решили не выпускать код или публичную демонстрацию. В будущей работе мы изучим структуру ответственной экстернализации, которая уравновешивает ценность внешнего аудита с рисками неограниченного открытого доступа.

Во-вторых, требования к данным для моделей преобразования текста в изображение вынуждают исследователей в значительной степени полагаться на большие, в основном некурируемые наборы данных, извлеченные из Интернета.

Хотя этот подход позволил в последние годы добиться быстрого прогресса в алгоритмах, наборы данных такого рода часто отражают социальные стереотипы, репрессивные точки зрения и уничижительные или иным образом вредные ассоциации с маргинализованными группами идентичности. Хотя подмножество наших обучающих данных было отфильтровано для удаления шума и нежелательного контента, такого как порнографические изображения и оскорбительные выражения, мы также использовали набор данных LAION-400M, который, как известно, содержит широкий спектр неприемлемого контента, включая порнографические изображения, расистские оскорбления и вредные социальные стереотипы. Imagen полагается на текстовые кодировщики, обученные на некурируемых данных веб-масштаба, и, таким образом, наследует социальные предубеждения и ограничения больших языковых моделей.

Таким образом, существует риск того, что Imagen закодировал вредные стереотипы и представления, что определяет наше решение не выпускать Imagen для публичного использования без дополнительных мер безопасности.

Наконец, в то время как была проведена обширная работа по аудиту моделей преобразования изображения в текст и маркировки изображений для форм социальной предвзятости, было сравнительно меньше работы над методами оценки социальной предвзятости для моделей преобразования текста в изображение. Концептуальный словарь потенциального вреда моделей преобразования текста в изображение и установленные метрики оценки являются важным компонентом разработки ответственных практик выпуска моделей.

Хотя мы оставляем углубленный эмпирический анализ социальных и культурных предубеждений на будущее, наши небольшие внутренние оценки выявили несколько ограничений, которые определяют наше решение не выпускать нашу модель в настоящее время.

Imagen может столкнуться с опасностью отказа от режимов распределения данных, что может еще больше усугубить социальные последствия предвзятости набора данных.

Imagen имеет серьезные ограничения при создании изображений, изображающих людей.

Наши человеческие оценки показали, что Imagen получает значительно более высокие показатели предпочтения при оценке изображений, которые не изображают людей, что указывает на ухудшение точности изображения.

Предварительная оценка также предполагает, что Imagen кодирует несколько социальных предубеждений и стереотипов, в том числе общую предвзятость в отношении создания изображений людей с более светлым оттенком кожи и тенденцию к тому, чтобы изображения, изображающие разные профессии, соответствовали западным гендерным стереотипам.

Наконец, даже когда мы фокусируем внимание поколений на людях, наш предварительный анализ показывает, что Imagen кодирует ряд социальных и культурных предубеждений при создании изображений действий, событий и объектов.

Мы стремимся добиться прогресса в решении некоторых из этих открытых проблем и ограничений в будущей работе. Imagen
воображать · иллюстрировать · вдохновлять

Авторы
* Равный вклад. † Основной вклад.

Читван Сахариа*, Уильям Чан*, Саурабх Саксена†, Лала Ли†, Джей Ванг†, Эмили Дентон, Сейед Камьяр Сейед Гасемипур, Бурку Карагол Аян, С. Сара Махдави, Рафа Гонтихо Лопес, Тим Салиманс, Джонатан Хо†, Дэвид Флит †, Мохаммад Норузи*

Специальная благодарность

Мы благодарим Бена Пула за рецензирование нашей рукописи, ранние обсуждения и многочисленные полезные комментарии и предложения на протяжении всего проекта. Особая благодарность Кэти Мейер-Хеллстерн, Остину Таранго и Саре Ласло за помощь в внедрении важных ответственных методов искусственного интеллекта в этот проект.

Мы ценим ценные отзывы и поддержку от Элизабет Адкисон, Зубина Гахрамани, Джеффа Дина, Йонгхуи Ву и Эли Коллинза.

Мы благодарны Тому Смоллу за разработку водяного знака Imagen. Мы благодарим Джейсона Болдриджа, Хана Чжана и Кевина Мерфи за первоначальные обсуждения и отзывы.

Мы признательны Фреду Алкоберу, Хибаку Али, Мариан Кроук, Аарону Донсбаху, Талси Доши, Тоджу Дьюку, Дугласу Эку, Джейсону Фрейденфельдсу, Брайану Габриэлю, Молли ФитцМоррис, Дэвиду Ха, Филипу Пархэму, Лоре Пирс, Эвану Рапопорту, Лорен за их усердную работу и поддержку.

Скелли, Джонни Соракеру, Негару Ростамзаде, Виджаю Васудевану, Трис Варкентин, Джереми Вайнштейну и Хью Уильямсу за советы по проекту и помощь в процессе публикации.

Мы благодарим Виктора Гомеса и Эрику Морейру за их постоянную и важную помощь в распределении ресурсов ТПУ. Мы также благодарим Шекуфеха Азизи, Харриса Чана, Криса А. Ли и Ника Ма за то, что они добровольно посвятили много времени тестированию DrawBench.

Мы благодарим Aditya Ramesh, Prafulla Dhariwal и Alex Nichol за разрешение использовать образцы DALL-E 2 и предоставление нам образцов GLIDE. Мы благодарны Мэтью Джонсону и Рою Фростигу за запуск проекта JAX и всей команде JAX за создание такой фантастической системы для высокопроизводительных исследований в области машинного обучения. Особая благодарность Durk Kingma, Jascha Sohl-Dickstein, Lucas Theis и команде Toronto Brain за полезные обсуждения и потраченное время на визуализацию!

https://imagen.research.google/