Сбер представила нейросеть, которая создает изображения по описанию на русском языке
Использовать нейросеть ruDALL-E предлагается для создания дизайна интерьера, стоковых изображений или векторных иллюстраций, материалов для рекламы, копирайтинга, архитектурного и промышленного дизайна. Испытать ruDALL-E уже можно на ее сайте.
Нейросеть одновременно обучается на картинках и текстах и позволяет создавать неограниченное число новых изображений по заданному описанию, говорится в сообщении Сбера. Модель существует в двух вариантах:
- ruDALL-E XL – содержит 1,3 млрд параметров;
- ruDALL-E 12B – 12 млрд параметров.
Модель ruDALL-E XL доступна бесплатно, ее можно загрузить с сервиса Github. Обе модели в ближайшее время будут доступны на платформе ML Space в хабе предобученных моделей и датасетов DataHub от SberCloud.
Создание изображений при помощи технологии происходит в три этапа:
- Первая нейросеть принимает текст на вход и генерирует заданное число картинок.
- Вторая выбирает наиболее удачные из них и те, которые больше всего соответствуют описанию
- Третья увеличивает картинки в размере без потери качества. Таким образом можно получить неограниченное количество новых изображений, подходящих под указанные характеристики.
Архитектура модели DALL-E для английского языка была впервые представлена OpenAI в 2021 году, однако она так и не была полностью выложена в открытый доступ. На основе публикации OpenAI команды SberDevices и Sber AI при помощи SberCloud воспроизвели код и начали обучать нейросеть на платформе ML Space на базе суперкомпьютера Кристофари. Таким образом получился аналогичный результат для русского языка.
Обучение заняло 23 тыс. GPU-часов на массиве данных из 120 млн пар текст-изображение. Проект по обучению ruDALL-E, как сообщается, стал самым крупным нейросетевым вычислительным проектом в России и СНГ.
