В качестве итогового задания модуля было принято решение об обучении генеративной нейросети на основе работ Михаила Александровича Врубеля
Творчество Михаила Александровича Врубеля является знаковым в истории искусства и оказало на меня значительное влияние при первом знакомстве с его работами. Чистое любопытство привело меня к идее получить больше изображений в его уникальном стиле, включая сюжеты, которые никогда не были отражены в его картинах.
Демон поверженный | Михаил Александрович Врубель | 1902
Нейросеть была обучена на основе базы данных, собранной из 24 работ художника, кадрированных в масштабе 1024x1024.
Это была моя вторая попытка обучения нейросети. Первой стала попытка обучения нейросети на основе 150 работ другого художника, однако результат оказался неудовлетворительным, и мне захотелось узнать, как нейросеть уловит характер изображения художника в условиях небольшого датасета.
Шестикрылый серафим (1904), Сирень (1900), Жемчужина (1904) | Богатырь (1889), Пан (1899), Девочка на фоне персидского ковра (1886) | Михаил Александрович Врубель
_00 | Описание применения генеративной модели
Обучение производилось с использованием среды выполнения Google Collab.
Для начала я использовала модели искусственного интеллекта BLIP для генерации описаний изображений, который поможет обучить мою модель на парных данных: изображениях и соответствующих текстовых подписях.
В качестве модели генерации изображений был выбран Stable Diffusion XL c добавлением методов DreamBooth и метода LoRA.
Другие нейросетевые модели в проекте не использовались.
_01 | Генерация портретов
Характерные черты прослеживаются у Михаила Александровича Врубеля в изображении портрета человека. К ним относятся:
- Выразительные глаза
- Утонченные черты лица
- Четкие мозаичные мазки
Лирические образы становятся центром работ художника, поэтому, чтобы протестировать качество генераций нейросети, я решила начать именно с портрета.
prompt = «painting in VRUBEL style, portrait of a young man, blue colors, detailed, high quality»
Получившийся результат действительно оказался похож на стиль Михаила Врубеля. Нейросеть повторила акцентированные глаза и скопировала характер мазков, однако не попала в характер материалов и сделала мазки полупрозрачными акварельными, а не густыми, как на оригинальных изображениях, что прослеживается во всех генерациях.
Вероятно из-за небольшой выборки изображений, нейросеть воспроизводила одинаковые черты лица.
prompt = «painting in VRUBEL style, portrait of a young woman, blue colors, detailed, high quality»
Также я провела серию генераций, сосредоточенных на женском портрете. Нейросеть все еще использовала одинаковые черты лица, однако очень характерные для работ художника, что можно заметить по сопоставлению ниже. Вдобавок я заметила, что нейросети тяжело воспроизводить дорогое убранство и узоры, которые свойственны работам Михаила Врубеля.
Генерация || Гадалка | Михаил Александрович Врубель | 1895
Также была проведена серия генераций изображений человеческого глаза. Однако в этих работах авторский стиль практически утратился. Вероятно, для успешного решения данной задачи нейросети требовалось дополнительное обучение на кадрированных изображениях глаз, так как модель не в состоянии сохранять стиль в отрыве от изображения лица.
prompt = «painting in VRUBEL style, an eye, blue shades detailed, high quality»
_02 | Повторение сюжетов
Далее я хотела попробовать воспроизвести характерные сюжеты для Михаила Врубеля.
В качестве референсов я выбрала 3 работы и постаралась сгенерировать нечто близкое к оригиналу: "Шестикрылый серафим" (1904), "Демон поверженный" (1902), "Девочка на фоне персидского ковра" (1886) .
prompt = «painting in VRUBEL style, Seraphim, detailed, high quality»
Так я создала серию генераций, желая сравнить их с картиной «Шестикрылый серафим» (1904). В данном случае промпт оказался недостаточно точным и лишь требовал воспроизведения серафимов, которые получились слишком нежными по сравнению с оригиналом.
В дополнение, для достижения разнообразия, я попросила изменить внешность серафима, чтобы внести коррективы в однородность внешних черт генераций.
prompt = «painting in VRUBEL style, blonde Seraphim in flowers, blue colors, dark colors, detailed, high quality»
Следующий промпт чуть более точно описывал желаемый результат, референсом была картина "Демон поверженный" (1902). Именно в процессе экспериментов с этими генерациями появилась невероятная обложка данного проекта, на которой нейросеть решила добавить герою темные очки.
prompt = «painting in VRUBEL style, a young man is lying on peacock feathers, covering his forehead with his hand, long hair, dark eyes, blue shades, detailed, high quality»
prompt = «painting in VRUBEL style, An emaciated young man lies on golden peacock feathers, covering his face with his hand, full height, side view, long hair, dark eyes, blue shades, detailed»
Для описания картины "Девочка на фоне персидского ковра" (1886) также был составлен короткий и простой промпт. Тем не менее, нейросеть справилась с задачей. Вероятно, это произошло из-за того, что в выборке представлено единственное изображение ребенка, на которое она могла опираться.
В результате получились генерации внешне очень похожей девочки.
prompt = «painting in VRUBEL style, the little gypsy girl, high quality»
_03 | Пейзажные изображения
Пейзажные изображения никогда не были центром творчества Михаила Александровича Врубеля, однако их элементы присутствуют в его картинах в качестве окружающей персонажей среды.
Поэтому я решила посвятить несколько серий генераций тому, как могли бы выглядеть в исполнении художника пейзажные этюды.
prompt = «painting in VRUBEL style, beautiful landscape, trees, detailed, high quality»
prompt = «painting in VRUBEL style, landscape in blue, flowers, moonlight, detailed, high quality»
