Автор:  Мирза М.А.
Название:  Исследование влияния выбора начального шума на генерацию изображений с помощью диффузионной вероятностной модели
Выпуск:  118
Рубрика:  Программы и системы моделирования объектов, средств и систем управления
Год:  2025
Библиография:  Мирза М.А. Исследование влияния выбора начального шума на генерацию изображений с помощью диффузионной вероятностной модели // Управление большими системами. - 2025. - Вып. 118. - С.407-426.
Ключевые слова:  генерация изображений, диффузионно-вероятностные модели, генеративные модели
Ключевые слова (англ.):  image generation, diffusion probabilistic models, generative models
Аннотация:  На данный момент ведущим подходом для решения задачи генерации изображений на основе текстового запроса являются диффузионные вероятностные модели, поскольку они позволяют генерировать высококачественные и реалистичные изображения. Одним из ключевых свойств диффузионных моделей является способность создавать разнообразные изображения по одному и тому же текстовому запросу благодаря использованию различных вариантов начального шума. В данной статье выявляются статистически значимые закономерности и корреляции между выбором начального шума, категорией и сложностью текстового запроса, с одной стороны, и итоговыми оценками качества получаемых изображений — с другой. Для этого были проведены вычислительные эксперименты по генерации изображений на основе текстовых запросов из набора данных PartiPrompts с заданием различных значений начального шума и выполнена оценка качества полученных изображений, сгенерированных с использованием модели Stable Diffusion v2.0. Для оценки качества сгенерированных изображений использовались метрики CLIPScore, ImageReward и BRISQUE, отражающие различные аспекты восприятия и соответствия сгенерированных изображений исходным запросам. Результаты демонстрируют сильное и воспроизводимое влияние конкретных вариантов начального шума на все метрики качества изображений, причем это влияние сохраняется для запросов имеющих различную семантику. Проведенный анализ служит фундаментом для разработки методов оценки и выбора оптимального начального шума, для генерации высококачественных изображений с помощью диффузионных моделей.
Аннотация (англ.):  Currently, the leading approach for text-to-image generation is based on diffusion probabilistic models, as they enable the generation of high-quality and realistic images. A key property of diffusion models is their ability to produce diverse images from the same text prompt by utilizing different initial noise seeds. This paper identifies statistically significant patterns and correlations between the choice of initial noise, the category and complexity of the text prompt, on one hand, and the final image quality metrics, on the other. To achieve this, computational experiments were conducted to generate images based on prompts from the PartiPrompts dataset using different initial noise values. The generated images were produced using the Stable Diffusion v2.0 model and evaluated using the CLIPScore, ImageReward, and BRISQUE metrics, which reflect different aspects of image perception and alignment with the original prompts. The results demonstrate a strong and reproducible influence of specific initial noise seeds on all image quality metrics. This influence persists across prompts with varying semantics. The conducted analysis serves as a foundation for developing methods to assess and select the optimal initial noise for generating high-quality images using diffusion models.

в формате PDF

Просмотров: 37, загрузок: 22, за месяц: 18.

Назад