Автор:  Бишук А.Ю., Никитина М.А., Бахтеев О.Ю.
Название:  Спектральные характеристики параметров автокодировщика как векторное представление данных
Выпуск:  120
Рубрика:  Системный анализ
Год:  2026
Библиография:  Бишук А.Ю., Никитина М.А., Бахтеев О.Ю. Спектральные характеристики параметров автокодировщика как векторное представление данных // Управление большими системами. - 2026. - Вып. 120. - С.51-83.
Ключевые слова:  машинное обучение, нейронные сети, векторное представление, автокодировщик, спектральные характеристики, порождающие модели
Ключевые слова (англ.):  machine learning, neural networks, vector representation, autoencoder, spectral characteristics, generative models
Аннотация:  Исследуется взаимосвязь между параметрами моделей автокодировщиков и статистическими свойствами данных, на которых они обучались. Под автокодировщиками понимаются модели с архитектурой "кодировщик -- декодировщик", обучаемые восстанавливать входные данные через сжатое латентное представление. Вводится предположение, что спектральные характеристики параметров модели могут рассматриваться как плотное векторное представление соответствующей выборки. Для проверки этой гипотезы проводится теоретическое и экспериментальное исследование, в котором формируется векторное представление на основе спектральных характеристик матриц параметров автокодировщика. Теоретический анализ показывает, что сингулярные числа матриц параметров моделей связаны с собственными значениями ковариационной матрицы обучающих данных, что обеспечивает передачу информации между пространством данных и пространством параметров. Экспериментальные результаты на наборах CIFAR-10 и FashionMNIST подтверждают, что полученные векторные представления позволяют с высокой точностью различать модели, обученные на различных подмножествах данных, без привлечения сложных алгоритмов формирования векторов и использования исходных выборок. Эти результаты свидетельствуют о том, что спектральные характеристики параметров обученных автокодировщиков могут рассматриваться как представления выборок.
Аннотация (англ.):  This paper examines the relationship between the parameters of autoencoder models and the statistical properties of the data on which they are trained. Autoencoders are defined as models with an encoder-decoder architecture, trained to reconstruct input data through a compressed latent representation. It is proposed that the model parameters can be viewed as a dense vector representation of the corresponding sample. To test this hypothesis, a theoretical and experimental study is conducted in which a vector representation is formed based on the spectral characteristics of the autoencoder parameter matrices. Theoretical analysis shows that the singular values of the model parameter matrices are related to the eigenvalues of the covariance matrix of the training data, ensuring the transfer of information between the data space and the parameter space. Experimental results on the CIFAR-10 and FashionMNIST datasets confirm that the resulting vector representations allow for a high degree of accuracy in distinguishing between models trained on different data subsets, without resorting to complex vector generation algorithms or using the original samples. These results suggest that the parameters of trained autoencoders can be viewed as sample representations.

в формате PDF

Просмотров: 59, загрузок: 39, за месяц: 31.

Назад