An analysis on dimensionality and architecture on generative models

Derin üretici modeller, güçlü bir makine öğrenme modeli sınıfıdır. Ancak eğitim sürecini yürütmek için bile önemli bir hesaplama gücü ve teknik bilgi gerekmektedir. Hiperparametreleri aramak dahi yüksek bir hesaplama maliyetini gerektirir. Dahası, üretici modelleri değerlendirmek için hala devam eden araştırmalar bulunmakta ve sağlam ve tutarlı bir metrik eksikliği nedeniyle üretici model mimarileri ve algoritmaları arasında sınırlı karşılaştırmalar bulunmaktadır. Bu çalışmada iki tür üretici model mi- marisini -Üretken Karşıt Ağlar ve Gerçel Değerli Hacim Korumayan akış modelleri- sentetik veri kümeleri ve iyi bilinen bir görüntü veri kümesi olan MNIST'i kullanarak karşılaştırmaya çalıştık. Veri boyutluluğu ve değişkenliğine göre veri yakalama yetenek- lerini değerlendirdik. Model karmaşıklığının -modelin parametre sayısı olarak ölçüldüğü durumda- etkisini incelemek için Minimum Tanım Uzunluğu (MDL) tabanlı bir metrik öneriyoruz. Tahmini Kullback-Leibler (KL) sapma ve önerilen MDL tabanlı metrik sonuçları sunuyoruz. Bulgularımız, NVP modellerinin, daha düşük boyutlu veri kümeleri için GAN'larla karşılaştırıldığında daha az parametre kullanarak daha fazla veri değişkenliği kod- lama yeteneğine sahip olduğunu göstermektedir. Önerilen MDL tabanlı metrik, veri değişkenliği ve boyutluluğunu dikkate alarak belirli bir veri kümesi için model karmaşıklığı açısından uygun mimariyi seçmeyi kolaylaştırır.