Makine öğrenmesinde gradyan inişi optimizasyon algoritmaları üzerine

Bu çalışmada, makine öğrenmesinde önemli bir yere sahip olan gradyan tabanlı optimizasyon algoritmalarının yapısı, çeşitleri, avantaj ve dezavantajlarına yer verilmiştir. Bu amaçla 1. dereceden optimizasyon algoritmalarından literatürde en çok kullanılan; Stokastik Gradyan İniş, Momentum, Nesterov Momentum, AdaGrad, Adadelta, RMSProp, Adam ve Nadam algoritmaları ile 2. Dereceden optimizasyon algoritmalarından Newton, BFGS ve L-BFGS algoritmaları ele alınmıştır. Algoritmaların matematiksel yapıları incelenmiş ve karşılaştırmaları için üç farklı gerçek hayat problemi ele alınmıştır. Bu problemlerin yapay zeka modelleri ile çözümlerinde ResNet50, VGG19 ve lojistik regresyon modelleri kullanılmıştır. Elde edilen sonuçlar çizelge ve şekiller üzerinden değerlendirilmiştir. Algoritmaların performansları metriklerle ölçülerek, algoritmaların hem birbirlerine karşı performansları hem de modellerde ki başarımları tespit edilmiş ve sonuçları yorumlanmıştır.