Optimizasyon ve özelde Gradient yöntemi

Bu çalışmada özellikle sinir ağları ve makine öğrenmesi için çok gerekli ve önemli olan optimizasyon problemleri incelenmiştir. Bu inceleme iki aşamada yapılmıştır. Birinci aşamada mevcut olan bir optimizasyon probleminin matematiksel olarak bir fonksiyon ile ifade edildiği takdirde, verilen bu fonksiyonun kritik noktaları ve bu kritik noktaların tabiatları arasındaki ilişki netleştirilip bir kritik noktanın maksimum nokta ya da minimum nokta olabilmesi için (hatta eyer noktası olabilmesi için) gerekli olan koşullar ifade edilip kanıtlanmıştır. İkinci aşama olarak ise uygulamaya yönelik çalışmalara (örneklere) yer verilmiştir. Bu araştırmada analitik çözüm yönteminin yanı sıra iki farklı optimizasyon algoritması ifade edilip incelenmiştir. Bu algoritmalar Tam Gradient Yöntemi ve Newton Yöntemidir.