Stokastik dinamik optimizasyon problemleri için Derin Q-Öğrenme yaklaşımları

Bu tezde, yüksek boyutlu iki farklı optimizasyon probleminin derin pekiştirmeli öğrenme algoritmaları ile çözümüne odaklanılmıştır. Ele alınan ilk problem, raf ömrü kısa ürünlerin dinamik fiyatlandırma ve stok kontrol problemi, ikincisi ise sınırlı kapasiteli kuyruğa sahip tek makinalı bir üretim sisteminde kabul kontrol ve çizelgeleme problemidir. Her iki problem de stokastik bir ortamda dinamik kararlar almayı gerektirmektedir. İlk problemde ürünün raf ömründeki ve ikinci problemde heterojen iş sınıfı sayısındaki artış, problem boyutunu üssel olarak arttırmaktadır. Stokastik bir ortamda durum uzayı boyutu yüksek bir problemin çözümü yaklaşık yöntemler gerektirmektedir. Bu çalışmada, benzer çözüm zorluklarına sahip iki farklı problem, kesikli karar uzaylarında derin Q öğrenme (DQL) algoritması ile çözülmektedir. Problemlere özgü değişiklikler içeren ve pDQL olarak isimlendirilen bir çözüm yaklaşımı önerilmektedir. Önerilen yaklaşım, ilk problem için stokastik çevre karşısında dayanıklı çözümler üretmektedir. İkinci problemde ise algoritmanın yapısından kaynaklanan pozitif yanlılığı önlemeye destek olmaktadır. Sonuç olarak, önerilen yaklaşım, DQL algoritmasına kıyasla daha kısa sürede daha iyi sonuçlar bulabilmektedir. pDQL, ayrıca dinamik programlama (DP) algoritması ve çeşitli sezgisel yaklaşımlar ile karşılaştırılmaktadır. İlk problemde, pDQL algoritması tarafından bulunan sonuçlar DP sonuçlarına ortalama %96.7 yakın ve DQL algoritmasından %8.9 daha iyidir. İkinci problem için, pDQL algoritması DP sonuçlarına ortalama %94.8 yakın ve DQL algoritmasından ortalama %2.9 daha iyidir.