Solving perishable inventory control problems in a competitive environment using reinforcement learning

Rekabetçi bir ortamda bozulabilir envanter kontrol problemi, birden fazla oyuncunun kendi envanter sistemlerini yöneterek diğer oyuncularla rekabet ettiği problemdir. Her periyotta yenileme kararları ile karmaşık bir ardışık karar alma gerektiren bozulabilir envanter kontrol problemi, algoritmik ve zaman karmaşıklığı nedeniyle dinamik programlama (DP) tabanlı denge algoritmalarıyla verimli bir şekilde çözülemez. Bu nedenle, rekabetçi ortamda problemi çözmek için yaklaşıklık teknikleri kullanılarak algoritmalar geliştirilir. Bildiğimiz kadarıyla bu tez, rekabetçi bir ortamda bozulabilir envanter kontrol problemini Pekiştirmeli Öğrenme (PÖ) algoritmaları ile çözen ilk çalışmadır. Bu tezde, rekabetçi bir ortamda bozulabilir envanter kontrol problemi, sabit ikmal ve dinamik ikmal durumlarına karşı analiz edilmiş ve her iki durum için de PÖ algoritması ile denge çözümleri elde edilmiştir. DP tabanlı denge çözümleri, çoklu aktör dünyasındaki tekniklerden biri olan Nash-Q Öğrenmesi kullanılarak uygulanan algoritmalar ile yaklaşık olarak hesaplanmaktadır. Rekabetçi bir ortamda her iki durum için de farklı parametrelere sahip deneysel bir tasarım hazırlanmaktadır. Testler sonucunda, her iki durum için geliştirilen Nash Q-Öğrenmesi algoritması, DP tabanlı algoritmanın çalışma süresinden önemli ölçüde daha kısa bir sürede DP tabanlı denge çözümlerine yakınsar. Ayrıca, Nash Q-Öğrenmesi algoritmasıyla eğitilen ajanların rekabetçi ortamda diğer ajanlara kıyasla daha yüksek bir kazanma oranına sahip olduğu gözlemlenmektedir. Öğrenme hızı ve yordamının rekabetçi avantaj sağladığı durumlar gözlenmiştir.