Deneyim tekrarlı pekiştirmeli öğrenme yöntemlerinin otonom park probleminde kıyaslanması

İçinde bulunduğumuz çağda gerek yolcu taşımacılığı gerekse yük taşımacılığı büyük önem taşımaktadır. Araçların hedef noktaya ulaştıklarında park etmeleri hem insanlar için hem otomatik park sistemleri için oldukça zorlayıcı bir görevdir. Geleneksel kontrol yöntemlerinin yetersiz kaldığı bu görev için yapay zekâ tabanlı yöntemlerden yardım alınmaktadır. Bu tarz problemlerin çözümü için yaygın olarak kullanılan yöntem sezgisel arama algoritmaları ile yol planlayıp geleneksel kontrol yöntemleri ile planlanan yolu takip etmektir. Diğer taraftan pekiştirmeli öğrenme algoritmaları gelişmekte olan ve bu tarz problemlerin çözümünde kullanılabilecek yapay zekâ algoritmalarıdır. HER (İng. Hindsight Experience Replay) yöntemi ise pekiştirmeli öğrenme algoritmaları ile kullanıldığında başarısız denemelerindeki performansı arttıran sarmal (İng. wrapper) algoritmadır. Bu tezde TD3 (İng. Twin Delayed Policy Gradient), DDPG (İng. Deep Deterministic Policy Gradient), SAC (İng. Soft Actor Critic) pekiştirmeli öğrenme algoritmaları çalışılmıştır. Literatürde ham halleri ile farklı problemler üzerinde kıyaslaması yapılmış bu algoritmaların HER algoritması ile otonom park probleminde kıyaslanması literatüre katkı sağlamıştır. Tasarlanan çalışma ortamında sürekli uzayda (İng. continuous space) gaz ve direksiyon komutları kontrol edilen bir araç modeli üzerinde HER destekli pekiştirmeli öğrenme yöntemleri ile yapay zekâ kontrol sistemi tasarlanmıştır. Tasarlanan kontrol sistemi aracı kontrol ederek hedef noktaya park etmesini sağlamaktadır. Yapılan çalışmalarla kullanılan pekiştirmeli öğrenme yöntemlerinin otonom park problemini çözebileceği gösterilmiş ve algoritma performansları kıyaslanmıştır. Yapılan deneyler göstermiştir ki, DDPG algoritmasının geliştirilmiş versiyonu olarak lanse edilen TD3 algoritması HER ile otonom park probleminde kullanıldığında DDPG algoritmasından iyi bir performans sergileyememiştir. Bu çalışmada kullanılan algoritmaların en başarılısı SAC algoritması çıkmıştır.