Simülasyon ortamında derin pekiştirmeli öğrenme ile robot kontrolü

Makine öğreniminin bir dalı olan Pekiştirmeli Öğrenme, bir ortamda ödülleri en üst düzeye çıkarmak için eylemleri seçmeye dayalı öğrenme yöntemidir. Doğada çokça gözlemlenen bu davranışsal öğrenme şekli, hakkında bilgi sahibi olunmayan ortamlarda otonom görevler için başarılı sonuçlar verir. Pekiştirmeli Öğrenme yöntemlerinden, Derin Pekiştirmeli Öğrenme ile otonom görevler için gezgin robotları eğitebiliriz. Gezgin robotlar, eş zamanlı konum belirleme ve haritalama (SLAM) algoritmaları ile ortam haritasını çıkararak yol ve hareket planlama görevlerini yapabilirler. Ancak haritası çıkarılmamış ortamlarda hareket planlamak ve yapmak zorlu bir görevdir. Çalışmamızda, bu zorlukları aşmak için Derin Pekiştirmeli Öğrenme yöntemleri kullanılarak gezgin robotlar ile bilinmeyen ortamlarda belirlenen görevleri yerine getirmek amaçlanmıştır. Robot İşletim Sistemi ve benzetim ortamı olarak sıklıkla kullanılan, 3 boyutlu modeller ile çalışabilen Gazebo benzetim ortamı ile gerekli ortam oluşturulmuş ve TurtleBot3 gezgin robotu ile engellere çarpmadan bu ortamda belirlenen hedeflere ulaşmak amaçlanmıştır. Çalışmamızda, Pekiştirmeli Öğrenmenin sıklıkla kullanılan yöntemi Q Öğrenmenin sınırlamalarından dolayı, karmaşık problemler için bellek yerine sinir ağlarını kullanan Derin Pekiştirmeli Öğrenme yöntemlerinden Derin Q Ağları tercih edilmiştir. Gazebo'da oluşturulan ortamda TurtleBot3 gezgin robotu ile eğitim yapılmıştır. Pekiştirmeli öğrenmenin temel özelliklerinden, açgözlü yaklaşım politikasına göre başlangıç aşamasında rastgele yapılan hareketler yerini ilerleyen aşamalarda sinir ağı modelinin karar verdiği hareketlere bırakarak hedef noktayı art arda defalarca bulabilen ve bölüm boyunca topladığı ödülü artırabilen bir model oluşturulmuş ve bu modelin başarımı grafiklerle gösterilmiştir.