A comparative study of deep reinforcement learning methods and conventional controllers for aerial manipulation

İnsansız hava araçlarıyla havadan manipülasyon, birçok uygulamada giderek bir zorunluluk haline geliyor. Bu tezde, bir alma ve yerleştirme işlemi için kullanılan, çift rotorlu bir hava manipülatörü için kontrolcü yaklaşımlarını analiz ediyoruz. Hava manipülatörünün klasik bir kontolcü ile minimum anlık yörünge oluşturma algoritmasını, Derin Güçlendirme aktör-kritik algoritmalarıyla karşılaştırıyoruz. Ayrıca, Derin Pekiştirmeli Öğrenme yaklaşımları için manipülatörün serbestlik derecelerinin etkilerini inceliyor ve hava manipülatörünün taşıması gereken nesnenin hedef konumunun değişiminin öğrenme yaklaşımlarının eğitimini nasıl etkilediğini analiz ediyoruz. Dahası, öğrenme yaklaşımları için daha hızlı bir yakınsama elde etmek için, hava manipülatörünün taşıması gereken nesne ile başladığı bilgilendirici durumlar ekledik. Hava manipülasyonu için 2D simülasyon ortamına ilişkin sonuçlarımız, tüm aktör-eleştirmen algoritmalarının değerli sonuçlar verdiğini ama politika dışı algoritmaların daha örnek verimli olduğunu gösterdi. Ancak bu algoritmaların hala bazı durumlarda görevin başarısızlığına neden olan kararlılık sorunları vardır. Öte yandan klasik kontrolcü yaklaşımında bu sorun yoktur, ancak Derin Pekiştirmeli Öğrenme yaklaşımlarına göre görevi daha yavaş bitirir.