Bir insansız hava aracının modellenmesi ve derin pekiştirmeli öğrenme tabanlı otonom kontrolü

İnsansız Hava Araçlarına (İHA) yönelik araştırma ilgisi, çok çeşitli uygulamalar için potansiyel kullanımları nedeniyle hızla artmıştır. İHA'lar uçuş manevrası olarak, top atma ve yakalama, İnsansız Yer Araçlarının (İYA) düzen kontrolü, kritik tarım alanlarında İHA'nın uçan bir sensör görevi görerek örneklemler yapabilmesi ve birçok buna benzer görevleri üslenebilmesi kabiliyeti sayesinde uzak ve riskli ortamlarda tehlikeli ve süreklilik gerektiren görevleri yerine getirebilme yetenekleriyle İHA'lar çok umut vermektedir. Son yıllarda, bilgi teknolojisi ve yapay zekadaki büyük ilerleme, giderek yaygınlaşmakta olan akıllı otonom sistemleri büyük ölçüde etkilemektedir. Bu tür bir gelişime, tam otonom, yarı otonom ve veya uzaktan kontrol edile bilen uçan araçlardan oluşan İnsansız Hava Araçlarını da etkisi altına almıştır. Bu alanda yapılan çalışmaların en temel öncelikli hedefi, İHA'ların herhangi bir insan kontrolü olmadan o anki durum ve şartlara göre kendi yol planlama, manevra yapma ve görev yerine geri dönme gibi kendi kararlarını alabilen bir otonom sistem oluşturmaktır. Otonom bir İnsansız Hava Aracından beklenen temel görev, insan müdahalesi olmaksızın çarpışmalardan kaçınarak ve verimli bir yol boyunca istenen hedeflere yönlenmesi amaçlamaktadır. Bu nedenle bir İHA'nın zorlu ortamlardaki otonom görevlerde bulunması çok önemli bir rol oynamaktadır. Bu çalışmada, derin pekiştirmeli öğrenme yaklaşımını kullanarak otonom bir İHA yolu planlama algoritması oluşturmak hedeflenmektedir. Bu çalışmanın temel amacı, belirli bir üç boyutlu statik engelleri aşarak belirlenen hedefe ulaşmasını sağlamaktır. Bunun için İHA'nın kendi kendini eğitmesi ve belirlenen hedefe eğitilmiş olan ağ yapısını kullanarak ulaşması beklenmektedir. Bu çalışmada, İHA'nın belirlenen hedefine ulaşması için engellerin sağından veya solundan geçerek kendi yolunu oluşturması gerekmektedir. Bu amaç doğrultusunda bu çalışmada sürekli eylem alanına sahip bir Derin Deterministik Politika Gradyanı (DDPG) tasarlanmıştır. Aynı zamanda İHA'nın kontrolü MAVROS iletişim protokolü aracılığı ile İHA ya aktarılmaktadır. Bu iletişim protokolü bu tez çalışmasına özgü olarak yeniden tasarlanmıştır. İHA ile varış noktası arasındaki mesafeyi en aza indirmek ve çarpışmaları cezalandırmak için bu çalışmaya özgü bir ödül işlevi geliştirilmiştir. Bu sayede İHA'nın çarpışmalardan kaçınarak istenilen hedefe en kısa yoldan ulaşması sağlanmıştır.