Pekiştirmeli öğrenme ile robot kol yörünge kontrolü

Robotların kullanımı son yıllarda teknolojinin gelişmesine bağlı olarak yaygınlaşmakta ve görevlerini otonom olarak gerçekleştirmeleri ile ilgili çalışmalar da gün geçtikçe artmaktadır. Verilen işleri insanlara nazaran daha güçlü ve hassas olarak yapabilme potansiyeli olan robot kolları, endüstriyel tesislerin yanı sıra ameliyathanelerde ve uzay görevleri gibi farklı alanlarda da kullanılarak geniş bir alanda hizmet vermektedir. Robot kol kontrolü problemine literatürde mevcut bulunan model tabanlı yaklaşımlar, fiziksel sistemi ifade eden matematiksel modelin oluşturulması ve kontrol algoritmalarının geliştirilmesini gerektirmektedir. Bu matematiksel modellerin eldesi her zaman kolay olmamakla birlikte çözümlerinin yapılamaması gibi durumlar bulunabilmekte ve bu yöntemler istenen performansı gösterememektedir. Günümüz teknolojisinin son bahis konularından olan yapay zekâ bu durum için bir çözüm ve kolaylık sağlama potansiyeli barındırmaktadır. Bu alanda etkili bir çözüm makine öğrenmesinin bir alt dalı olan Pekiştirmeli Öğrenmedir (PÖ). PÖ, herhangi işlenmiş bir veriye ihtiyaç duymadan, keşif yaparak ve bu keşifte ortaya konulan davranışları belirli kriterler doğrultusunda değerlendirerek öğrenme süreciyle optimum davranışları öğrenir. Böylece matematiksel modellemelere ihtiyaç duymadan bir kontrol seçeneği sunar. Bu yönüyle PÖ endüstriyel robotlardan insansız hava araçlarına kadar birçok alanda araştırılmış ve geliştirilmeye devam etmektedir. Bu çalışmada matematiksel modelden bağımsız olarak robot kol yörünge kontrol problemi için PÖ algoritmaları kullanılmıştır. Sürekli durum ve eylem uzayları için geliştirilmiş model-bağımsız, politika-dışı, aktör-kritik PÖ algoritmaları, derin deterministik politika gradyanı (DDPG), ikiz gecikmeli politika gradyanı (TD3) ve soft aktör-kritik (SAC) kullanılmıştır. Bu algoritmalar kendi aralarında eğitim süreçleri ve eğitilmiş ajanların simülasyonu aracılığıyla görevleri yerine getirmelerindeki doğru konumlandırma, istenilen sürede yerine getirme gibi çeşitli parametrelerce kıyaslanmıştır. Robot kolun bulunduğu çevreye sabit engeller konularak engelli çevre oluşturulmuş ve bu engelli çevre için eğitim süreçleri ve simülasyonlar tekrarlanmıştır. Çevrede bulunan engel ile çarpma gibi bozucu bir sinyalin eğitim süreçlerine ve ajanların davranışlarına etkileri gözlemlenmiştir. Algoritmalar ile ajanların hazırlanması, eğitim ve test süreçleri Matlab programı kullanılarak gerçekleştirilmiştir. Robot kol modeli Matlab kütüphanesinden alınmış gerekli modifikasyonlar ve çevre modellemesi yine Matlab'ın Simulink/Simscape arayüzü kullanılarak yapılmıştır. Sonuç olarak algoritmaların verilen görevleri yüksek bir başarı oranı ile yerine getirmeyi öğrenebildiği görülmüştür.