Derin pekiştirmeli öğrenme kullanarak insansı robotlar için itme kurtarma kontrol sisteminin geliştirilmesi

Bu tezin amacı, iki ayaklı insansı bir robot için bir insanın eylemlerini taklit edebilecek tamamen bağımsız bir itme-kurtarma kontrol sistemi tasarlamak ve robota uygulamaktır. Bu çalışmada, dış kuvvetlerden ve itmelerden etkilenen iki ayaklı insansı robotların itme-kurtarma problemine odaklanılmıştır. İnsansı robotlar denge açısından yapısal olarak kararsız olduklarından dolayı bu problem robotlarda önemli sorun olarak ortaya çıkmaktadır. Robotlarda, itme-kurtarma kontrolörleri ayak bileği, kalça ve adım olmak üzere 3 stratejiden oluşmaktadır. Bu stratejiler, insanların denge bozukluğu durumlarında gösterdikleri biyomekanik tepkilerdir. Bu tezde, insansı robotların ayakta dururken ya da yürürken dengede kalabilmesi ve dış kuvvetlerden kaynaklanabilecek denge bozukluklarının önlenmesi için aktif bir denge kontrolü sunulmuştur. Buna ilişkin yapılan çalışmada hem simülâsyon hem de gerçek dünya testleri yapılmıştır. Çalışmanın simülâsyon testleri Webots ortamında 3 boyutlu modeller ile gerçekleştirilmiştir. Gerçek dünya testleri ise Robotis-OP2 insansı robot üzerinde yapılmıştır. Robot üzerinde bulunan sensörlerden jiroskop, ivmeölçer ve motor verileri kaydedilip, robota harici itme kuvveti uygulanmıştır. Kaydedilen bu veriler ve ayak bileği stratejisi kullanılarak robotun dengesi sağlanmıştır. Bunun için klasik kontrol yöntemi olarak PD kontrolör ve tahmine dayalı olan Model Öngörülü Kontrol (MÖK) yöntemi ile de robotun kontrolü sağlanmıştır. Bununla birlikte robotun tamamen otonom hale getirilebilmesi için Derin Pekiştirmeli Öğrenme (DPÖ) algoritmalarından Derin Q Ağı (DQA) ve Çift Derin Q Ağı (ÇDQA) yöntemleri uygulanmıştır. Bu uygulamalarda robota hem önden hem arkadan kuvvetler uygulanmıştır. Simülâsyon ortamında yapılan test çalışmalarında robotun her iki durumda da gelen itmelere karşı ayakta kaldığı gözlemlenmiştir. Uygulanan dört farklı kontrol yönteminden en iyi sonuçları, ÇDQA algoritması vermiştir. Gerçek ortam testlerinde alınan sonuçlar simülâsyon sonuçlarına paralellik göstermiştir.