İnsansi robotlarda tutma eylemlerinin derin pekiştirmeli öğrenme algoritmalari ile geliştirilmesi

İnsansı robotların ev, hastane ve işyeri gibi ortamlarda insanlara yardım edebilmesi veya insanların yerine görev yapabilmesi için kazanması gereken en temel becerilerden biri, tutma eylemini gerçekleştirebilmesidir. Ayrıca, insanlarla etkileşim içinde çalıştığı için gerçekleştirdiği eylemleri açıklayabilme yeteneğine de sahip olmalıdır. Tezin amacı, insana ait özelliklerden biri olan tutma eyleminin insansı robotlar tarafından gerçekleştirilmesini sağlamaktır. Bu amaca uygun olarak Robotis-OP2 insansı robotunu eğitmek için Derin Pekiştirmeli Öğrenme (DPÖ) algoritmaları kullanılmıştır. Robotun tutma eylemi, eklemlerin konumu, eklemlerden alınan kuvvet bilgisi ve robotun kendi kamerasından alınan görüntülerin birlikte kullanılmasıyla gerçekleştirilmiştir. Bu sayede robotun otonom bir şekilde tutma eylemini gerçekleştirmesi sağlanmıştır. İlk olarak, robotun uygun bir tutma işlemi gerçekleştirdiğini doğrulamak amacıyla ileri kinematik hesaplamalar yapılmış ve tutma noktasının tespiti sağlanmıştır. Daha sonra, robotun tutma işlemini otonom bir şekilde gerçekleştirebilmesi için DPÖ yöntemleri kullanılmıştır. Bu süreçte, DPÖ algoritmalarından Derin Q Ağı (DQA) ve Düello DQA yöntemleri tercih edilmiştir. Bu algoritmalar, farklı ödül fonksiyonları ile test edilerek etkinlikleri değerlendirilmiştir. Robotun deneyimlerden öğrenmesi için kullanılan bütün yöntemler için taklit öğrenme yöntemlerinden Gösterimden Derin Q Öğrenmesi (GDQÖ) algoritması kullanılmıştır. Bunun yanı sıra, robotun gerçekleştirdiği eylemleri açıklayabilmesi için Açıklanabilir Yapay Zekâ (AYZ) yöntemlerinden Açıklama için Rastgele Giriş Örneklemesi (ARGÖ) algoritması kullanılmıştır. Bu sayede robotun hem öğrenme süreci hem de eylemlerinin anlaşılabilirliği geliştirilmiştir. Çalışma sonucunda, robotun istenen hedefleri başarıyla yerine getirdiği gözlemlenmiştir. Düello DQA algoritmasının, DQA algoritmasına kıyasla daha iyi sonuçlar verdiği belirlenmiştir. Ayrıca, taklit öğrenme (Imitation Learning) yöntemi kullanılarak eğitim süresinin önemli ölçüde azaldığı sonucuna ulaşılmıştır. AYZ yöntemleri sayesinde robotun eylemlerinin nedenleri açıklanmış ve daha güvenli bir tutma işleminin gerçekleştirilebileceği doğrulanmıştır.