Robotların bilinmeyen cisimlerin tutulabilirliğini içsel motivasyon desteği ile öğrenmesi

İnsanlar ile etkileşim içerisinde olan bilişsel robotun tanımadığı bir nesneyle etkileşime geçebilmek için etkili tutma yöntemleri ile donatılmış olması gerekmektedir. Özellikle düzensiz olan ortamlarda, sensör ve kontrol mekanizmalarının yetersizliği, önceden edinilmiş bilgi yetersizliği ve nesnelerin farklı modelleri sebebi ile zorluklar katlanarak artmaktadır. Bu tür zorlukların aşılabilmesi için robotun verimli öğrenme metotlarına sahip olması gerekmektedir. Bu tez çalışmasında, tutma eylemi için belirlenen potansiyel başarılı yürütme deneyimlerinin öğrenilmesi, içsel motivasyon ve ivecenlik ile verimli hale getirilmiştir. Robotun tutma eyleminin başarılı veya başarısız olduğuna etkin şekilde karar verebilmesi için içsel motivasyon ve ivecenlik sistemi önerilmiştir. Önerilen sistemde, tutma görevinin başarı kararı için görme, planlama, yürütme, gözlemleme ve öğrenme süreçleri bir araya getirilmiştir. Sistem ilk olarak, RGB-D kamera ile ortamda bulunan, robotun etkileşmesi gereken bilinmeyen nesnenin 3 boyutlu görüntüsünü alarak niteliklerini belirler. Bu görüntü, nesnenin kenarlarının ve köşelerinin 3 boyutlu olarak tespit edilmesinde kullanılır. Kenarların tesbiti için ise PCL (Point Cloud Library) kütüphanesindeki "Organized Point Cloud Segmentation with Connected Components" algoritması kullanılır. Bu algoritma, kameradan gelen noktalar arasından birbiri ile bağlantılı olanları işaretler. İşaretli noktalar ise bir başka sistem olan potansiyel tutma noktası bulma algoritmasına girdi olarak verilir. Tutma noktası bulma algoritması, belirlenen kenar ve köşe noktaları üzerinden nokta ikililerini belirler. Bu noktaların birbiri ile karşılıklı ve 2 boyutlu düzlemde olması temel koşuldur. Algoritma öncelikle, cismin üzerinde referans noktası belirler ve referans noktasına en yakın noktayı bulur. Bir sonraki aşaması ise referans noktası ile ona en yakın noktadan geçen doğru üzerinde başka bir nokta bulmayı dener. Eğer başarılı olursa, referans noktanın haricindeki 2 nokta tutma noktası olarak işaretlenir. Tutma noktasından üretilen potansiyel nokta çiftleri, simülasyon ortamda denenerek ön elemeden geçirilirler. Böylece gerçek dünyada robot açısından başarılı olma ihtimali olmayan noktalar elenir ve zaman kaybı en aza indirgenmiş olur. Simülasyon sonucu üretilen nokta çiftleri başarılı olması beklenen çiftlerdir. Öğrenme sürecinde ise pekiştirmeli öğrenme metodu kullanılmıştır. Böylece robot, eylemler, eylemlerin sonuçları, cismin durumu gibi etkenler konusunda deneme yanılma ile tecrübe kazanır ve öğrenir. Deneme yanılma yöntemi ile öğrenme sürecinde, robotun belirli sabit bir sayıda deneme yapmasından ziyade, tez çalışmasında içsel motivasyon, isteksizlik ve ivecenlik durumları da göz önünde bulundurularak metodlar geliştirilmiştir. Bu metodlar sayesinde robot tutulması imkansız olan bir nesnenin hızlı bir şekilde tutulamayacağına kanaat getirirken, tutulabilecek nesneler konusunda tutma noktalarının belirlenmesinde daha hızlı karar vermesi mümkün olur. Böylece cisimler ile etkileşen robot, daha sonra cisimlerin aynısı ya da benzer durumlarda tutma noktaları ve nasıl tutulacağına dair hızlı eylemde bulunabilir. İnsani duygular olan motivasyon, isteksizlik ve ivecenlik kavramları ise robotun başarmaya çalıştığı göreve göre hızlı pes etmesine neden olurken, bazı durumlarda uzun süreli olarak vazgeçmeden denemeye devamını sağlamaktadır. Bu sayede, robotun insan ile etkileşimi esnasında hızlı karar verip, hızlı eylem yürütmesi sağlanırken, zaman veya mekan konusunda kısıtı olmadığı durumlarda da uzun soluklu denemeler yapabilmesini sağlamaktadır. Öğrenme sonucunda elde edilen tecrübeler, robotun gelecekte alınacak olan kararlar ve eylemler konusunda doğru yönlenmesini sağlayacaktır. İçsel motivasyon metotları ile karşılaştırıldığında, göreve göre hareket edebilecek olan öğrenme robotun karar mekanizmasını hızlandırırken, insan etkileşimini de artırmaktadır. Yöntem, V-REP simülasyon ortamı ve 7 hareket eksenli robot kolu kullanılarak analiz edilmiştir. Deneylerde farklı nesneler için, robotun karar mekanizmasındaki hız ve eylem planlarının değişkenliği gözlenmiştir. Deney setinde, küp, armut, üzüm, havuç göreceli olarak kolay tutulabilir nesnelerken, labut kolay devrilebilen ama tutulabilir, top ise tutulamaz cisim olarak seçilmiştir. Deneyler incelendiğinde tutulması mümkün olmayan top için robot çabucak tutulamayacağına karar verirken, diğer nesneler için farklı denemeleri farklı sayılarda yaparak tutulabildiğini, diğer yöntemlere göre çok daha hızlı karar vermiştir.