Efficient learning of sensorimotor data

Gösterimden Öğrenme (LfD), robotlara ustaca yetenekler kazandırmanın etkili bir yoludur ve genellikle bir insan tarafından yapılan gösterimlerden elde edilen zamansal sensör-motor verilerden öğrenmeyi içerir. Robot öğrenimi için LfD'nin yaygın kullanımına rağmen, hala ele alınması gereken zorluklar ve yapılması gereken iyileştirmeler mevcuttur. Bu doğrultuda, bu tezde, kaynak kullanımı açısından verimli yeni bir LfD yöntemi önerilmekte ve bu tür LfD yöntemlerinin, tanımlanan görevi yerine getirebilmek için sensör-motor verilerini kullanarak ödül fonksiyonu tahmini yapmak üzere nasıl kullanıla-bileceği açıklanmaktadır. Somut bir şekilde ifade etmek gerekirse, kodlayıcı-kod çözücü (encoder-decoder) tipi derin sinir ağlarına uygulanabilir bir böl ve yönet yaklaşımı gelişti-rilmiş ve bu yöntem, öğrenilmesi gereken bir sensör-motor yörüngesinin farklı segmentlerini temsil etmek için birden fazla Koşullu Sinirsel Hareket Primitifi'ni (CNMP) birleş-tirmek amacıyla uygulanmıştır. Geliştirilen sistem, Birleşik Koşullu Sinirsel Hareket Primitifi (C-CNMP) modeli, her bir yörünge segmentine özel bir yapay sinir ağı parçası atayarak ve segmentler arası bağımlılıkları gizli uzayda (latent space) koruyarak kaynak verimliliğini artırır ve tahmin doğruluğunda kayda değer bir kazanım elde eder. Önerilen kaynak kullanımı açısından verimli C-CNMP modelinin öğrenme ve genelleme performansı, sentetik veri kümeleri ve gerçek dünyadaki robotik hareket veri kümeleri kullanılarak gerçekleştirilen deneylerle ölçülmüştür. Eşit uzunluktaki iki segmentli C-CNMP modelleriyle yapılan sistematik deneyler sayesinde, önerilen modelin güçlü ve kısıtlayıcı yönleri detaylı şekilde analiz edilmiştir. Karmaşık hareketleri doğru yapıda temsil edebilmek için kullanılan çok segmentli C-CNMP'nin özelliklerini daha fazla keşfetmek için ek araştırmalar da gerçekleştirilmiştir. Bu amaçla, segment sayısının değişiminin etkisi, segmentasyon granülaritesi ile öğrenme performansı arasındaki ilişki gösterilerek incelenmiştir. Araştırılan bir diğer boyut ise segment sayısının sabit tutulduğu ve segmentasyon sınırlarının değiştirildiği segment uzunluğudur. Bu açıdan yapılan incelemeler, eşit uzunluktaki segmentler kullanılarak yapılan sistematik analizleri tamamlayarak genel performans değerlendirmesine katkıda bulunmaktadır. Genel olarak, segmentasyona yönelik analizler, optimal segmentasyonun hem performans hem de kaynak verimliliği açısından değerli olabileceğini göstermektedir. C-CNMP araştırmaları sırasında, uygun bir kayıp fonksiyonunun tanımlanması ve optimal segment sayısının belirlenmesi gibi çeşitli zorluklarla karşılaşılmış ve çözümler geliştirilmiştir. Bu zorluklar sistematik olarak analiz edilerek ampirik çalışmalarla çözümler önerilmiş ve segmentleme süreci genelleme performansını artıracak şekilde iyileştirilmiştir. C-CNMP modelini geliştirmenin ve özellik-lerinin araştırılmasının yanı sıra, bir görevin gerçekleştirilmesi esnasında gözlemlenen sensör-motor verilerinin üretilmesinden sorumlu olan ödül fonksiyonunu hesaplamak için CNMP türü yöntemlerin Ters Pekiştirmeli Öğrenme (IRL) kapsamında kullanımı araştırıl-mıştır. Bu amaçla, ödül fonksiyonu hesaplanması sırasında hesaplama verimliliği yüksek yeni bir IRL mekanizması sunulmuştur. Bu verimlilik, CNMP türü modeller tarafından temsil edilen yörüngelerin dağılımlarıyla ödül fonsiyonunu tanımlayan parametrelerin ilişkilendirilmesi sonucu oluşturulan etkili benzerlik ölçütlerinin kullanılmasıyla sağlanır. Önerilen IRL yöntemi, ödül çıkarımı esnasında dahili bir pekiştirmeli öğrenme (RL) döngüsü gerektirmediğinden hızlı ve verimli ödül fonksiyonu hesaplanmasına olanak tanır. Genel olarak, tez, sensör-motor verilerini verimli şekilde öğrenebilen ve üretebilen C-CNMP ile LfD'deki son teknolojiye katkıda bulunmanın yanı sıra, bir görev icrasının altında yatan, optimize edilmeye çalışılan prensiplerin, gözlenen sensör-motor verileri üzerinden ortaya çıkarılması için kullanılabilecek pratik bir ters pekiştirmeli öğrenme sistemi sunmaktadır.