İnsan-robot birlikte manipülasyonunda, görev performansını optimize etmek için derin pekiştirmeli öğrenme

Ağır nesnelerin insan-robot birlikte manipülasyonu sırasında görev performansını optimize etmek için derin pekiştirmeli öğrenme (DPL) modelinin öncüsü olarak bir yapay sinir ağı (YSA) modeli kullanan iki aşamalı bir makine öğrenimi yaklaşımı öneriyoruz. İlk aşamada, YSA modeli, insanın nesneyi hızlandırma veya yavaşlatma niyetini tahmin eder (büyük eylemsizliği nedeniyle nesnenin gerçek hızlanmasından veya yavaşlamasından önce gelir). Bu olasılıksal tahmin daha sonra robotun göreve katkısını değiştiren uyarlanabilir bir giriş kontrolörünün kazancını hesaplamak için kullanılır. İkinci aşamada, DPL modeli bu kazanca ince ayar yapar ve hareketteki sarsıntıyı ve insan tarafından harcanan fiziksel çabayı en aza indirerek görev performansını optimize eder. Fiziksel insan-robot etkileşimi görevi için bir DPL modelinin çevrimiçi eğitimi oldukça zaman alıcı olduğundan ve kontrolör kazancındaki ani değişiklikler nedeniyle insan için potansiyel olarak tehlikeli olabileceğinden, DPL modelinin simülasyonlar yoluyla çevrimdışı eğitimi için koşullu varyasyonel otomatik kodlayıcı ile veriye dayalı bir insan kuvveti modeli geliştirilmiştir. Bu amaçla, DPL modelini eğitmek ve doğrulamak için admitans kontrolörünün 3 farklı sabit kazancı (minimum, nominal ve maksimum) altında altı denekten deneysel veriler toplanmıştır. Tek başına YSA modeli ve önerilen iki aşamalı yaklaşım (YSA + DPL) tarafından üretilen uyarlanabilir admitans kazanç profilleri, birlikte manipülasyon simülasyonları aracılığıyla karşılaştırılmıştır. Sonuçlar, iki aşamalı yaklaşımla elde edilen kazanç profilinin, YSA modeli tarafından sağlanan başlangıç profiline kıyasla insan çabasında ve sarsıntıda bir azalmaya yol açtığını göstermektedir.