Bir endüstriyel robotun insan kolu hareketlerinin derinlik haritası ile algılanmasıyla kontrolü

Bu çalışmada Microsoft Kinect ToF kamera kullanılarak operatör kolunun hareketleri eşzamanlı olarak teleoperasyon yöntemiyle altı serbestlik derecesine sahip olan Stäubli Rx160 endüstriyel robot koluna aktarılmıştır. Kinect derinlik kamerası 640x480 çözünürlükte derinlik görüntülerini 30 Hz frekansta sağlayabilmektedir. Microsoft firmasının sağladığı Kinect SDK'da tanımlı fonksiyonlar kullanılarak bu derinlik görüntüleri alınmış ve operatörün derinlik haritası çıkarılmıştır. Daha sonra bu harita üzerinde operatörü çubuk figürü olarak modelleyecek 20 ekleminin üç boyutlu uzay pozisyonları iskelet haritası üzerinden takip edilmiştir. Sağ kolda bulunan omuz, dirsek ve bilek eklemlerinin pozisyonları kullanılarak eklemler arası uzuvları temsil eden vektörler hesaplanmıştır. Bu vektörler daha sonra operatörün kol açılarının bulunması sırasında kullanılmıştır. Operatörün kol açıları ve Stäubli Rx160 robot kolunun parametreleri kullanılarak operatör çalışma uzayı robotun çalışma uzayına eşlenecek biçimde genişletilmiştir. Bulunan açılar arasında gürültü içeren derinlik görüntüsü kareleri yüzünden hatalı olabileceklerin elenmesi için insan kolunun kinematik modeli oluşturularak düz v kinematik eşitlikleri hesaplanmıştır. Bulunan açılar ve düz kinematik eşitlikler kullanılarak bilek pozisyonu hesaplanmıştır. Her görüntü karesi için hesaplanan ve kameradan alınan bilek pozisyonları karşılaştırılarak hesaplanan açıların doğruluğu kontrol edilmiş, kinematik modele uymayan açılar filtrelenmiştir. Operatör açılarının bulunmasından sonra robotun teleoperasyonunu sağlamak için üç farklı yöntem geliştirilmiştir. Bu yöntemler uç işlemcinin kontrolünü sağlayan üç serbestlik derecesinde oluşmaktadır. Robotun son üç eklemi bilek yönelimini vermektedir. Bu çalışmada bilek yönelimi uç işlemcinin açık pozisyonda kalacağı şekilde sabitlenmiş ve teleoperasyon yöntemlerinde robotun ilk üç ekleminin açıları hesaplanmıştır. Bu yöntemlerden ilkinde operatörün kolu ile robot kolunun benzer kinematik yapıları eşlenerek direkt açı besleme yöntemi kullanılmıştır. Diğer yöntemde gerçek zamanlı ters kinematik çözümü uygulanmış, operatörün robot çalışma uzayına eşlenmiş bilek ekleminin pozisyonu kullanılarak bu pozisyonu sağlayacak robot eklem açıları bulunmuştur. Aynı uç işlemci pozisyonuna robot farklı şekillerde ulaşabilmektedir. Bu nedenle operatörün hareketine en benzeyen çözüm kümesinin kullanılması için filtreleme eşitlikleri kullanılmıştır. Son yöntemde ise ters kinematik çözümü yöntemi ile oluşturulan çözüm örneklerinden oluşan veri setleri ve MATLAB Neural Network Toolbox kullanılarak yapay sinir ağı eğitilmiştir. Farklı sayıda çözüm örneği içeren veri setleri ile eğitilen yapay sinir ağlarının performansları karşılaştırılarak sonuçlar yorumlanmıştır. Farklı yöntemler kullanılarak bulunan robot açıları TCP/IP protokolü ile robotun kontrolcüsüne iletilmiştir. Kontrolcü üzerinde koşan VAL3 programlama dilinde yazılmış uygulama ile TCP/IP üzerinden gelen değerler eklem açılarına çevrilerek eklemlere iletilmiştir. Son olarak geliştirilen teleoperasyon yöntemleri doğruluk ve hesaplama zamanı kriterlerine göre karşılaştırılmış, çalışmanın devamında yapılabilecek araştırmalar ile ilgili öneriler sunulmuştur.