Makine öğrenmesi ile fiziksel el animasyonu

Eller, insanların çevreleriyle etkileşim için kullandıkları en önemli uzuvlarıdır. Bir nesneyi yakalamak, tutmak, taşımak, ona dokunmak ve daha birçok etkileşim el ile yapılmaktadır. El, anatomik olarak çok karmaşık bir yapıdadır. Her bir parmaktaki kemikler, eklemler, onları birbirine bağlayan ve hareketi sağlayan kas ve tendonlar hesaba katıldığında, bir işlevin gerçekleştirilmesini modellemek için yapılması gereken işlemlerin karmaşıklığı ortaya çıkmaktadır. El hareketlerini bilgisayar ortamına aktarabilmek için çeşitli hareket yakalama sistemleri kullanılmaktadır. Ancak fırlatılan bir nesnenin yakalanması hareketinin bu sistemler ile üretilmesi işlemi durağan nesnelerle yapılan hareket yakalama işlemlerine göre çok daha zordur. Ek olarak, başarılı bir hareket yakalama verisi ile ancak kinematik animasyon oluşturulabilir ve bu kinematik animasyonlar farklı yakalama senaryoları için kullanılmaya uygun olmayabilir. Bu nedenle, el hareketlerinin fizik tabanlı animasyon ile sentezlenmesi ihtiyacı doğmaktadır. El hareketinin fizik temelli animasyonunu üretebilmek için elin fiziksel modelinin oluşturulması gerekir. Bu tez çalışmasında, bir iskelet yapısı üzerinde kas ve yumuşak dokular bulunan fiziksel bir el modeli sunulmaktadır. Sunulan modelin hem gerçekçi fiziksel etkileşimler oluşturması hem de işlem hızı bakımından verimli olması amaçlanmıştır. Günümüzde, makine öğrenmesi yöntemlerinden faydalanılarak, bilgisayar animasyonu alanında çok başarılı çalışmalar yapılmaktadır. Biz de bu tez çalışmasında, sunduğumuz el modelinin bir nesneyi yakalaması için gerekli hareketleri, derin pekiştirmeli öğrenme yöntemleriyle üreten bir sistem ortaya koymaktayız. Fırlatılan bir nesnenin yakalanması hareketi, bir çok vücut parçasının koordineli olarak çalışmasıyla elde edilir. Bizim bu çalışmada esas odağımız uygun fizik tabanlı el hareketlerinin üretilmesi olmakla birlikte, eli nesneyle kesişeceği doğru konuma ve oryantasyona getirmek için gerekli olan kol hareketlerinin sentezlenmesi de çalışmaya dahil edilmiştir. Yakalama hareketinin küçük aşamalara bölünerek ele alınabileceği literatürde gösterilmiştir. Biz de bu çalışmada yakalama hareketini iki aşamada ele alıp, her bir aşama için derin pekiştirmeli öğrenme ile farklı bir kontrolcü beyin geliştirdik. Bu beyinlerden ilki, kolu yakalama hareketine hazırlanacak biçimde hareket ettirmek için tasarlanmıştır. İkinci beyin ise, eli kontrol ederek esas yakalama işlemini gerçekleştirmek için tasarlanmıştır. Buna ek olarak, bu iki kontrolcünün çalışma zamanlarını yönetecek üçüncü bir beyin de yine derin pekiştirmeli öğrenme ile üretilmiştir. Çalışmamızda ortaya koyduğumuz sistemin sonuçları çeşitli deneyler aracılığıyla değerlendirilmiş ve farklı konfigürasyonlarla karşılaştırılmıştır. Buna ek olarak üretilen yakalama hareketinin gerçekçiliğini değerlendirmek için kullanıcı testleri gerçekleştirilmiştir.