Hareketli RGB-D görüntülerinden el parmaklarının tesbiti

Bilgisayarların, hayatımızın değişilmez bir parçası haline geldiği günümüzde, herkes tarafından etkili ve verimli bir şekilde kullanılabilmesi için, insan bilgisayar etkileşimine dayalı ara yüzlerin geliştirilmesi, klavye ve farenin yanı sıra günlük hayatta kullandığımız iletişim yöntemlerinden vücut dili ile de bilgisayarı kontrol edebilmek için gerekli hale gelmiştir. Sanal gerçeklik uygulamalarında da her zaman bir araştırma konusu olan elin yerinin ve şeklinin çıkarımı için, sanal gerçeklik uygulamalarının ilk zamanlarından itibaren eldiven kullanımı, görüntü algılama yöntemleri ile ten rengine göre veya arka plan görüntü çıkarımı yöntemi ile bölütleme, kızılötesi kamera kullanımı gibi yöntemler kullanılmıştır. Bu tez çalışmasında, görüntü ve derinlik bilgisi veren RGB-D kameradan alınan derinlik verisi kullanılarak, görüntüdeki elin açık parmaklarının konumunu ve şeklini anlayan bir sistem tasarlanmış ve gerçekleştirilmiştir. Parmakların konumlarının ve şekillerinin görüntüde belirlenmesi, insan bilgisayar etkileşimine dayalı ara yüzlerin tasarımında parmak bilgilerinin de kullanılmasını sağlamaktadır. RGB-D kamera olarak Kinect kullanılan bu çalışmada ilk olarak, RGB-D kameradan alınan derinlik bilgisinin işlenmesi ile oluşturulmuş iskelet verisinden kamera önündeki aktif kullanıcının eli belirlenerek, el görüntüsü derinlik görüntüsünden ikili görüntü formatında bölütlenmiştir. Parmakların çıkarımında kullanılacak ikili el görüntüsünden daha iyi sonuç alabilmek için, görüntü ön işlemeden geçirilerek morfolojik açma işlemi ile iki parmak arası boşluğun belirginleşmesi sağlanmıştır. Eli içine alan bir dış bükey örtünün olduğu varsayılırsa, parmak uçları dış bükey örtünün köşe noktalarında yer alacaktır. Kenar takibi yöntemi ile elin kenar görüntüsü çıkartılarak, kenar görüntüsünden dış bükey örtü çıkartılmış ve belirli koşulları sağlayan köşe noktaları parmak ucu olarak algılanmıştır. Parmak uçları ve bilek noktasından ise parmak iskeletleri oluşturulmuştur. Açık parmakların tanınması için, parmak iskeletlerinin ayırt edici şekilsel özellikleri çıkartılmıştır. Başlangıç durumunda, tüm parmakların açık şekilde olduğu el görüntüsü alınarak, parmakların belirleyici şekilsel özellikleri sisteme tanıtılmaktadır. Açık parmakların tanınması işlemi, belirlenen parmağın şekilsel özellikleri sisteme tanıtılan tüm parmaklarınki ile karşılaştırılıp, kendine en çok benzeyen parmağın belirlenmesi yöntemi ile yapılmaktadır.