Prosedürel el hareketlerinin bilgisayarlı görmeye dayalı yorumlanması

Dünya Sağlık Örgütü (DSÖ), enfeksiyonlara önlem olarak el hijyeni için belirli süreler boyunca uygulanan çeşitli hareketler içeren bir el yıkama prosedürü önermektedir. Özellikle sağlık alanında, bu prosedüre göre el yıkama işlemi, yetkili kişilerce aralıklı bir şekilde denetlenmektedir. Bu çalışmada, DSÖ'nün önerdiği el yıkama hareketlerine uygun olarak belirlenen 8 yıkama hareketinin ve yıkama sürelerinin asgari düzeyde uygulanmasını otonom denetleyebilmek için, bilgisayarlı görmeye dayalı bir sistem geliştirilmiştir. Çalışmada, kameradan elde edilen renkli (RGB), derinlik kamera görüntüleri ve render görüntülerinden elde edilen sentetik verilerle 2 özgün veri seti oluşturulmuştur. Veri setlerinden, renkli görüntüler, projeksiyon görüntüleri, noktalar kümesi ve birleştirilmiş noktalar kümesi örüntüleri üretilmiştir. El yıkama hareketleri, bu örüntülerden çerçeve bazlı olarak, zamansal boyut da içeren 16 farklı yapay sinir ağı modeli ile sınıflandırılmıştır. Ayrıca sentetik veriler üzerinde sabun miktarına göre 4 ve 32 sınıf belirlenerek sınıflandırma yapılmıştır. Önerilen sistemde, kameradan alınan gerçek zamanlı görüntüleri işlemek için çoklu iş parçacığı yaklaşımı kullanılarak maliyet azaltılmıştır. Sınıflandırmalarda kamera veri setinde %100, sentetik veri setinde %56,5 ve %48,5 doğruluk oranları elde edilmiştir.