Gerçek zamanlı görüntü işleme ile sınıf ortamındaki öğrencilerin tanınması ve dikkat dağınıklıklarının tespiti

Tezin amacı, bir sınıf ortamında bulunan öğrencilerin kamera ile gerçek zamanlı olarak izlenmesi, kafalarının tespit ve takip edilmesi, yüz tanıma ile kim olduklarının tahmin edilmesi ve kafa yönlerinden hareketle dikkat dağınıklığı oranlarının tespitidir. Bu amaçla OpenCV ve Dlib görüntü işleme ve makine öğrenmesi kütüphaneleri kullanılarak C++ yazılım dili ile gerçek zamanlı çalışan bir uygulama geliştirilmiştir. Uygulamanın yüz tanıma bölümünde dikkat dağınıklıkları incelenecek her bir öğrenci için yüz tanıma eğitim kümesi oluşturulabilmektedir. Kamera karşısındaki öğrenci değişik kafa pozisyonları ve mimikler yaparken uygulama her 5 saniyede bir öğrencinin yüzünün fotoğraflarını çekip kaydetmektedir. Yüz fotoğraflarını içeren bu eğitim kümesi kullanılarak Yerel İkili Örüntüler yöntemi ile yüz tanıma modeli oluşturulmaktadır. Kafa yönünün ve dikkat dağınıklığının tespiti bölümünde ise her bir öğrenci için Perspective-n-Point problemi çözülerek öğrencilerin kafalarının x, y ve z eksenlerindeki dönme açıları (pitch, yaw ve roll) bulunmaktadır. Öğretmenle aynı doğrultuda bulunan bir kameraya doğru bakmakta oldukları varsayılan öğrencilerin kameraya doğru baktıklarında dikkatli oldukları kabul edilerek dikkat dağınıklıkları anlık olarak belirlenmektedir. Yüz tanıma ve kafa yönü açılarının başarıları UPNA Head Pose Database ile test edilmiş, gerçekleştirilen testler sonrasında yüz tanımada en başarılı sonucu veren Yerel İkili Örüntüler yöntemi tercih edilmiştir. Görüntü işlemeye dayalı kafa yönü açılarını bulma yöntemi ise sensörlerle ölçülen açılara yakın sonuçlar vermiştir. Dikkat dağınıklığı tespitinin başarısını ölçebilmek için yine UPNA Head Pose Database kullanılmıştır. Bu veritabanındaki videolardan çıkarılan rastgele 1000 fotoğraftan her biri 5 farklı kişi tarafından "Dikkatli" veya"Dikkatsiz" olarak işaretlenmiş, işaretlenen bu veri kümesinin yarısı eğitim yarısı da test kümesi olarak belirlenmiştir. Dikkat dağınıklığı sınıflandırıcıları etiketlenmiş veri kümesiyle eğitilmiştir. Sınıflandırıcı olarak Rastgele Orman, Karar Ağacı, DVM ve En Yakın Komşu makine öğrenmesi algoritmalarıyla denemeler yapılmıştır. En yüksek oran %72.4 doğrulukla DVM ile elde edilmiştir.