Video analizi ile baş hareketi sınıflandırma

Güncel çoğulortam uygulamalarında gerçek zamanlı hareket analizi ve hareketli nesnelerin izlenmesi önem kazanmıştır. Hareketli nesnelerin gerçek zamanlı ve çevrim içi yakalanmasını gerçekleyen sistemlerde, ortamdaki ışıklılık değişimlerine, nesnelerin kameraya yaklaşmasından uzaklaşmasından kaynaklanan ölçek değişimlerine ve nesne hareketinden kaynaklı örtüşmeye karşı gürbüz algoritmaların geliştirilmesi son dönemde üzerinde çalışılan problemlerdir. Bir diğer önemli konu ise günlük yaşamda kullanılan kameralar ile yapılan 2 boyutlu video kayıtlarından hareket kestiriminin yüksek doğrulukla yapılabilmesidir. Tez kapsamında, ekrana belli uzaklıktaki kişilerin baş pozisyonu ve duruşu kestirimi ile ekranda gösterilen içerik ile ilgili ya da ilgisiz olduklarını otomatik olarak sınıflandıran bir yöntem önerilmektedir. Bu amaçla video dizilerinden hareketli nesnelere ilişkin konum belirlenmesi ve iki boyutlu hareket analizi yapılmaktadır. Yapılan analizler sonucu elde edilen, baş hareketini ve konumunu belirleyen öznitelikler kullanılarak her iki yöntem için ayrı ayrı ve iki yöntem birlikte karar tümleştirme yapılarak hareket kestirimi, yani ilgililik-ilgisizlik sınıflandırılması yapılmaktadır. Bu amaç için, kamera düzlemine paralel bulunan ve 0 derece açı ile ekrana bakan baş pozisyonu referans alınmak üzere üzere, ±15, ±30, ±45, ±60 derecelik açılara sahip video çerçeveleri eğitim ve test seti olarak kullanılmakta, hareket akış vektörleri ve konum bilgileri yardımıyla ilgililik durumu kestirilmektedir. Baş konum bilgisi, Viole Jones yüz sezici ile belirlenen baş bölgesinin, başlangıç pikseli konumu ve alan özniteliklerini içeren 3 boyutlu öznitelik vektörü ile modellenmektedir. Konum sınıflandırma, iki sınıflı bir sınıflandırma problemi olarak ele alınmakta ve baş konumunun başlangıç pikselleri x,y ve yüz alanı A öznitelikleri kullanılarak sezilen baş bölgesi 'ortada' veya 'yanda' olarak sınıflandırılmaktadır. Bu algoritmada baş konumu başlangıç pikselleri x,y; başın ekrana uzaklığının yakın-uzak-ortada olma durumuna göre sırasıyla video çerçevesinin ortada yer alan %5, %12, %25'lik kısmının içinde yer alıyorsa "ortada" olduğu kabul edilir. Amaçlanan ilgililik sınıflandırma olduğu için "ortada" ve "yanda" sınıfları sırasıyla "olası ilgili" ve "olası ilgisiz" sınıflarını temsil etmektedir. Baş hareketlerini sınıflandırma, olasılıksal bir yöntem olan SIFT akış hareket kestirimi ile hesaplanan akış vektörleri yardımıyla yapılmaktadır. Burada akış vektörlerinin açı ve genlik bilgisini içeren 2 boyutlu öznitelik vektörleri kullanılmaktadır. Bu yöntemde başarımı arttırmak amacıyla, video kareleri gri düzeyi bilgilerinin doğrudan kullanılması yerine, SIFT öznitelikleri ile hareket kestirimi yapılmaktadır. Kullanılan SIFT akış algoritması enerji enküçüklemeye dayalı bir yöntem olarak ele alınmakta ve enerji fonksiyonunu enküçükleyen değer akış vektörü olarak belirtilmektedir. Burada enküçükleme yöntemi olarak inanç yayılım algoritması kullanmaktadır. İlgililik sınıflandırma başarımını arttırmak amacıyla önerilen konum ve hareket sınıflandırma karar tümleştirme yöntemi için öncelikle konum sınıflandırma ile "orta" olarak etiketlenen video çerçeveleri bulunur. Daha sonra belirlenen bu video çerçeveleri için hareket kestirimi ve sınıflandırma gerçeklenerek baş hareketinin ±15 derece ve ±30 derece olarak belirlendiği durumlar 'ilgili', ±45 ve ±60 derece olarak belirlendiği durumlar 'ilgisiz' olarak etiketlenir. Baş konum sezme ile 'yanda' olarak etiketlenen video çerçeveleri ise hareket kestirimi yapılmaksızın 'ilgisiz' sınıfına atanmaktadır. Karar tümleştirme ile ekrana ilgililik sınıflandırma başarımını hesaplamak için, hareket kestirimi eğitim kümesi olarak literatürde kullanılan Pointing'04 veritabanı kullanılmaktadır. Baş hareket açısının göz ile yüzde yüz olarak doğru tahmin edilmesi ve etiketlenmesi zor bir problem olduğu için, bu amaca yönelik olarak açı değerleri hesaplanıp etiketlenmiş bir veritabanı kullanılması gerekliliği doğmuştur. Baş konumu sınıflandırmada ise böyle bir problem ile karşılaşılmadığı için amaca yönelik olarak kaydedilen gerçek videolar kullanılmaktadır. Hareket kestiriminde başarım testleri öncelikli olarak, veritabanı eğitim ve test setleri ile yapılmaktadır. Bu amaçla, her açı ayrı bir sınıfa atanır ve bu sınıflar ikili olarak gruplandırılarak ikili(binary) eğitim-test sınıflandırma yapılır. Baş hareketi yatay doğrultuda olabileceği gibi düşey ve çapraz doğrultularda da olabileceği için her doğrultu için ikili sınıflandırma yapılarak ve başarımlar hesaplanmaktadır. Veritabanı testlerinin yanı sıra hem hareket kestirimi hem de baş konum kesitirimi sınıflandırma için çekilen gerçek videolar ile de testler yapılarak başarım raporlanmaktadır. Sınıflandırma algoritması olarak Rastgele Orman algoritması kullanılmıştır. Yapılan denemelerde bu algoritmanın başarım ve hız açısından literatürde kullanılan algoritmalardan daha iyi olduğu saptanmıştır. Başarım raporlama için 'presicion', 'recall' ve 'F ölçütü' parametrelerinden yararlanılılır. Pointing04 veritabanı eğitim ve test veri setleri ile yapılan ikili sınıflandırma sonuçları ortalama olarak "pan" hareketi için %72, "tilt" hareketi için %62 ve çapraz doğrultularda %62 olarak hesaplanmıştır. Doğruluğun en yüksek olduğu "pan" hareketi için gerçek videolarla testler yapılmıştır ve yapılan testler sonucu görülmüştürki, gerçek videolarda sadece hareket kestirimi öznitelikleri kullanılarak yapılan sınıflandırmada %62 olan ekranla ilgililik saptama başarımı (F ölçütü) öznitelikler tümleştirildiğinde %71'e yükseltilmiştir. Sadece baş konum sezme algoritmasıyla hesaplanan başarım ise %71'dir. Ancak bu algoritmada sınıflar "olası ilgili" ve "olası ilgisiz" olarak belirtildiği için tek başına istenilen ilgililik sınıflandırma problemi için yeterli değildir. Önerilen tümleştirme algoritmasının ve SIFT akış yönteminin başarımını göstermek için gelecek çalışmalar olarak, farklı çözünürlük, farklı doğrultu ve farklı kişiler ile oluşturulmuş videolar ile testler yapılarak başarımının arttığı gösterilecektir.