Videolarda insan eylemlerini tanımada poligon tabanlı öznitelik çıkarımı

Videolardaki insan eylemlerinin tanınması ve sınıflandırılması için, silüet tabanlı yeni bir öznitelik çıkarma yöntemi önerilmiştir. Bu amaçla, "Hareket Geçmişi Görüntüsü (HGG)" ve "Poli-Siluet (PoS)" adı verilen yeni görüntü şekilleri, yeni bir "Poligonlaştırma Algoritması (PoG)" ve yeni bir "Poligon Kodlama Algoritması (PoC)" geliştirilmiştir. Önerilen yöntem, "Silüet Videolarından (SiVi)" , HGG'lerin elde edilmesi, daha az köşeye indirgenerek poligon formuna dönüştürülmesi ve kodlanmasına dayanmaktadır. Geleneksel siluet oluşturma yöntemleri siluetlerin gövde bütünlüğünü tek başlarına karşılayamadıklarından, bu sorunu aşmak için, görüntü ve videolarda yer alan insan ve nesneler üzerinde örnek bölütlemesi yapabilen Yolact++'ın kodları değiştirilerek, modelin ürettiği insan maskeleri ile SiVi'ler oluşturulmuştur. Hareketi daha iyi tanımlayan HGG'ler, ardışık olmayan SiVi karelerindeki silüetleri ağırlık merkezlerine göre toplanması ile elde edilir. Poligonlaştırma işlemi, HGG görüntülerine uygulanır. PoG, eğri şekilleri ve görüntülerin poligonlaştırılmasına dayansa da, çalışması tam olarak bunlara benzemez. PoG, HGG'nin kontur koordinatlarını hızlı bir şekilde istenilen boyuta indirger. Elde edilen poligonlaştırılmış HGG görüntülerine PoS adı verilir. PoC algoritması, PoS görüntüsünü parametre olarak alır ve içerisindeki şeklin sol üst köşe koordinatından başlayarak, saat yönünün tersinde dolanırken, üzerinden geçilen her bir kenar ile bir vektör oluşturur. Bu esnada vektörün, çalışmada belirlenen sekiz adet açısal alandan hangisine iz düşümü olduğunu hesaplayarak, ilgili vektörün kodunu belirler. Bir PoS'un tüm kenar vektörlerinin kodları, dolaşılma sırasıyla dizi içine kaydedildiğinde, o vektörler ile oluşan PoS için poligon kodu elde edilir. Uzun poligon kodları ile kolay işlem yapılabilmek ve farklı uzunlukta vektörler oluşturulabilmek için, genetik algoritmada kullanılan k-mer gruplandırma tekniği benzeri bir yaklaşım çalışmada geliştirilmiştir. Düşünülen işlem poligon kodunun normalizasyonunu sağlamakla kalmamış, aynı zamanda poligon kodunun adaptif bir çekirdeğe göre uyarlanmasını doğurarak çalışmada önceden düşünülmeyen, farklı bir boyuta bu çalışmayı taşındığı görülmüştür. Gruplama k boyu olarak farklı uzunluklar seçilmiş ve poligon kod grupları, k boyuna göre oluşabilecek en büyük kodlara bölünerek normalize edilmiştir. Önerilen öznitelik çıkarma yöntemi, herhangi bir aksiyon videosunun karelerinden elde edilmiş PoS üzerinde eşit uzunlukta öznitelik vektörlerinin üretilmesini garanti eder, bu durum, boyut sorununun üstesinden gelmek için ekstra boyut indirgeme algoritmalarının kullanımına ihtiyacı ortadan kaldırır. Farklı k-mer uzunlukları, çalışmada kullanılan veri setleri üzerinden elde edilen öznitelik vektörlerinde denenerek "işlem hızı" ile "sınıflandırma doğruluğu" karşılaştırmaları yapılmıştır. Yöntem, HMDB51 ve UCF101 veri setleri üzerinde denenmiş en iyi performans veren k-mer boyu ve sınıflandırma doğruluk sonuçları, diğer çalışmalarla karşılaştırılmış ve daha başarılı sonuçların elde edildiği görülmüştür. Ayrıca, çalışmaya özgü hazırlanan Yoga veri seti üzerinde HGG görüntülerinin farklı formları ile ek olarak derin ağ uygulamaları da gerçekleştirilmiş ve kayda değer cesaretlendirici sonuçlar alınmıştır.