Kolektif aktivite tanıma için derin öğrenme yapıları

İnsan gruplarının videolardaki hareketlerini analiz eden kolektif aktivite tanıma, video gözetim sistemlerinin temel amacıdır. Bu tez kapsamında, kolektif aktivite tanıma problemi için üç yeni çözüm ve bir yeni veri seti önerdik. İlk yöntemde, birden fazla bölgeden çıkarılan bilgileri kullanan yeni bir çok akışlı evrişimsel sinir ağı mimarisi öneriyoruz. Önerilen yöntem, çoklu akış ağını ve çoklu bölgeleri bu alanda kullanan ilk çalışmadır. Mekansal ve zamansal akışları birleştirmek için çeşitli stratejiler araştırılmıştır. Önerilen yöntemi bu alandaki iki karşılaştırmalı veri seti üzerinde değerlendiriyoruz, Kolektif Aktivite veri kümesi ve Voleybol veri kümesi. Deneysel sonuçlarımız, önerilen yöntemin, en modern yaklaşımlarla karşılaştırıldığında kolektif aktivite tanıma performansını iyileştirdiğini göstermektedir. Bu sorunu çözmeye çalışırken, mevcut veri setlerinin derin öğrenme yöntemleri için yetersiz olduğunu ve birçok sınırlaması olduğunu fark ettik. Daha sonra, kolektif aktivite ve spor kategorilerinin olduğu çoklu görev tanıma içeren yeni bir veri seti olan "Kolektif Spor (C-Spor)" veri setini sunuyoruz. Bu veri seti üzerinde, çok görevli bir varyantla birlikte, performansın arttığını gösteren çeşitli teknikler değerlendirilmektedir. Deneysel sonuçlardan, spor eylem kategorisi tanımanın nispeten kolay bir görev olmasına rağmen, özellikle uzak görüşe sahip durumlar için, kolektif aktivite tanıma için hala iyileştirme için yer olduğunu söyleyebiliriz. C-Spor veri setinin bu araştırma alanında daha fazla ilgi çekeceğine inanıyoruz. Önerilen ikinci yöntemimiz dikkat mekanizmasını içermektedir. Aksiyon tanıma ve kolektif aktivite tanıma görevleri için yumuşak dikkat temelli dikkat mekanizmasını kullanıyoruz. Videolarda dikkat gerektiren bölgelere yoğunlaşan dikkat haritaları kullanıyoruz. Bu dikkat mekanizmasını, standart 3B evrişimsel sinir ağları (C3D) ve şişirilmiş 3B evrişimsel sinir ağları (I3D) olan iki ayrı 3B evrişimsel sinir ağları mimarileriyle birlikte kullanan bir yöntemi tanımlıyoruz. Yöntemimizi dört temel veri kümesi üzerinde değerlendiriyoruz; İkisi eylem tanıma görevi ile ilgilidir, UCF101 ve HMDB51. Diğerleri ise kolektif aktivite tanıma problemi ile ilgilidir, Kolektif Aktivite Veri Kümesi ve Kolektif Spor Veri Kümesi. Deneysel sonuçlar, 3B dikkat tabanlı evrişimsel sinir ağlarının, dikkat mekanizması olmayan 3B evrişimsel sinir ağları mimarileriyle karşılaştırıldığında değerlendirilen tüm veri kümelerindeki tüm alanlarda (aksiyon tanıma ve kolektif aktivite tanıma) performansı iyileştirdiğini gostermektedir. Bu tez kapsamında için önerdiğimiz son yöntem ise ilişkisel mantık yürütme yöntemini ve 3B dikkat mekanizmasını içermektedir. 3B dikkat mekanizmasına sahip 3B bir zamanmekansal ilişki ağı öneriyoruz. Bu mimariyi, Zamansal İlişki Ağları (TRN) çalışmasını temel alarak adım adım yeni yöntemler ekleyerek yaratıyoruz. İlk olarak, TRN mimarisine 2B dikkat mekanizması eklendi. Daha sonra 2B mimari 3B uzaya taşındı. Son olarak, 3B TRN mimarisine 3B dikkat mekanizması eklendi. Bu ağları bir aktivite tanıma ve üç kolektif aktivite tanıma veri seti üzerinde değerlendiriyoruz, Bir Şey-Bir Şey-v1, Kolektif Aktivite Tanıma, Kolektif Spor ve Voleybol veri setleri. Sonuçlarımız, dikkat mekanizmasına sahip yöntemlerin tanıma performansını iyileştirdiğini göstermektedir. Ayrıca, 3B ağlara sahip yöntemlerin 2B ağlara göre daha iyi doğruluk değeri elde ettiğini göstermektedir.