İmgelerde ilgi mekanizması ile insan hareketlerinin tanınması

İmgelerde insan hareketlerini tanıma videolarda bulunan tüm hareket bilgisini içermediğinden zor bir problemdir. Sürekli bir hareketin tek bir anını, videodan sağlanan zengin bilgi ile kıyaslamak mümkün değildir. Bu tezde biz, etraftaki bilgiyi iki farklı ilgi tabanlı çoklu örnekle öğrenme mekanizması ile birleştirerek imgelerde insan hareketleri tanıma konusuna odaklandık. İnsan etrafındaki eşyalar veya sahne detayları imgelerde hareket tanıma için önemlidir. Fakat olası tüm nesneleri veya sahneleri tespit edebilmek yapılabilir değildir. Bu sebeple, bölge önerme ağları tarafından önerilen hareket ile ilgili alanları birleştirecek iki farklı ilgi mekanizması kullanmayı önerdik. Önerdiğimiz ilgi mekanizmalarından ilki olan aşağıdan-yukarıya ilgi katmanı her önerilen alan için uzamsal bir harita öğrenir. Bu harita, hareket ile ilgili olmayan pikselleri bastırırken hareket ile ilişkili piksellerin ön plana çıkmasını sağlar. Deneylerimiz yukarıdan-aşağı ilgi katmanlarının tüm modelin başarımını yükselttiğini göstermektedir. Ön plana çıkartılan alanların görsel olarak incelenmesi sonucunda da katmanın, hareketle alakalı nesne, arka plan ipuçları ve poz kesimlerini başarılı bir şekilde bulabildiği görülmüştür. Önerdiğimiz ilgi mekanizmalarından diğeri ise yukarıdan-aşağı ilgi katmanıdır. Bu katman, bölge önerme ağı tarafından önerilmiş hangi bölgelerin hareketle ilgili olduğunu öğrenir. Belirli bölgelerde bulunan ipuçları birden çok hareketle ilişkili olabileceği için aşağıdan yukarı ilgi katmanı tamamını ön plana çıkarsa da hangi bölge bileşimlerinin hareketle ilişkili olacağını yukarıdan-aşağı ilgi katmanı seçer. Bu katman bölge bileşimlerini seçer ve bölgelere ait öznitelik vektörlerini ilgiye dayalı bir şekilde birleştirerek tüm görüntüyü ifade eden tek bir öznitelik vektörü yaratır. Deneylerimiz sonucu yukarıdan-aşağı ilgi katmanının başarılı bir şekilde ilgili bölgeleri seçtiğini ve toplam başarımı arttırdığını gözlemledik. Önerdiğimiz model herhangi bir bölge önerme ağından sonra konumlandırılabilir ve uçtan uca bir öğrenme yapılmasını sağlar. Bu şekilde tüm ağ, hareket ile ilgili bölgeleri seçmeyi, bu bölgeleri uzamsal olarak ağırlıklandırmayı ve hareket ile ilişkili bölgeleri en iyi şekilde birleştirerek tüm görüntüyü ifade eden bir öznitelik vektörü oluşturmayı öğrenir. Sonuç olarak önerdiğimiz model dört farklı veri kümesinde literatürdeki en iyi yöntemlerin sonuçlarını iyileştirdi.