Mekansal-zamansal tutarlılığı keşfederek görsel temsil öğrenimi

Video temsili öğrenimi, bilgisayarla görme alanında temel bir araştırma konusudur. Bu alan, video verilerini belirgin ve ayırt edici temsillere kodlamak için yöntemler ve modeller geliştirmeye odaklanır. Bu temsiller, video sınıflandırma, eylem tanıma, video arama ve video açıklama gibi alt görevlerde etkili bir şekilde kullanılabilir. Video temsili öğreniminin temelinde, sahneyi, aktörü ve aktörün nesneler ve sahne elemanları gibi çevresiyle ilişkisini anlamak yatar. Görsel içeriğin zaman içindeki geçişini öğrenmek için bir modelin, video dizilerinde doğrudan kodlanmış zamansal ve mekansal bilgileri yakalaması ve çeşitli uygulamalarda faydalı olabilecek uzaysal-zamansal temsilleri çıkarması gerekir. Bu tez, hareket özniteliklerine odaklanan özdenetimli video temsili öğrenimi problemini ele almakta ve arka plan yanlılığını azaltarak ön plandaki hareketlerden öznitelikler yakalamayı amaçlamaktadır. Son dönemde başarılı yöntemler genellikle örnek ayrımı tabanlı yaklaşımları kullanmakta olup, bu yaklaşımlar yoğun hesaplama gerektirebilir ve verimsiz ve yorucu bir ön eğitim sürecine yol açabilir. Ayrıca, bu tezde önerilen yöntemler hareket öznitelikleri için optik akış, H264 codec öznitelikleri veya herhangi bir hareket tanımlayıcı gibi ek hesaplamalar gerektirmez. Çeşitli çalışmalar iki kanallı ağlar kullanarak hareket öğrenimini amaçlasa da, bu tez çalışması uzaysal-zamansal öznitelikleri öğrenmek için tek kanallı çözümleri aramaktadır. Bu doğrultuda, MAC: Mask-Augmentation TeChnique(Maskeleme-tabanlı Artırma Tekniği) adlı veri artırma tekniğini kullanıyoruz. MAC, video kareleri-farkına dayalı maskeler kullanarak ön plan hareketini harmanlar ve uygulanan dönüşümü tanımayı bir ön görev olarak belirler. Ön eğitim aşamasında doğru harmanlama katsayısını tahmin etme oyununu içeren modelimiz, hareket temelli temsil özniteliklerini kodlamaya zorlanır ve bu özniteliklerini daha sonra eylem tanıma ve video arama gibi alt görevlere başarıyla aktarılır. Ayrıca, temsili yetenekleri daha da artırmak için uzaysal ve zamansal alanlarda ek görevler ekleyerek yaklaşımımızı bütünleşik bir öğrenme çerçevesinde karşıt öğrenme ile genişletiyoruz. UCF-101, HMDB51 ve Diving-48 veri setlerinde düşük kaynak tüketimi ayarlarında yöntemimizin üstün performans elde ettiğini ve yoğun kaynak tüketimi ayarlarında örnek ayrımı tabanlı yöntemlerle rekabetçi sonuçlar elde ettiğini gösteren deneysel sonuçlar sunuyoruz. Önerilen yöntemlerin öğrenme davranışını ve her bileşenin katkısını analiz etmek için özenle tasarlanmış ablasyon deneyleri yapıyoruz. Son olarak, sunulan yöntemlerin faydalarını daha da vurgulamak için nitel sonuçlar sunuyoruz. Artırma tekniğimizin, ilişkili ön görev ve karşıt öğrenme hedefleriyle birlikte, özdenetimli video temsili öğreniminde gelecekteki gelişmelerin temelini oluşturacağına inanıyoruz.