Aşırı düşük çözünürlüklü videolarda aksiyon tanıma

Makine öğrenimi ve derin öğrenme yaklaşımlarının hızlı evrimi, özellikle video içerik betimleme, tanımlama ve bölütleme gibi karmaşık ve ağır hesap gücü gerektiren problemlerde gürbüz çözümler sunmaktadır. İnsan hayatını kolaylaştıran bu çözümlerin başarımı, çok miktarda yüksek çözünürlüklü video verisi sayesinde sağlanmaktadır. Ancak bu yüksek kalitedeki video sahneleri, kişiler ve ortamlar hakkında kişisel verileri içerir. Kişilerin bu veriler üzerindeki hakları sınırlı olmakla beraber, verilerin saklandığı depolama ortamları sanal saldırılara maruz kalabilmektedir. Ayrıca, yüksek çözünürlükteki videoların saklanması ve işlenmesi günden güne maliyeti artan bir giderdir. Bu noktada aşırı düşük çözünürlükteki video örnekleri (12 x 16), hem kişisel bilgiyi içermezken hem de sahip oldukları küçük boyutlardan dolayı daha uygun bir depolama maliyeti sunabilmektedir. Ancak kişisel bilgi olmadığı gibi, bu düşük çözünürlükte sahnelerdeki zamansal ve uzamsal bilgiler de çok limitli bir miktarda bulunmaktadır. Bu tez, aşırı düşük çözünürlükteki videolardaki aksiyonları tanımaya odaklanmaktadır ve bu konuda özgün derin öğrenme tabanlı yaklaşımlar sunmaktadır. Bu bağlamda, mevcut literatürde kullanılan yüksek çözünürlüklü video aksiyon tanıma veri setleri olan UCF-101 ve HMDB-51 veri setlerinin aşırı düşük çözünürlüklü örnekleri oluşturulmuştur. Böylece, literatürle karşılaştırılabilir bir senaryo hazırlanmıştır. Daha sonra, bu düşük çözünürlüklü verilerin sınırlı zamansal ve uzamsal bilgi kalitesini iyileştirmek için sahne tabanlı bir süper çözünürlük algoritması kullanışmıştır. Sonrasında aşırı düşük çözünürlüklü videolardaki aksiyonları tanımak için bilgi damıtma tabanlı yeni derin öğrenme modelleri geliştirilmiştir. Modellerde kullanılan, öğretmen ağlarının ilgili veri setlerindeki yüksek çözünürlüklü eşlerinde, ön eğitimlerini sağlanmıştır. Bu düşük çözünürlükteki zamansal ve uzamsal bilgileri öğrenecek olan öğrenci ağı için farklı özgün derin modeller önerilmiştir. Bununla beraber bu öğrenci ağlarının eğitimi için öznitelik tabanlı yeni damıtla kayıp fonksiyonları tanımlanmıştır. Eğitim sırasında, öğretmen ağından öğrenci ağına bilgi aktarımını daha etkili hale getirebilmek için çapraz çözünürlük dikkat modülleri önerilmiş ve olası kullanım noktalarını deneysel olarak sunulmuştur. Ayrıca, bu zor problemin çözümünde sunduğumuz özgün derin öğrenme yapılarının kullandıkları bilgi uzayları arttırılmıştır. Video sahnelerindeki hareketi modelleyen optik akış düzlemindeki bilginin aşırı düşük çözünürlük uzayına, etkin bir şekilde aktarımı sağlamak amacıyla, yeni bir öğretmen modeli geliştirilmiştir. Bu yeni öğretmen yapısının etkisi detaylı deneyler ile sunulmuştur. Sonrasında yüksek çözünürlüklü sahnelerdeki, yüksek frekanslı bilgilerin, sahnelerdeki uzamsal detayları temsil ettiği gerçeğinden yola çıkarak, aşırı düşük çözünürlüklü video aksiyon tanıma literatüründe ilk defa frekans uzayı öznitelikleri öğrenci ağına aktarmak üzere kullanılmıştır. Yaptığımız deneylerde, aşırı düşük çözünürlüklü videolardaki aksiyon tanıma yeteneklerimizin UCF-101 veri seti için literatürdeki en yüksek tanımlama başarısına sahip olduğu, HMDB-51 veri seti için ise rekabetçi başarı seviyelerine ulaştığı gösterilmiştir.