Olaylardan yeğinlik görüntüleri geriçatmayı öğrenmek

Son on yılda bilgisayarlı görme alanında önemli ilerlemeler kaydedilmiş ve pek çok alanda çeşitli uygulamaların yolu açılmıştır. Yine de, günümüzün yapay görme sistemleri, zorlu gerçek dünya senaryolarına olan dayanıklılıkları, gerçek zamanlı işleme kapasiteleri ve hesaplama verimliliği açısından biyolojik benzerlerine kıyasla hala emekleme aşamasındadır. Bu durumun önemli sebeplerinden biri; düşük zamansal çözünürlüğe, düşük dinamik aralığa, hareket bulanıklığına ve gereksiz bilgi akışına neden olan klasik çerçeve tabanlı görüntü alma ve işleme yöntemlerini izlemeleridir. Olay kameraları adı verilen yeni bir görsel algılayıcı sınıfı, bu sorunlara umut verici çözümler sunmaktadır. Bir olay kamerasının pikselleri, beraberce bir çerçeve yakalamak yerine bağımsız olarak çalışır ve yerel parlaklık değişikliklerine yanıt olarak olay adı verilen asenkron sinyaller üretirler. Bunun sonucunda olay kameraları, geleneksel çerçeve tabanlı sensörlere kıyasla yüksek dinamik aralık, yüksek zamansal çözünürlük, düşük gecikme süresi ve minimal hareket bulanıklığı gibi birçok avantaja sahiptir. Bu tez, olaylardan yeğinlik görüntüleri geriçatmaya odaklanmaktadır. Yeğinlik bilgisinin yeniden oluşturulması, zorlu senaryolarda olayların avantajlarından yararlanarak yüksek kaliteli görüntüleme sağlamaktadır. Bu da çerçeve tabanlı görüntüler için geliştirilen mevcut yöntemlerin uygulanabilmesini sağlar ve olay verilerini içeren insan merkezli uygulamaları kolaylaştırır. Bu göreve ilişkin üç ana katkı sunmaktayız: görüntü kalitesi ve verimlilik açısından mevcut yöntemleri aşan yenilikçi bir yöntem, kapsamlı bir değerlendirme kütüphanesi, ve geniş bir denektaşı veri kümesi. Öncelikle, HyperE2VID adında, hiperağlara dayanan, yenilikçi ve dinamik bir sinir ağı mimarisi geliştirilmiştir. HyperE2VID, olay verilerini statik ağlarla işleyen mevcut çalışmaların aksine, olay verilerine dinamik olarak uyum sağlamak üzere tasarlanmıştır. Kullanılan bağlam birleştirme modülü, olay ve çerçevelerin birbirini tamamlayıcı unsurlarından yararlanmakta, filtre ayrıştırma adımları ise hesaplama maliyetini azaltmaya yardımcı olmaktadır. Bu tasarım sayesinde, HyperE2VID hem görüntü kalitesi hem de hesaplama verimliliği açısından mevcut yöntemleri aşmaktadır. İkinci katkımız, olaylardan yeğinlik geriçatma yöntemlerini değerlendirmek ve analiz etmek için açık kaynaklı bir kütüphane olan EVREAL'dır. EVREAL, çeşitli zorlu senaryoları dikkate alarak, kapsamlı gerçek dünya veri kümelerini kullanarak, birkaç anahtar değişkene karşı sağlamlığı ölçerek ve birden çok metrik ve görev aracılığıyla performansı değerlendirerek, farklı geriçatma yöntemlerini bütünleşik ve kapsamlı bir şekilde değerlendirebilmemizi sağlamaktadır. Bu değerlendirme gerçek dünya senaryolarına genelleştirilebilirliği, adil karşılaştırmayı ve yeniden üretilebilirliği garanti etmektedir. Üçüncü katkımız, HUE adında yeni bir denektaşı veri kümesidir. HUE veri kümesi yüksek çözünürlüğe ve çeşitli senaryolarda çekilmiş çok sayıda sekansa sahiptir. Önemli bir kısmı olaylardan yeğinlik görüntüleri geriçatma açısından zorlayıcı ancak ödüllendirici olan düşük ışıklı sahneleri içerecek şekilde çekilmiştir. HyperE2VID, önerdiğimiz HUE veri seti de dahil olmak üzere çeşitli veri setlerinde ve EVREAL kullanılan geniş çaplı deneylerle değerlendirilmiştir. Her yöntemin farklı koşullar altındaki görüntü kalitesini değerlendirmek için çeşitli metrikler kullanılmıştır. Ayrıca hesaplama karmaşıklığı analiz edilmiş ve HyperE2VID'in tasarım seçimlerinin birçoğunu doğrulamak için detaylı bir ablasyon çalışması sunulmuştur. Deneysel sonuçlar, yaklaşımımızın görsel kalite açısından önceki yöntemlere göre daha iyi videolar oluşturabildiği ve aynı zamanda daha düşük bellek tüketimine sahip olduğu ve çıkarım sürelerini azalttığını göstererek önerilen dinamik mimarinin başarısını vurgulamıştır. Olay tabanlı görme literatürünün büyümeye devam edeceğini ve olay kameralarının önümüzdeki yıllarda daha yaygın hale geleceğini öngörmekteyiz. Yöntemimiz HyperE2VID'in, değerlendirme kütüphanemiz EVREAL ve denektaşı veri kümemiz HUE ile birlikte, hesaplama açısından verimli şekilde yüksek kaliteli ve gürbüz görüntüleme sağlamaya yönelik önemli bir adım olduğuna inanıyoruz.