A scenario-based query processing framework for video surveillance

Video gözetim son yıllarda en çok ilgilenilen ve üzerinde çalışılan video işleme uygulama alanlarından biridir. Olağandışı durum yakalamak için anlamsal içeriğe otomatik erişim en temel görevlerdendir; ancak büyük girdi boyutu ve görsel özelliklerdeki değişkenlik nedeniyle problem zorluğunu korumaktadır. Literatürde gözetim videolarına otomatik erişim alanında yeterli çalışma yapılmış olmasına rağmen olay modelleri ve içerik erişimi alanlarında anlambilimsel eksiklikler bulunmaktadır. Bu tez kapsamında özellikle iç mekan videoları için senaryo tabanlı sorgulama çatısı önerilmektedir. Senaryo olay yüklemlerinden oluşan bir dizi olarak belirlenmekte ve nesne tabanlı düşük-düzey özellikleri ve yönsel yüklemler ile zenginleştirilebilmektedir. Ayrıca, anahtar çerçeve etiketleme tekniği önerilmektedir. Bu teknik anahtar çerçeve yakalama algoritmasından gelen anahtar çerçevelere etiket atayarak videonun olay dizisi olarak ifade edilmesini sağlamaktadır. Anahtar çerçeve yakalama, içeriğin bakış tabanlı gösterilmesini sağlayan ters izleme yöntemine dayanmaktadır. Bu olay dizisi gösterimi kullanılarak olağandışı durum yakalamak amacıyla sonlu durum makinesi tabanlı mekanizmalar geliştirilmiştir. Bu mekanizmalar ayrıca yardımcı veri çıkarma işleminde de kullanılmaktadır. Senaryo tabanlı sorgulama çatısı ters izleme yöntemini sayesinde olay sonu analizi için ters sorgulama ve bakış tabanlı sorgulamayı desteklemektedir. Desteklenen sorgu tiplerini ifade etmek amacıyla özel olarak tasarlanmış bir gözetim sorgu dili önerilmektedir. Sorgu dilinde ifadeyi kolaylaştırmak için ayrıca görsel sorgu belirleme arayüzü geliştirilmiştir. Başarım deneylerinde gösterildigi gibi anahtar çerçeve etiketleme algoritması bellek gereksinimini önemli ölçüde düşürmekte ve yeterli düzeyde olağandışı durum yakalama başarımı göstermektedir. Ayrıca sorgulama işlemi başarımının video gözetim alanında etkili ifade gücü ve yeterli erişim doğruluğuna sahip olduğunu göstermek için deneyler yapılmıştır.