Videolarda derin öğrenme yaklaşımları ile anormal durum tespiti ve boyut indirgeme sistemi

Kurum ve kuruluşlarda, videolarda anormal durumların tespit edilmesi için genellikle güvenlik kamera sistemleri kullanılmaktadır. Güvenlik kamera sistemlerinin yönetilmesinde ise güvenlik personeli kaynağı kullanılmaktadır. Güvenlik personellerinin dikkati ve takibatları sayesinde, güvenlik kamerası sistemlerindeki video görüntülerinde anormal bir durum tespit edilip gerekli müdahaleler yapılmaktadır. Güvenlik personeli kaynağının insan olması sebebiyle sahip olmaları gereken dikkat ve takibatlarını, fizyolojik, biyolojik ve ruhsal gibi birçok insani yapı etkilemektedir. Güvenlik kamerası videolarının anlık takip edilmesinin yanı sıra depolanması da oldukça önemlidir. Videolarda detaylı analiz işlemleri ve hukuki takibatının yapılabilmesi için videoların kayıt edilmesi ve depolanması gerekmektedir. Güvenlik kamera sistemlerindeki video kayıtlarının depolanmasında geçmişe dönük zamansal artış doğrudan sistemin kullanışlığını, güvenirliğini ve beraberinde dezavantajlı bir durum olan sistemin maliyetini artırmaktadır. Bu tez çalışması iki aşamalı olarak planlanmıştır. Birinci aşamada, videolardaki anormal durumların, derin öğrenme tabanlı ve insani yapılardan etkilenmeyen bilgisayarlı görüntüleme teknikleri ile tespit edilmesi amaçlanmıştır. Bu aşamadaki çalışma neticesinde, anlık video görüntülerinde anormal durumlardan otomatik silah, bıçak ve şiddet tespiti sistemi yapılmıştır. Bu çalışma Covid-19 pandemisi dönemlerinde yapıldığından, videolarda anormal durum tespit işlemlerinin yapılabilmesi için gerçekleştirilen model eğitimlerinde veri kümeleri anonim ve telif hakkı içermeyen internet ortamlarından, YouTube görüntülerinden ve açık kaynak erişimli olan akademik çalışma veri kümelerinden derlenmiştir. Deneysel çalışmalarda derin öğrenme tabanlı, görüntü işleme tekniklerinden YOLOv4, YOLOv5, YOLOX ve YOLOR modelleri kullanılmıştır. En yüksek başarım değeri, YOLOR modeli ile % 97,6 olarak elde edilmiştir. Şiddet tespiti için ise, EfficientDet D0-D7, YOLOv5 ve Faster R-CNN modeli uygulanmış ve en iyi başarı değeri EfficientDET D0-D7 modeli ile %94,1 elde edilmiştir. Bu tez çalışmasının ikinci aşamasında, güvenlik kamerası video kayıt görüntülerinde anormal durumların sınıflandırılması ve görüntülerin depolamasında boyut indirgenmesi çalışması yapılmıştır. Görüntü sınıflandırması için veri kümeleri, tezin birinci aşamasındaki anormal durum algılanması ve tespitinde olduğu gibi anonim telif hakkı içermeyen veri kümelerinin derlemesinden oluşturulmuştur. Bu sınıflandırma işlemleri için derin öğrenme temelli önceden eğitilmiş derin ESA mimarilerinden AlexNet, GoogleNet, VGG16, VGG19, SqueezeNet, Inception, ResNet18 ve ResNet50 ile TSA mimarilerinden LSTM ve GRU kullanılmıştır. Anormal durumlardan silah ve bıçak sınıflandırılması işleminde en iyi başarım değeri ince ayar yaklaşımına dayalı eğitilmiş VGG16 modeli ile elde edilmiştir. Şiddet sınıflandırılması çalışmasında en iyi başarım değeri ise AlexNet modeli ile %100 doğruluk skoru elde edilmiştir. Boyut indirgeme çalışması için, tezin ikinci aşamasında yapılmış olan sınıflandırma verileri ve temel görüntü işleme teknikleri ile video resim çerçeveleri farkları hesaplanarak özgün boyut indirgeme modeli üretilmiştir. Bu model, kullanıcıların rahatlıkla kullanabilmesi, kurum ve kuruluşların gereksinimlerine göre hassasiyetinin kontrol edilmesi ve sistem sorumlusunun teknik destek verebilmesi gibi ayrıntılar dikkate alınarak geliştirilmiştir. Bu sistem, insan bilgisayar etkileşimine uygun olarak Matlab AppDesigner platformu aracılığıyla tasarlanmıştır Bu tez çalışmasında, şiddet, silah ve bıçak tespitine ve sınıflandırılmasına dayalı deneysel çalışmalar yapılmıştır. Ayrıca, bu deneysel çalışmaların uygulanabilir bir hale getirilmesi ve görüntülerin depolamasında kazanç elde edilebilecek özgün bir boyut indirgeme sistemi geliştirilmiştir. Bu çalışmalar neticesinde video sistemlerinde anlık ve görüntü arşiv kayıtlarında analiz işlemlerinde kullanılmak üzere şiddet, silah ve bıçak tespiti ve sınıflandırma çalışmaları başarı ile gerçekleştirilmiştir. Görüntülerde anlık tespit çalışmaları, güvenlik kamera sistemlerine direk olarak bağlanıp kullanılabilmektedir. Gerçekleştirilen arşiv görüntü analizi çalışmaları ise, bu çalışmaya özgü insan bilgisayar etkileşimleri kuralları gözetilerek hazırlanan görüntü analizi ve boyut indirgeme sistemine bağlanmıştır. Bu çalışmada, gerçekleştirilen özgün boyut indirgeme sistemi sayesinde hareketsiz ortamlarda % 10 ile %40 arasında kazanç sağladığı gözlemlenmiştir. Sonuç olarak, bu tez çalışmasında bütün amaç ve hedefler başarılı bir şekilde yerine getirilmiştir.