Ses olay tespit problemine derin öğrenme tabanlı çözümler

Mülk güvenliği için üretilen gelişmiş kamera sistemleri, fiziksel olarak kolayca devre dışı bırakılabilmeleri nedeniyle çoğu zaman yetersiz kalmaktadır. Bu sınırlamayı aşmak amacıyla, olası tehditlere ait ses verilerinin güvenlik sistemlerine dâhil edilmesi, geleneksel yöntemlere önemli bir katkı sunmaktadır. Ses tabanlı algılama sistemleri, düşük maliyetli donanımlar (örneğin mikrofonlar) ile kurulabilen kompakt yapıları sayesinde görsel tabanlı güvenlik çözümlerine etkili ve ölçeklenebilir bir alternatif oluşturmaktadır. Bu çalışmada, adım sesi olaylarının sınıflandırılması amacıyla Evrişimli Sinir Ağı (CNN) tabanlı bir derin öğrenme yöntemi önerilmektedir. Geliştirilen model, çevresel sesler arasından adım seslerini tespit etmeye odaklanarak, mülk güvenliğine karşı tehditlerin erken fark edilmesini kolaylaştırmaktadır. Çalışmanın ilk aşamasında, gerçek yaşamdan çeşitli ses olaylarını içeren ReaLISED veri kümesi kullanılmıştır. Ancak bu veri kümesine dayalı ilk değerlendirme sonuçları görece düşük performans göstermiştir. Yapılan analizler, sınıf dengesizliği ve düşük kaliteli ya da tutarsız ses örneklerinin, modelin genelleştirilebilir örüntüler öğrenme kapasitesini sınırladığını ortaya koymuştur. Bu sorunları gidermek adına ikinci aşamada, düşük kaliteli veriler dikkatlice elenmiş ve Epidemic Sound platformundan temin edilen yüksek kaliteli adım sesi örnekleri ile veri kümesi zenginleştirilmiştir. Bu iyileştirme, sadece sınıf dağılımlarını dengelemekle kalmamış, aynı zamanda genel veri kalitesini artırarak modelin gerçek dünya koşullarında daha tutarlı ve güvenilir sınıflandırma performansı göstermesini sağlamıştır. Her bir ses olayı, Mel-Frekans Kepstrum Katsayıları (MFCC) temsiline dönüştürülmüştür. Ayrıca, MFCC ile ilgili ayarlar üzerinde kapsamlı parametre optimizasyonu gerçekleştirilmiş; özellikle n_fft ve n_mfcc değerleri, öznitelik çözünürlüğü ve sınıflandırma doğruluğu açısından optimize edilmiştir. Elde edilen MFCC temsilleri, CNN modelinin eğitimi için görüntü benzeri girişler olarak kullanılmıştır. Önerilen model, 17 farklı ses kategorisinden, adım sesi olaylarını %98 doğruluk oranı tespit etmeyi başarmıştır. Modelin sağlamlığı, 5 katlı ve 10 tekrar içeren Tekrarlı Katmanlı K-Fold Doğrulama yöntemi ile test edilmiş; F1-skorları 0.905 ile 0.992 arasında değişmiş ve ortalama 0.960 olarak hesaplanmıştır. Ek olarak, ResNet50, ResNet101, EfficientNetB0, EfficientNetB4 ve CRNN gibi güncel mimarilerle yapılan karşılaştırmalı değerlendirmeler, önerilen CNN modelinin etkinliğini pekiştirmiştir. Açık kaynaklı verilerin stratejik biçimde sisteme entegre edilmesi, şeffaflık ve tekrar edilebilirlik ilkelerini destekleyerek sistemin gerçek hayattaki ses tabanlı gözetim uygulamaları alanında taşıdığı pratik değeri güçlendirmiştir.