Ses olayı tanıma ve akustik sahne geri getirimi

Çevresel ses olarak tanımlanan ses olayları içerisinde birçok önemli bilgiler bulunabilir. Bu çözümlenmemiş ses sinyallerinin otomatik sistemler tarafından anlamlı verilere dönüştürülmesi önemlidir. Bunun için otomatik sistemlerde ses tanıma, sınıflandırma ve geri getirimi gibi işlemlerin performanslı olması istenmektedir. Çalışma alanları bakımından; savunma sanayi, güvenlik sistemleri, çokluortam arama motorları ve nesnelerin interneti gibi popüler alanlarında bu geliştirilen sistemler kullanılabilir. Bu sinyallerin belirli bir karakteristik özellikleri bulunmaması ve ardı ardına veya örtüşen arka plan seslerine sahip olması bu problemi zorlaştıran nedenler olarak sayılabilir. Bu çalışmada; sayısal ses kayıtlarından anlamsal bilgi çıkarımı (ses olayı ve akustik sahne) ve bu bilgilerin kullanımı ile ses kayıtlarının geri getirimi problemleri ele alınmıştır. Çalışma kapsamında, başarıma katkıda bulunabileceği düşünüldüğünden ses sinyallerinden çeşitli öznitelik çıkarım yöntemleri denenmiştir. Ayrıca çeşitli derin sinir ağlar ile geliştirilmiş öğrenme modelleri incelenmiştir. Tarafımızca bilindiği kadarıyla daha önce akustik sahne sınıflandırma probleminde uygulanmamış, imgesel tanımlama problemlerinde başarılı olan uzamsal piramit veri birleştirme (SPP) yöntemi ilk defa akustik sahne sınıflandırma probleminde uygulanmıştır. Bu uygulamada, spektrogram öznitelikleri kullanılması ile başarımına katkıda bulunulduğu görülmüştür. Tanıma ve sınıflandırma çalışmalarından sonra çevresel ses kayıtlarının geri getirimi yöntemi üzerine çalışılmıştır. Sınıflandırma modelinin eklenmesi ile etkili bir örnekle sorgulama modeli geliştirilmiştir. Geliştirilen yöntem ile etiket bazlı arama sistemlerine kıyaslanacak sonuçlar elde edilmiştir.