Sağlam sonlu durumlu yapay konuşma algılama: Derin sinir ağları ve maskelerle güçlendirilmiş bütünsel yaklaşım

Bu tez, gürültülü koşullar altında sentetik konuşma algılamanın i-vectörlerinin sağlamlığını artırmak için bir yöntem önermektedir. İ-vectörler, konuşmacı tanıma sistemlerinde yaygın olarak kullanılan sabit uzunluktaki temsillemelerdir. Ancak, performansları gürültü ile bozulmaktadır. Sistemi korumak için, gürültü maskesi üretmek için evrişimsel sinir ağı (CNN) kullanılması önerilmiştir. Bu maske, gürültü tarafından bozulan konuşma spektrogramındaki güvenilmez bölgeleri bastırır. Maske uygulanan spektrogram daha sağlam i-vectörlerin çıkarılması için kullanılır. Deneyler, eklenmiş gürültü, beyaz gürültü ve araba gürültüsü içeren ASVspoof 2015 veri kümesi kullanılarak yapılmıştır. CNN, her spektrogram çerçevesinde sinyal-gürültü oranını tahmin etmek üzere eğitilir. Bu, i-vectör çıkarılmasından önce uygulanan gürültü maskesini oluşturur. Sonuçlar, önerilen maskeleme yaklaşımının standart i-vectörlerle karşılaştırıldığında eşit hata oranlarını %50'den fazla azalttığını göstermektedir. Ancak, performans, CNN eğitimi sırasında görülmeyen araba gürültüsü üzerinde bozulur. Bu, daha çeşitli eğitim gürültü türlerine ihtiyaç duyulduğunu vurgular. Sonuç olarak, spektrogram maskesi kullanma tekniği ile derin öğrenme tabanlı bir CNN, gürültülü koşullarda i-vectörlerin sağlamlığını artırabilir. Gürültü maskesi, güvenilmez bölgeleri bastırmaya yardımcı olarak daha iyi sahtecilik karşıtı performans sağlar. Ancak, maske görünmeyen gürültü türlerine iyi genelleşmez. Genel olarak, çalışma, gürültü altında sahtecilik saldırılarına karşı konuşmacı tanıma sistemlerinin güvenliğini artırmak için derin öğrenmeye dayalı maskelerin potansiyelini göstermektedir. Ancak daha fazla araştırma, çeşitli gürültü koşullarını ele alma konusunda gereklidir.