Dikkat mekanizması tabanlı geliştirilmiş Wave-U-Net mimarisi kullanılarak konuşma iyileştirme

Gürültülü ortamlarda konuşma sinyallerinin kalitesini ve konuşmanın anlaşılabilirliğini artırmayı amaçlayan konuşma iyileştirme, derin öğrenmeyle hızla gelişen bir araştırma alanıdır. Ancak literatürdeki çalışmalar ağırlıklı olarak İngilizce veri setleri için geliştirilmiş; Türkçe veriye odaklanan çalışmalar oldukça sınırlı kalmıştır. Bu tezde, kanal dikkati ve öz-dikkat mekanizmalarıyla güçlendirilmiş geliştirilmiş Wave-U-Net mimarisi önerilmiş ve model, zaman ile frekans alanını birlikte denetleyen çok bileşenli bir kayıp fonksiyonu (EnhancedLoss) ile eğitilmiştir. Çalışma üç aşamada yürütülmüştür: önce model bileşenlerinin katkısı Türkçe veri üzerinde ablasyon analiziyle incelenmiş; ardından model İngilizce veri seti (VCTK), Türkçe veri seti (TSCD) ve bu iki veri setinin birleşiminden oluşan karma veri seti üzerinde, eğitim/doğrulama bölmeleri üç kez rastgele yeniden oluşturularak ve test seti sabit tutularak yedi nesnel metrik (PESQ, STOI, ESTOI, SI-SNR, CSIG, CBAK, COVL) üzerinden değerlendirilmiştir. Ablasyon sonuçları, dikkat modüllerinin ancak algısal kayıp fonksiyonuyla birlikte eğitildiğinde katkı sağladığını göstermiştir. Model üç koşulun tamamında ölçülebilir iyileşme üretmiş; PESQ değeri Türkçe’de 1,48’den 3,54’e, İngilizce’de 1,29’dan 2,69’a ve karma koşulda 1,36’dan 3,04’e yükselmiştir. Karma koşulda kalite metrikleri tek dilli koşullara yakın kalmıştır. Bulgular, Türkçe veri üzerinde geliştirilen modelin İngilizce ve çok dilli veriye aktarılabilirliğini desteklemekte ve tek bir modelin çok dilli konuşma iyileştirme çalışmalarında da kullanılabileceğine işaret etmektedir.