Derin öğrenmeye dayalı gürültülü ortamlarda dayanıklı anahtar kelı̇me tespı̇tı̇

Bu tez çalışmasında, olumsuz gürültü koşullarında anahtar kelime algılama (KWS) performansını artırmak amacıyla, tamamlayıcı akustik bilgilerin dönüştürücü tabanlı bir meta-sınıflandırıcı çerçevesi aracılığıyla bütünleştirildiği özgün bir sistem önerilmektedir. Bu doğrultuda, Berg ve diğerleri tarafından geliştirilen Keyword Transformer ailesinin bir türevi olan KWT-1 modeli bilgi damıtımı (knowledge distillation) uygulanmaksızın yeniden tasarlanmış ve Google Speech Commands v2 veri kümesi üzerinde 12 sınıflı bir sınıflandırma görevi için eğitilmiştir. Modelin dayanıklılığını artırmak amacıyla, ilgili literatürde önerilen kapsamlı veri artırma stratejileri uygulanmıştır. Sisteme tamamlayıcı akustik özellikler kazandırmak amacıyla iki ek modül geliştirilmiştir: bir gürültü türü sınıflandırıcısı ve bir sinyal-gürültü oranı (SNR) tahmin modeli. Gürültü türü sınıflandırıcısı, Abdoli ve diğerlerinin yöntemi temel alınarak tasarlanmış tek boyutlu bir evrişimli sinir ağı mimarisi kullanılarak geliştirilmiş ve UrbanSound8K veri kümesi üzerinde on farklı çevresel gürültü sınıfını tanıyacak şekilde eğitilmiştir. SNR tahmin modeli ise, kum saati (hourglass) tarzında özgün bir evrişimsel sinir ağı mimarisi benimseyerek sürekli SNR tahmini gerçekleştirmektedir. Bu modelin eğitimi sırasında, Google Speech Commands v2 veri kümesinden elde edilen temiz konuşma örnekleri, UrbanSound8K veri kümesinden seçilen gürültü sinyalleriyle 0 ila 20 dB arasında rastgele belirlenen SNR seviyelerinde karıştırılarak gerçekçi akustik ortamlar simüle edilmiştir. Anahtar kelime tahmini, gürültü türü sınıflandırması ve SNR tahmini olmak üzere üç farklı modülden elde edilen çıktılar, karar düzeyinde dönüştürücü tabanlı bir meta-sınıflandırıcı kullanılarak bütünleştirilmiştir. Bu yapı içerisinde her bir model çıktısı ayrı bir token olarak ele alınmış, ortak bir gömme (embedding) uzayına projekte edilmiş ve bir dönüştürücü kodlayıcı (transformer encoder) bloğu aracılığıyla işlenmiştir. Bu tasarım, anlamsal, çevresel ve akustik faktörler arasındaki karmaşık ilişkileri etkin bir şekilde modellemeyi amaçlamaktadır. Önerilen birleştirme modeli, anahtar kelime sınıflandırma doğruluğu bakımından temel KWT-1 modelinin performansını aşamamakla birlikte, kum saati tarzında tasarlanan SNR tahmin ağı sayesinde mevcut sinir ağı tabanlı yaklaşımlara kıyasla daha başarılı sonuçlar elde edilmiştir. Modelin performansı, anahtar kelime ve gürültü türü tespiti için sınıflandırma doğruluğu; SNR tahmini için ise ortalama mutlak hata (MAE) metriği kullanılarak değerlendirilmiştir.