Saldırıdan haberdar konuşmacı doğrulama için karar maliyeti tabanlı bir öğrenme yaklaşımı

Otomatik konuşmacı doğrulama (Automatic Speaker Verification – ASV) sistemleri, biyometrik kimlik doğrulama alanında hem kullanıcı dostu hem de etkili bir doğrulama aracı olarak önemli bir rol oynamaktadır. Bu sistemler, konuşmacı kimliğini belirlemek veya doğrulamak amacıyla özellikle güvenlik uygulamalarında, erişim kontrol sistemlerinde ve mobil cihaz doğrulamalarında yaygın şekilde kullanılmaktadır. Ancak bu sistemler, yanıltma saldırılarına karşı savunmasız olduğundan güvenlik riskleri barındırmaktadır. Özellikle, tekrar oynatma saldırıları (replay attacks), metinden konuşma sentezleme (text-to-speech synthesis) ve ses dönüştürme (voice conversion) gibi yanıltma saldırıları, konuşmacı doğrulama sistemlerinin güvenliğini tehlikeye atmaktadır. Bu risklere karşı koymak için, saldırı tespit ve önleme yeteneğine sahip çeşitli yanıltma saldırısı tespit (countermeasure - CM) sistemler geliştirilmiştir. Son yıllarda, ASV ve CM sistemlerinin entegrasyonu ile yanıltma saldırılarından haberdar konuşmacı doğrulama sistemlerinin geliştirilmesi çalışmaları yaygınlaşmıştır. Bu yeni nesil sistemler, konuşmacı doğrulama süreçlerini yalnızca kullanıcı doğrulama değil, aynı zamanda yanıltma saldırılarına karşı dayanıklılık açısından da güçlendirmektedir. Bu tez, saldırıdan haberdar konuşmacı doğrulama sistemlerinin geliştirilmesine odaklanmaktadır. Özellikle, çok aşamalı birleştirme yöntemleri, derin öznitelik seviyesinde işlem yapan paralel mimariler ve metrik tabanlı optimizasyon yöntemleri kullanılmıştır. Çalışmada, ECAPA-TDNN, WavLM ve AASIST gibi öncü modeller entegre edilerek hem skor seviyesi hem de derin öznitelik seviyesinde birleştirme teknikleri uygulanmıştır. Bunun yanı sıra, mimariden bağımsız bir değerlendirme metriği olan a- DCF, kayıp fonksiyonu olarak optimize edilmiştir. Bu kapsamda, ASVspoof 2019 ve ASVspoof 5 veri kümeleri üzerinde yapılan kapsamlı deneyler, önerilen yöntemlerin etkinliğini göstermiştir. Elde edilen sonuçlar, hata oranlarında belirgin düşüşler sağlarken, hedef örnekler ile hedef olmayan ve sahte örnekler arasında daha iyi bir ayrım yapılmasını mümkün kılmıştır. Bu tez, mevcut en ileri modeller ve optimizasyon tekniklerinin bir araya getirilmesiyle, biyometrik güvenliğin daha ileri taşınmasına katkıda bulunmaktadır. Özellikle, gerçek dünya uygulamalarında güvenliğin artırılması açısından önemli bir adım atılmıştır. Bu bağlamda, çalışma hem akademik literatüre hem de pratik uygulamalara yönelik değerli bir katkı sunmaktadır.