Derin öğrenme tabanlı spektro-temporal ve cnn özellik birleşimi ile derin sahte ses tespiti ve sentezleyici tanıma

Metinden sese dönüştürme (text-to-speech, TTS) ve ses dönüştürme (voice conversion, VC) teknolojilerindeki son gelişmeler, ses içeriklerinin özgünlüğünü giderek daha fazla tehdit etmekte ve bu durum etkili tespit yöntemlerine olan ihtiyacı artırmaktadır. Bu çalışmada, Mel-spektrogramlardan çıkarılan derin Evrişimli Sinir Ağı (Convolutional Neural Network, CNN) temsilleri ile çeşitli zamansal özellikleri bütünleştiren yeni bir iki aşamalı tespit çerçevesi önerilmektedir. Sınıflandırma aşamasında, Rastgele Orman (Random Forest, RF), Aşırı Gradyan Artırma (Extreme Gradient Boosting, XGBoost) ve Hafif Gradyan Artırma Makinesi (Light Gradient Boosting Machine, LightGBM) algoritmalarından oluşan bir topluluk model kullanılmış ve bu modellerin çıktıları çoğunluk oylaması yöntemiyle birleştirilmiştir. Özel bir veri kümesi, 44.1 kHz ve 48 kHz örnekleme frekanslarında, mono ve stereo kayıtlar içeren toplam 135 konuşmacıdan toplanmıştır. Ayrıca, her bir özgün kaydın sentetik türevleri CoquiTTS, DiffVC ve FreeVC sistemleri kullanılarak üretilmiştir. Gerçekleştirilen kapsamlı ablasyon deneyleri, yalnızca CNN tabanlı özelliklerin kullanılmasının %9.3 doğruluk sağladığını, zamansal özelliklerin dâhil edilmesiyle ise doğruluk oranının %100'e ulaştığını göstermiştir. Beş katlı çapraz doğrulama deneylerinde, özellik füzyonu ile kullanılan EfficientNet-B0+ modeli, en zor katmanlar boyunca %92 ile %98 arasında doğruluk değerleri elde etmiştir. Önerilen yöntemin genellenebilirliği, EfficientNet-B1, EfficientNet-B4, EfficientNet-V2-S, EfficientNet-V2-M, Xception ve ResNet-50 dâhil olmak üzere birden fazla CNN mimarisi üzerinde doğrulanmış; elde edilen sonuçlar, başarımın büyük ölçüde model mimarisinden ziyade özellik mühendisliği tarafından belirlendiğini ortaya koymuştur. Grad-CAM görselleştirmeleri, modelin gerçek ve sentetik konuşmayı ayırt eden ince ancak kritik fonetik ipuçlarına odaklandığını doğrulamıştır. Genel olarak bulgular, derin öğrenme özelliklerinin el yapımı zamansal temsillerle bir topluluk çerçevesinde birleştirilmesinin, gelişmekte olan TTS ve VC tabanlı ses sahteciliği tehditlerine karşı sağlam ve aktarılabilir bir savunma sunduğunu göstermektedir.