Generalizable face forgery detection with metric learning and domain-adversarial training

Derin üretken ağlar ile üretilen sahte yüz görüntülerinin giderek daha gelişmiş hale gelmesiyle dijital medyadaki manipülasyonların tespiti önemli ölçüde güçleşmektedir. Bu durum dijital medya güvenilirliğini korumanın ve görsel dezenformasyonla mücadele etmenin önemini vurgulamaktadır. Hâlihazırda kullanılan tespit modelleri, ağırlıklı olarak belirli bir alana özgü verilerle denetimli eğitime dayanmakta olup daha önce karşılaşılmamış tekniklerle üretilen sahte görüntüler karşısında genellikle daha düşük performans göstermektedir. Bu probleme karşı, çeşitli sahtecilik yöntemlerine uyum yeteneğine sahip bir Siyam ağı mimarisiyle üçlü öğrenmeyi kullanan bir yüz sahteciliği tespit yaklaşımı Trident'ı sunuyoruz. Trident, gerçek örnekleri manipüle edilmiş olanlardan ayıran hassas özellikleri yakalamak üzere eğitilmiştir. Bu süreçte, nüans farklarını izole ederken diğer değişkenleri korumaya yönelik oluşturulmuş üçlüler kullanılmaktadır. Aynı zamanda, yöntemimizin genelleme yeteneğini daha da artırmak üzere çekişmeli olarak eğittiğimiz Sahtecilik Ayırt Edicisini sunmaktayız. Bu rekabetçi bileşen, özellik çıkaran modelimizi belirli bir sahtecilik yönteminden bağımsız olarak, daha önce görülmemiş manipülasyonlara daha dirençli hale getirmektedir. Buna ek olarak sınıflandırıcı bileşene gradyan akışını önleyerek belirli sahtecilik türlerine özgü olan aşırı uyumlanmayı önlüyoruz. Çeşitli test veri setleri üzerinde yapılan kapsamlı değerlendirmeler ve ayrıştırma çalışmaları, yöntemimizin etkinliğini ortaya koymaktadır.