Deepfake algılama yöntemlerinin karşılaştırmalı analizi

Çoğu güvenlik sistemi, kullanıcılarını doğrulamak için kimlik doğrulama akışları kullanır. Biyometrik verilerin temel unsurlarından biri insan yüzü olduğundan, kimliklerin gerçekliğini korumak ve sistemlerin güvenliğini sağlamak için derin sahtelerin tespit edilmesi şarttır. Yapay yüzlerin tespiti için eğitilen derin öğrenme modelleri, genellikle bir görev üzerinde önceden eğitilmiş bir modelin yeni bir görev için ince ayarlandığı transfer öğrenme tekniklerini kullanır. Bu durum, derin sahte yüz tespit modellerinin önceden eğitilmiş veri kümelerindeki alana özgü bilgi eksikliği nedeniyle daha fazla ilerlemekte zorlanması ve bir platoya ulaşması nedeniyle ortaya çıkmaktadır. Bu çalışmada, son teknoloji ürünü modellerin Glint360K gibi özel bir yüz veri kümesi kullanılarak ön eğitime tabi tutulmasının, ImageNet veri kümesi kullanılarak ön eğitime tabi tutulan modellere kıyasla performanslarını önemli ölçüde artırdığını öneriyoruz. Modeller için alana özgü bir veri kümesi sunarken, çeşitli düzenleme tekniklerini de dahil ederek modellerin genelleme yeteneğini geliştirmeyi amaçlıyoruz. Özellikle, eğitim öncesi veri kümesindeki başlangıç kimliklerinin etkisini azaltmak için eğitim sırasında modellere etiket yumuşatma uygulanmıştır. Son olarak, araştırmamız, farklı ışık, cihaz ayarları ve çözünürlük farklılıklarına sahip gerçek yaşam durumlarını taklit etmek için oluşturulan 4.252 gerçek ve 2.603 sahte yüz videosundan oluşan yeni bir veri kümesi sunmaktadır. Nitel sonuçlar, yaklaşımımızın modelleri yüzle ilgili özelliklere odaklanmaya başarıyla zorladığını göstermektedir. Öte yandan, nicel sonuçlar, Glint360K üzerinde etiket yumuşatma uygulanarak önceden eğitilen modellerin, ImageNet ile önceden eğitilen modellerden ortalama %1.5 daha iyi performans gösterdiğini ortaya koymaktadır.