Transformer-based deepfake detection methods

Derin sahte, video veya seslerdeki kimliklerin yapay zeka ile değiştirilmesiyle üretilen sentetik medya ürünleridir. Son yıllarda derin öğrenmedeki önemli ilerlemeler, derin sahte görüntü ve videolar üretmek için ileri tekniklerin geliştirilmesini sağlamıştır. Derin sahte teknolojisinin eğlence ve eğitim gibi yasal kullanım alanları olsa da, kötüye kullanımı ciddi riskler taşır. Bu araçlar, toplumları manipüle etme, nefret ve düşmanlık körükleme, mahremiyeti ihlal etme ve bireyleri veya kurumları asılsız suçlama potansiyeline sahiptir. İnsanların gerçek ve sahte içerik arasındaki farkı algılayamaması, daha gelişmiş derin sahte tespit yöntemlerine yönelik araştırmaları teşvik etmiştir. Görü dönüştürücüler, son çalışmalarda ileri düzey modeller tarafından derin sahte tespiti için giderek daha fazla kullanılmaktadır. Bu çalışmada, evrişimsel sinir ağlarıyla görü dönüştürücüleri entegre eden Kombinasyonlu Çapraz Dikkat Görü Dönüştürücüleri (CCAViT) adlı yeni özgün bir derin sahte tespit modeli öneriyoruz. CCAViT, çapraz dikkat mekanizmalarıyla görü dönüştürücülerin kombinasyonel bağlantılarından yararlanır. Bu tez, evrişimsel sinir ağları ile görü dönüştürücülerin tamamlayıcı ve güçlü yönlerinden yararlanarak, geniş bir yelpazedeki manipülasyon tekniklerine karşı etkili öncü bir derin sahte tespit yöntemi sunmayı amaçlar. Ayrıca, veri ön işleme aşamasında daha verimli bir yüz tespit stratejisi öneriyoruz. Derin sahte tespitin her aşamasındaki zorluklar ele alınarak daha düzenli bir iş akışı hedeflenmiştir. Yaklaşımımız, tespit sürecinin her adımında uygulamalı rehberlik sağlayarak sonuçları iyileştirmek için odaklanılması gereken anahtar alanları vurgular.