Malware detection using transformers-based model GPT-2

Zararlı içeriğin çeşitliliği, karmaşıklığının yanı sıra Bilgi ve İletişim Teknolojilerinin (BİT) son kullanıcılarını önemli ölçüde etkilemiştir. Zararlı içeriğin etkisini azaltmak, kullanıcı sistemlerini zararlı yazılımlara karşı proaktif olarak savunmak için otomatikleştirilmiş makine öğrenme teknikleri geliştirildi. Dikkate dayalı derin öğrenme tekniklerinin bir kategorisi olan Transformers'ın, son zamanlarda, Doğal Dil İşleme (NLP) yöntemlerini kullanarak, çeşitli zararlı yazılım sorunlarını çözmede etkili olduğunu gösterilmiştir. Bu çalışmada, zararlı yazılımları otomatik olarak tespit etmek için bir Transformers mimarisinin kullanılmasını öneriyoruz. PE (Portable Executable) dosyaları üzerinde statik analizden elde edilen montaj kodları ile GPT-2'ye (Generative Pre-trained Transformer 2) dayalı modelleri besliyoruz. Hem zararlı hem de zararsız montaj kodlarının çeşitli özelliklerini yakalamak için önceden eğitilmiş bir model oluşturduk. Yakalanan bu özellikler modelinin tespit performansını iyileştirir. Ayrıca, mevcut kötü amaçlı ve zararsız kod parçalarını karakterize etmek için önceden işlenmiş özellikleri kullanan bir dil modeli oluşturduk. Böylece, ortaya çıkan dil modeli, yeni zararlı veya zararsız yazılımların derleme kodlarını tanıyarak bu kod parçaları arasında ayrım yapar. Ek olarak, daha iyi tespit doğruluğu elde etmek için GPT -2'nin önceden eğitilmiş modelini de kullandık. Deneyler, bizim önceden eğitilmiş modelimiz ve GPT-2'nin önceden eğitilmiş modeli ile ince ayar yapıldığında, tespit modelinin sırasıyla \%85,4 ve \%78,3'e doğruluk değerlerine ulaştığını göstermiştir.