An ensemble classification model for detecting voice phishing in telecommunication networks and its integration into a visual analysis tool

Telefon görüşmeleri üzerinden gerçekleştirilen bir sosyal mühendislik dolandırıcılığı yöntemi olan sesli kimlik avı, telefon kullanımının yaygınlaşmasından bu yana dünya çapında büyük bir sorun haline geldi. Bu sahtekarlıkları tespit etmek için geleneksel ve modern yöntemler şu şekilde listelenebilir; müşteri davranışlarının görsel analizi, kural tabanlı karar sistemleri, kümeleme algoritmaları, karar ağaçları, sığ sınıflandırıcılar ve derin öğrenme modelleri gibi makine öğrenme modelleri. Görsel analiz sadece insan uzmanlığına bağlıdır ve etkili olabilmesi için çok yüksek iş gücü gerektirir. Kural tabanlı sistemler uç durumlar için kullanışlıdır ancak konsept kaymalarına karşı savunmasızdır. En gelişmiş yöntemler genellikle makine öğrenimi yaklaşımlarını kullanır. Ancak, makine öğrenmesi yöntemlerinin, uzmanlar tarafından yapılan özellik mühendisliği çalışması ve yüksek hesaplama gücü gibi gereklilikleri ve gizlilik ihlalleri gibi kısıtları vardır. Bu nedenle Turkcell Teknoloji ile ortaklaşa çalışarak, bu sorunu çözmek için geleneksel yöntemlerin avantajlarından ve son teknoloji yöntemlerin etkinlik ve verimliliğinden yararlanan bir sistem geliştirmeyi hedefledik. Dolandırıcı kullanıcıları tespit etmek için bir birleşik öğrenme modelini mevcut bir görselleştirme aracına entegre ettik. Bu araç, ilişkisel verileri bilgi çizgeleri olarak görselleştirirken, bilgileri ve istatistiksel verileri çizelgeler ve metinler olarak gösteren bir araçtır. Birleşik öğrenme modelimiz iki derin sinir ağı ve bir karar ağacı sınıflandırıcısından oluşturmaktadır. Varyansı azaltmak ve daha kararlı bir model oluşturmak için iki farklı yapay sinir ağından faydalandık. İlk yapay sinir ağı; bir giriş katmanından, Rektifiye Edilmiş Doğrusal Birim (ReLU) aktivasyon fonksiyonunu kullanan 200 yapay nöron içeren iki gizli katmandan, gizli katmanları takip eden nöron seyreltme katmanlarından ve sigmoid aktivasyon fonksiyonlu bir yapay nöron içeren çıkış katmanından oluşmaktadır. Aşırı uyumlamayı önlemek için bu ağda nöron seyreltme katmanları kullanılmıştır. Oluşturduğumuz ikinci sinir ağı, aktivasyon fonksiyonu ReLU olan, sırasıyla 64, 64 ve 32 yapay sinir hücresi sahip 3 gizli katmana sahiptir. Bu modellerde kullanmak için Turkcell dolandırıcılık uzmanlarıyla birlikte 20'si ham olmak üzere toplam 34 özellik tasarlanmıştır. Son sonuçların hesabı, modellerin çıktılarının ortalamaları alınarak yapılmıştır. Modelimizin başarısı, sınıf dengesizliği yüksek olduğu için F1 skoru ile ölçülmüştür. Modelimiz 0.82 kesinlik değeri, 0.83 duyarlılık değeri ve 0.82 F1 skoruna sahiptir. Ayrıca modelimizin görselleştirme aracına entegrasyonu ile mobil şebeke operatörlerinin dolandırıcılık olaylarını daha etkin bir şekilde inceleyerek buna göre hareket etmelerini sağlayan bir çerçeve oluşturulmuştur.