Makine öğrenmesi tabanlı twıtter sosyal bot tespit sistemlerinin performanslarının değerlendirilmesi

Twitter gibi sosyal medya platformları insanların rahat bir şekilde iletişim kurabilmesi için oldukça etkili mecralardır. Bu platformlar hayatı kolaylaştırmak adına birçok avantaj sağlamasına rağmen, insanların kandırılması, yanlış bilgi yayılarak insanların yanlış yönlendirilmesi, manipüle edilmesi ve sözlü taciz gibi birçok soruna da neden olmaktadır.. Özellikle sosyal botlar, bahsedilen zararlı içeriklerin hızlı bir şekilde yayılması ve daha görünür hale gelebilmesi adına sürekli olarak içerek paylaşarak bu aktivitelerin gerçekleştirilmesini daha kolay bir hale getirmektedir. Bu durumu engelleyebilmek adına sosyal bot tespit sistemleri geliştirilmiştir. Buna rağmen, geliştirilen sistemlerin performansları, veri setlerinin sınırlı sayıda ve türde bot hesap bulundurmasından dolayı tam doğru bir şekilde değerlendirilememektedir. Bundan dolayı, bu tezde yapılan çalışmalarda bot tespit sistemlerinin performanslarının doğru bir şekilde değerlendirilebilmesi ve sosyal bot tespiti probleminin çözülüp çözülemediği araştırılmaktadır. Yapılan deneyler ile, 4 farklı bot tespit sisteminin performansları farklı deney düzenekleri üzerinde karşılaştırılarak en yüksek performansa sahip model bulunmaya çalışılmıştır. Kullanılan modellerin orijinal çalışmalarında raporlanan skorların çok yüksek olduğu görülmesine rağmen, modeller farklı test setlerinde düşük performanslar göstermişlerdir. Buna rağmen, performansı en yüksek olan modelin Botometer olduğu anlaşıldığından, Botometer'ın performansının daha detaylı incelenmesi gereksinimi ortaya çıkmıştır. Farklı bir bakış açısıyla deneyler gerçekleştirilerek Botometer'ın performansı 5 farklı bot senaryosu kullanılarak değerlendirilmiştir. Bu deneyler sonucunda, Botometer'ın yalnızca 1 senaryo dışında tüm senaryolarda kötü performans sergilediği görüldüğünden, sosyal bot tespiti probleminin hala araştırılmaya açık bir problem olduğunu anlaşılmaktadır.