A multi-perspective analysis of collaborative filtering performance: Metrics, topologies, and algorithms

Öneri sistemleri, kullanıcıların geçmiş etkileşimlerine dayalı olarak onlara uygun içerikler sunarak dijital platformlarda önemli bir rol oynamaktadır. Yeni algoritmalar geliştirme konusunda önemli ilerlemeler kaydedilmiş olsa da, bu sistemlerin değerlendirilmesi halen oldukça kısıtlıdır; bunun başlıca nedenleri arasında genellikle sadece doğruluk metriklerine bağımlı analizlerin yapılması ve veri seti özelliklerinin model performansına etkisinin yeterince anlaşılmamış olması yer almaktadır. Bu tez, kişiselleştirilmiş işbirlikçi filtreleme modelleri için kapsamlı bir değerlendirme çerçevesi önermektedir. Çalışma, 13 öneri algoritmasının 10 gerçek dünya iki parçalı veri seti üzerinde, doğruluk, çeşitlilik ve adalet boyutlarını kapsayan 12 performans metriği kullanılarak sistematik biçimde analiz edilmesine dayanmaktadır. Deneysel tasarım, model performansının değerlendirme boyutlarına göre değişimi, metrikler arası tutarlılık, modellerin metrik türlerine duyarlılığı ve grafiksel topolojik özelliklerin etkisini inceleyen dört araştırma sorusu etrafında yapılandırılmıştır. Bulgular, grafik tabanlı modellerin doğruluk, çeşitlilik ve adalet açısından daha dengeli sonuçlar ürettiğini göstermektedir. Ayrıca, doğruluk metrikleri kendi içlerinde yüksek korelasyon sergilerken, çeşitlilik ve adalet metrikleri daha karmaşık ve modele bağlı ilişkiler göstermektedir. Seyreklik ve L3 benzerliği gibi topolojik özelliklerin model performansını önemli ölçüde etkilediği gözlemlenmiş; ancak bu etkinin metrik türüne ve model mimarisine göre değişiklik gösterdiği bulunmuştur. Genel olarak bu çalışma, öneri sistemlerinin güvenilir biçimde değerlendirilebilmesi için çok boyutlu bir yaklaşım gerektiğini ortaya koymakta ve hem akademik karşılaştırmalar hem de gerçek dünya uygulamaları için değerli içgörüler sunmaktadır.