Learning to rank with incomplete judgements

Sıralamayı öğrenme alanındaki araştırmalar eğitim veri kümesinin verildiğini farzeden gelişmiş öğrenme algoritmalarına dayanmaktadır. Ancak eğitim veri kümesinin kalitesi sıralamayı öğrenme başarımını etkiler. Sorgu ile sonuç arasındaki ilişki kararını elde etmenin maliyeti ve bütçe kısıtı göz önüne alındığında, bir eğitim veri kümesi ancak sınırlı sayıda ilişki kararı içerebilir. Bütçenin sınırlı olduğu bir durumda, kararlama için sarfedilen çabanın çeşitli sorgular için önceliklendirilmesi ve bilgi erişim sistemlerinin etkili ve verimli bir şekilde değerlendirilmesi konusunda birçok araştırma vardır. Ancak, tamamlanmamış kararların sıralamayı öğrenmedeki etkileri hakkında çok az araştırma yapılmıştır. Varolan araştırmalarda, herhangi bir amaç metriği ve tamamlanmamış kararları oluşturan örnekleme dağılımı için uygulanabilir çözüm bulunmamaktadır. Bu çalışmada, her sorgu için az sayıda karar barındıran eğitim veri kümelerinin daha iyi nasıl kullanılabileceğine ve bu kümeleri kullanarak nasıl dahha iyi sıralama başarımı elde edebileceğine odaklandık. Bu amaçla, katmanlama örnekleme yöntemi kullanarak tamamlanmamış kararlar oluşturduk. Bu kararları kullanarak, StatAP yöntemi ile amaç fonksiyonu olan ortalama kesinlik değerlendirme metriğinin tarafsız tahminini hesapladık. Ardından, gerçek ve tahmini amaç metriklerinin LambdaMART algoritması ile eniyi değerlerini bulduk. Tahmini ortalama kesinlik modelinin tamamlanmamış kararlar kullandığımızda, gerçek ortalama kesinlik modeline göre daha iyi başarım elde ettiğini gösterdik. Ortaya sunduğumuz yöntemin herhangi bir veri kümesi için uygulanabilir olduğunu gösterebilmek amacıyla, yöntemimizi iki farklı veri kümesinde test ettik.