Advanced methods for diversification of results in general-purpose and specialized search engines

Arama sonuçlarının çeşitlendirilmesi, kullanıcıların olası farklı isteklerine hitap eden belgeleri ortaya çıkararak daha fazla kullanıcıyı memnun etmek için kullanılan yaygın bir bilgi erişim mekanizmasıdır. Belirsiz ve kapsamlı sorgular için mümkün olduğunca hem ilgili hem de çeşitli bir sonuç listesi oluşturulması amaçlanır. Bu sorgular, arama sonucu çeşitlendirme algoritmalarının dikkate alması gereken farklı alt konulara (diğer bir deyişle yönlere) sahiptir. Bu tezde, ilk olarak, sorguya cevap olarak önerilen sonuç sıralamasında sorgunun tüm olası yönlerini kapsamayı sağladığından, arama sonucu çeşitlendirilmesi ararken öğrenmeyi destekleyen yararlı bir yöntem olarak ele alınmaktadır. Eğitsel bir arama motorunda, konuya ilişkin belirsizliğe ek olarak belge içeriğinin farklı eğitim düzeylerine uygunluğu ve belgenin türü dahil olmak üzere farklı birden çok boyutta arama sonuçlarının çeşitlendirilmesinin uygun olduğu tartışılmaktadır. Olasılıksal yöntemlere ve denetimli öğrenmeye dayanan cevap çeşitlendirme yöntemlerini, sıralama sırasında birden çok bağımsız boyutun alt konularını dikkate alabilecek şekilde genişleten bir çerçeve sunulmakta ve yeni geliştirilen test koleksiyonunda önerilen yöntemlerin etkinliği gösterilmektedir. Bu tezin ikinci özgün katkısı olarak, sorgu alt konularının çeşitlendirme sırasında bilindiğini varsayan dolaysız arama sonucu çeşitlendirmesinin etkinliğini artırmak için denetimli öğrenme yöntemlerinden yararlanan üç farklı çerçeve önerilmektedir. Ayrıca, literatürde ilk kez, sorgu başarım tahmincilerinden (SBT'ler) yararlanarak sorgu alt konularının öneminin öğrenilmesi önerilmektedir. Kapsamlı deneylerimizi yaygın olarak kullanılan bir karşılaştırmalı değerlendirme veri kümesi üzerinde gerçekleştirmekte ve dolaysız arama sonucu çeşitlendirme performansının, büyük eğitim kümeleri veya yüksek hesaplama kapasitesi gerektirmeden denetimli öğrenme yöntemleri kullanılarak önemli ölçüde iyileştirilebildiğini göstermekteyiz. Son olarak, statik indeks budamanın çeşitlendirme performansı üzerindeki etkisi incelenmektedir. Belgelerin konusal çeşitliliğini hesaba katan ve indeksi budarken farklı alt konulara sahip belgeleri koruyan iki yeni strateji sunulmaktadır. Önerilen budama stratejilerimizin çeşitlendirme etkinliği açısından mevcut yaklaşımlardan daha iyi performans sergilediği gösterilmektedir.