Evaluating the use of neural ranking methods in search engines

Bir arama motoru, en alakalı belgeleri ölçeklenebilir bir zamanda alabilmeli, etkinlik ve verimlilik arasında bir denge kurmalıdır. Son zamanlardaki derin öğrenme tabanlı sıralayıcı yöntemlerinin etkili olduğu kanıtlanmıştır ve alaka ölçütlerinde en son teknolojiyi oluşturmaktadır. Ancak, dizin tabanlı alma yöntemlerinin aksine, BERT gibi sinirsel sıralayıcılar büyük veri kümelerine ölçeklenemez. Bu tezde, standart bir ters indekslemeyi değiştirilmeden kullanılabilecek bir sorgu terimi ağırlıklandırma yöntemi öneriyoruz. Sorgu terim ağırlıkları, ikili sıralama kaybı kullanılarak her sorgu için alakalı ve alakasız belge çiftleri kullanılarak eğitilir. Öğrenilen ağırlıkların, bu görev için daha önce kullanılan terim hatırlama değerlerinden daha etkili olduğu kanıtlanmıştır. Ayrıca, bu ağırlıkların bir BERT regresyon modeli ile tahmin edilebileceğini ve hem BM25 tabanlı bir indeksin hem de bir terim ağırlıklandırma fonksiyonu ile halihazırda optimize edilmiş bir indeksin performansını iyileştirdiğini gösteriyoruz. Ek olarak, belge alma görevleri için terim sıklıklarını değiştirerek veya belgeleri genişleterek çalışan literatürdeki belge terimi ağırlıklandırma yöntemlerini inceliyoruz. Belge terimleri için terim frekansları yerine belge hakkındaki bağlamsal bilginin yardımıyla ağırlıkları tahmin etmek, alma ve sıralama performansını önemli ölçüde artırır.