S3-TM: Scalable streaming short text matching

Mikroblog hizmetleri bilginin üretilmesi ve yayılmasında temel araçlar haline gelmiştir. Dolayısıyla, bu hizmetlerin gözlemlenmesi, gerekli bilgiye ulaşmada kritik bir yetenektir. Bu izleme genelde mikroblog hizmetlerine içerik tabanlı abonelikler kaydedilmesi sayesinde yapılmaktadır. Abonelikler, akan yayınlar üzerinde sürekli çalışan sorgular olarak düşünülebilinir. Bu aboneliklerin değerlendirilmesi, Twitter ve Weibo gibi sistemlerin popülerliği ve ölçeği düşünüldüğünde, oldukça önemli bir sorundur. Bu sorunu aşmak için biz, akan kısa metin eşleme sistemi olan S3-TM'i sunuyoruz. S3-TM akan veri işleme uygulaması olarak organize edilmiş ve veri merkezi ortamında çalışacak şekilde, veri paralelliği sağlayan bir akış ağı olarak tasarlanmıştır. Yayınların ve aboneliklerin yapısını avantaja çevirerek eşlemeyi ölçeklenebilir olarak yapan S3-TM, yayınları ve abonelikleri tüm uçlara aktarmamakta, yayınları birden fazla uca aktarırken, abonelikleri sadece bir uca aktarmaktadır. Ayrıca, sunduğumuz algoritmalar, verimliliği daha da artırmak için, yayınların aktarıldığı uç sayısını minimuma indirmektedir. Tezde önerdiğimiz ilk algoritmalar, kelimelerin ortak görünme grafiklerini bölümlere ayırarak ortak kelimelerin sıkça geçtiği yayınları tüm eşleme operatörlerinin küçük bir kümesine yollamayı hedeflemektedir. Bu algoritmalar verimli olmalarına rağmen yükü eşitlemede yetersiz kalmışlardır. Bu problemi aşmak için, kelime ve yayınların çift taraflı grafiğini verimli bir şekilde bölümleyerek modelleme yapan ve daha dengeli yük dağılımı sağlayan SALB algoritmasını geliştirdik. Aynı zamanda, benzer abonelikleri aynı uçlara yönlendirerek gruplayan ve eşleme işleminin yükünü minimuma indiren LASP algoritmasını ekledik. Ayrıca, artan uç sayısında daha iyi bir ölçeklenebilirliğe ulaşmak için iş yükündeki çarpıklıkları çözen basit ama verimli teknikler geliştirdik. Son olarak eşleme doğruluğu üzerinde çok az bir etki yapan yük azaltma teknikleriyle, beklenmeyen yük artışlarını çözdük. Deneysel sonuçlarımız S3-TM algoritmasının ölçeklenebilir olduğunu göstermektedir. Buna ek olarak, SALB algoritması temel algoritmadan 2.5 kat olmak üzere, kelimelerin ortak görünme grafiği bölümleme algoritmalarından da daha yüksek performanslı olduğu gözlemlenmektedir.