Utilizing query logs for data replication and placement in big data applications

Günümüz hesaplama sistemlerinin işlemesi gereken veri miktarlarındakı artış ve hesaplama sistemleri altyapı ve ekonomileri sebebleri ile uygulamaların çoğunda yüksek seviyede paralleleştirme gerekmektedir. Bu paralleleştirme genellikle veri-paralel çözümlerle gercekleştirilir ki bu çözümler de efektif veri gruplama (partitioning) ve veri dağıtma (declustering) yöntemleri gerektirir. Veri gruplama ve daşıtma yöntemlerinin yanında, gerek kullanılabilirliği gerekse performansı arttırma adına veri çoklama yöntemleri de sıkça kullanılmaya başlanmıştır. Veri bölümleme ya da dağıtma ve veri çoklama problemleri genellikle iki farkli aşamada çözümlenmeye çalışılırlar. Bu tezdeki çalışmalar, veri bölüöleme/dağıtma ve veri çoklama problemlerinin tek bir aşamada yapılması sureti ile daha etkin çoklanarakbölümlenmiş/dağıtılmış sistemler elde edilmesi ? kri üzerine yoğunlaşmıştır. Bu amaçla, bölümleme sistemlerinde yaygın olarak kullanılan Fiduccia-Mattheyses (FM) yinelemeli iyileştirme algoritması çoklama işlemini de kapsayacak şekilde genişletilmiştir. Bu algoritma kullanılarak sorgu günlükleri kullanan veri tabanı uygulamalarının performansını arttıracak bir çoklamalı veri dağıtma sistemi önerilmiştir. Ayrica bu çoklamalı veri dağıtma sisteminin sorgu desenlerinde değişimler, yeni sunucu ekleme ya da çıkarma işlemleri gibi durumlar karşısında mümküm olduğunca az veri taşıması yaparak kendini adapte etmesini sağlayan genişletme ve ilaveler önerilmiştir. Daha sonra, çoklamalı bölümleme problemi için geliştirilen tek-aşamalı çoklamalı bölümleme aracı, yaygın olarak bilinen iki uygulama (kelime bazlı arama ve Twitter) üzerinde test edilmiştir. Elde edilen sonuçlar sorgu günlükleri kullanımının ve çoklama ile veribölümleme/dağıtma işlemlerinin tek aşamada yapılmasının parallel performansı arttırdıgını göstermektedir.