Büyük metin verisinde sıkıştırma ve sıkıştırılmış arama için kelime tabanlı bir yaklaşım

Nesnelerin internetinin yaygınlaşması ve buna bağlı olarak son yıllarda artan veri miktarı büyük veri kavramını ortaya çıkarmıştır. Büyük verinin saklanması ve yönetilebilmesi için NoSQL veritabanları kullanılabilir. Ayrıca, verinin daha az yer kaplaması ve performansın arttırılması amacıyla sıkıştırma algoritmaları da kullanılabilmektedir. Hazırlanan tezin amacı, NoSQL veritabanları ile birlikte kullanılabilecek çoklu akış desteği sunan bir sıkıştırma algoritması geliştirmek ve bu sıkıştırma algoritmasının kullanılmasıyla ağdaki trafik akışını ve NoSQL veritabanlarının üzerinde oluşan yükü azaltmaktır. Algoritmanın sıkıştırılmış arama desteği ve arama için akışların tümüne ihtiyaç duyulmaması ile veritabanından istenilen veri miktarı azaltılmaktadır. Tez çalışması kapsamında ilk olarak MWCA (Multi-Stream Word-Based Compression Algorithm) isimli kelime tabanlı bir sıkıştırma algoritması geliştirilmiş ve bu sıkıştırma aloritmasının mevcut bilinen algoritmalarla sıkıştırma oranı ve hız bakımından karşılaştırılması gerçekleştirilmiştir. Karşılaştırmaya genel amaçlı algoritmaların yanında kelime tabanlı sıkıştırma algoritmaları da dâhil edilmiştir. Algoritmanın geliştirilmesi aşamasından sonra üç farklı kategoride bulunan NoSQL veritabanları incelenmiş ve MWCA algoritmasının bu veritabanlarına yazma işlemi gerçekleştirmeden önce kullanılmasının performansa etkisi araştırılmıştır. Ayrıca MWCA, anahtar-değer tabanlı veritabanı olan LevelDB üzerine bir blok sıkıştırma algoritması olarak eklenmiş ve bu veritabanı üzerinde kullanılabilen blok sıkıştırma algoritması olan Snappy ile performans karşılaştırması gerçekleştirilmiştir. Son aşamada ise, saklamak istediğimiz verilerin belge tabanlı olması ve indeksli arama desteği sunması sebebiyle, MongoDB seçilmiş ve farklı konfigürasyonları için performans ölçümü gerçekleştirilmiştir. MongoDB üzerinde tek düğüm yazma/okuma işlemi gerçekleştirildiği gibi standart bölümlendirme ve kuralları verilerek dile göre bölümlendirme işlemi gerçekleştirilmiştir. Ayrıca, bu bölümlendirme konfigürasyonları sıkıştırmasız, Snappy ve Zlib olmak üzere MongoDB'nin desteklediği üç farklı sıkıştırma yöntemi kullanılarak sonuçlar elde edilmiştir. MWCA, birçok kelime tabanlı yöntem gibi başka sıkıştırma algoritmalarından önce kullanılarak onların sıkıştırma oranını arttırabilmektedir. Bu nedenle, kurulan bu konfigürasyonların tümü için MWCA'nın ön aşama olarak kullanılması ile de sonuçlar elde edilmiş ve MWCA'nın sürece olan etkisi incelenmiştir. Yapılan çalışmalar ve performans analizleri sonucunda MWCA'nın gerek blok sıkıştırma algoritması olarak gerekse ön aşama olarak kullanılmasının oran ve süre bakımından performansa katkı sağladığı sonucu elde edilmiştir.