Elastic Stack kullanılarak büyük ölçekli bir ağın log analizi

Teknoloji araçlarının artışıyla veriye erişim kolaylaşmış ve internet kullanımı önemli ölçüde artmıştır. İnternet kullanımındaki bu büyük artış, yönetilmesi ve analiz edilmesi oldukça zor olan büyük log dosyalarının üretilmesine neden olmuştur. GrayLog, Nagios, Elastic Stack gibi ağ izleme araçları, log verisinin kapsamını daraltarak kritik verilerin ayıklanmasını kolaylaştırmaktadır. Çalışmamızda Elasticsearch bileşeninin sağladığı büyük veri performansı ve Kibana arayüzünün sağladığı zengin görseller sebebiyle Elastic Stack platformunu tercih ettik. Çalışmamızda kullandığımız veri uygulama katmanı seviyesinde analiz yapmayı sağlayan, DNS, FTP, HTTP, SSL, SSH logları içeren, üretilmiş bir intrusion detection system verisidir. Tezin ilk fazında logstash filtreleme yöntemleriyle, her bir log dosyası için bir index oluşturacak şekilde log verilerini Elasticsearch ortamına aktardık. Kibana arayüzünde, log dosyaları içerisindeki alanlara göre gruplama ve filtreleme yapan, istatistik oluşturan, zaman bazlı izleme yapmayı sağlayan sorguları pie bar, metric, table, timeline grafikleriyle görselleştirdik ve eş zamanlı izlenebilecek dashboardlar ürettik. Tezin ikinci fazında ise, MongoDB ve SQLite veritabanında aynı sorguları üreterek Elasticsearch ile performans karşılaştırması yapmayı amaçladık. Log verilerinde sayma, filtreleme ve gruplama yapan sorguları, her üç platform üzerinde 100 kez tekrarlayarak ortalama değerleri karşılaştırdık. Farklı boyutlardaki log dosyaları üzerinde yapılan analizlerde, veri boyutu arttıkça Elasticsearch'ün okuma hızının MongoDB'ye göre çok daha yüksek performans sağladığı sonucunu elde ettik. Tüm sorguları ele aldığımızda, Elasticsearch 100 ms'nin altında gecikme üretmiştir. MongoDB'nin veriyi yazmada daha yüksek performans gösterdiğini, ancak veriyi filtreleme ve gruplamada geleneksel SQL veritabanı sorgularına yakın sonuçlar ürettiğini gözlemledik.