Big Data yöntemleri ve lojistik regresyon analizi ile internet altyapı kalite değerlendirmesi

Bu çalışmada, internet altyapı sağlayıcılarının (İAS) yatırım yapılacak potansiyel lokasyonları ve arıza oranlarını ay ve/veya yıl düzeyinde belirlemesi amaçlanmıştır. Arıza oranları tekil ve toplam arıza olarak Big Data yöntemiyle belirlenmiş olup Lojistik Regresyon Analizi kullanılarak var olan arıza oranlarından potansiyel ―stabile‖/―unstabile‖ lokasyonlar belirlenmiştir. Farklı veritabanlarından (VT) alınan anlamsız gözüken veriler, Big Data yöntemleri kullanılarak hadoop distributed file system (HDFS) üzerinde depolanmıştır. Depolanmış olan anlamsız verilerle pig script kullanılarak veri analizi yapılmıştır. Pig script, veri analizinde HDFS üzerindeki veri kümelerini ortak kolon isimlerine göre birleştirerek tek bir dosya üzerine kaydedebilmek için kullanılmış, komplike işlemlerin gerçekleştirilmesine olanak sağlamıştır. Komplike işlemler, anlamsız görünen verilerin Big Data mantığı ile değerlendirilip anlamlandırılması ile tahminleme kısmına hazırlanması amaçlanmıştır. Tahminlemenin ikili sonuç şeklinde oluşması hedef alınmış, bu sebeple lojistik regresyon analizi uygulanmaya el verişli son rapor elde edilmiştir. Elde edilen ve HDFS üzerinde tutulan sonuç dosyası python programlama dili ve lojistik regresyon uygulaması ile potansiyel ―stabile‖/―unstabile‖ lokasyonların tespiti için kullanılmıştır. Lojistik regresyon ile daha önceden belirlenmiş arıza sayıları (tekil ve toplam arıza) ve var olan diğer kolonlar bir bütün halinde değerlendirilmiş olup, yeni verilerde potansiyel ―stabile‖/―unstabile‖ lokasyonları tespit edilmiştir. Sonuç olarak yatırım yapılacak lokasyonların önceden tespit edilmesi; elde edilen sonuç verisi ve lokasyonların potansiyel stabilitesi ile çok daha anlaşılır bir şekilde gösterilmiştir. Bu çalışma, Big Data ve Lojistik Regresyon Analizi ortak kullanımı ile anlamlı veriler üzerinden yorum yapabilmeyi kolaylaştırmayı hedeflemiştir. Anahtar kelimeler: big data, hdfs, lojistik regresyon analizi, pig script