İnsan faaliyetlerinin akış verileri üzerinden aykırılık tespiti

Günümüzde, dünyada bulunan birçok cihazdan sürekli olarak büyük hacimlerde veri üretilmesi nedeniyle "Akış Verisi" terimi ortaya çıkmıştır. Veri Akışı, farklı hızlarda gerçekleşen, sınırsız ve sürekli akan verileri ifade eder. Bu verilerin statik verilere kıyasla sahip olduğu özel nitelikler nedeniyle, aykırı değer tespiti açısından akış verileri için yeni zorluklar ortaya çıktı. Akış verisi, devasa sonsuz büyüklülük, çok boyutluluk, yüksek varış hızı gibi birçok özellikleri içerebilir. Bu nedenle, büyük ölçekli verileri gerçek zamanlı işlemede oldukça etkili (ölçeklenebilir, hızlı ve hataya dayanıklı, vb.) ve gerçek zamanlı aykırı değer tespiti sağlayan çözümlere ve yapılara yüksek talep vardır. Çok hızlı akan bu veri akışı içinde, diğer veri noktalarının beklenen normal davranışından davranış ve tutum olarak sapan veri noktaları mevcuttur. Bu veri noktaları, aykırı değerler olarak bilinir. Aykırı değer tespiti sorunu, veri akışlarının madenciliğindeki en önemli ve zorlu görevlerden biri olarak kabul edilir. Veri akışlarında aykırı değerlerin tespit edilmesi her geçen gün daha önemli hale gelmiştir bu anormal olay, gerçekleşmek üzere olan donanım veya yazılım arızalarının, kötü niyetli saldırıların, dolandırıcılık girişimleri yahut bazen insan hayatını kurtarmak gibi ilgilenilen bir olayın işareti olabilir. Bu tez, akış verisi çözümleri için yüksek talebi karşılayabilen bir veri hattı metodolojisi önererek, akış verileri üzerinden gerçek zamanlı aykırı değer tespiti sorununu ele almaktadır. Önerilen metodoloji bir gerçek hayat problemi çözümünde uygulanarak değerlendirilmiştir. Metodolojiye dayalı çözüm ve Makine Öğrenimi modeli, bir akıllı telefonun yerleşik ivmeölçerinden sürekli veri akışı ile insan etkinliklerindeki aykırı değerleri gerçek zamanlı olarak başarıyla tespit edebilmiştir. Son yıllarda Isolation Forest algoritmasına gösterilen ilgi, Akan veri ve örüntü tanıma görevlerinde, birleştirilmiş algoritmalar kullanılarak elde edilen önemli başarılar nedeniyle artarak önem kazanmıştır. Bu nedenle bu tezde, Makine Öğrenimi modelinin geliştirilmesi için aykırı değer algılama algoritması olarak Isolation Forest algoritması kullanılmıştır. Diğer algoritmaların literatür araştırmasında sunulduğu gibi yüksek boyutlu ve dengesiz veriler, yüksek bellek kullanımı ve zaman tüketimi gibi zorluklarla başa çıkma konusundaki sınırlamalarından dolayı Isolation Forest algoritmasının kullanılmasına karar verildi. Akış verilerinin sürekli olarak gelişmesi ve dolayısıyla verilerin kayan pencere mekanizması tarafından sıralı olarak işlenmesi nedeniyle, sadece akış üzerinde tam bir görüşe sahip olmak için değil, aynı zamanda verilerin uygun şekilde analiz edilmesini kolaylaştırmak için bu evrimin özünü yakalar. Bu nedenle, sistemimizin performansını artırmak için veriler üzerinde 5 saniyelik üst üste binme olmaksızın kayan pencere yapılmıştır. Bu, sistemimize bu süre zarfında kullanıcının davranışını tanımlama konusunda daha fazla gücün yanı sıra daha fazla sağlamlık ve aykırı değerleri daha doğru bir şekilde tespit etme yeteneği sağlamıştır. Dahası, önerilen metodoloji, Apache Kafka ve Apache Spark gibi çoklu stratejiler ve teknolojilerle sinerjik olarak birleştirilmiş gelişmiş bir mimari ardışık düzene dayanmaktadır. Bunun nedenle, yüksek hata toleransı sağlama, makine öğrenimini uygulama ve akış verileri üzerinden gerçek zamanlı olarak karmaşık hesaplamaları yürütme kapasitesi nedeniyle dağıtılmış büyük veri işleme motoru olarak Apache Spark kullanıldı. Mesajlaşma sistemi olarak veri akışları üzerinde yüksek verim, düşük gecikme süresi ve ayrıştırma özelliklerine sahip aynı zamanda ölçeklenebilir bir veri hattı sağlama yeteneği olan Apache Kafka kullanıldı. Apache Spark ve Kafka ilkeleri, geliştirilen veri hattının temel altyapısını oluşturur. Uygulanan ve geliştirilen çözüm, Küresel Konum Sistemi (GPS) hizmetlerinin yetersiz kaldığı AVM gibi kapalı ortamlarda çalışacak şekilde tasarlanmıştır. Anında yanıt verilmesi gereken olağandışı olayları, eylemleri veya kullanıcıların davranışlarını tespit etmek ve tanımlamak için bir önleme mekanizması ve gözetim sistemini simüle etmek için metodolojimizi uyguladık. Ayrıca, benimsenen aykırı değer tespit algoritmasının doğruluğunu sağlamak ve garanti etmek için, gerçekleştirilen deney Gerçek zamanlı olarak farklı kullanıcıların üzerinde farklı denemelerle gerçekleştirilmiştir. Kullanıcılar, işlemi istedikleri sürece ve tercih ettikleri sırayla gerçekleştirmişlerdir. Başka bir deyişle, kullanıcılar herhangi bir dizi eylemi herhangi bir sırayla yapmak zorunda değildir ve tercih ettikleri herhangi bir sırayla herhangi bir eylemi gerçekleştirmekte tamamen özgürdürler. Sıralı olarak sistem, bu etkinliklerin akışını okumaya ve dinlemeye devam edecek ve örneğin (koşu etkinliği) bir aykırı değer oluşması durumunda hemen bir uyarı gönderecektir. Önerilen metodolojiden elde edilen değerlendirme sonuçları, geliştirilen veri hattının gerçek zamanlı aykırı değer tespiti gerçekleştirmede %97'lik doğrulukla, yeterliliğini ve etkinliğini kanıtlamaktadır.