Building outlier detection framework by using automated machine learning methods

Akademik araştırmalar ve genel amaçlar açısından makine öğrenimi tekniklerinin önemi tartışılmazdır. Ancak, bu yöntemler, veri iyileştirme ve parametre optimizasyonu için büyük ölçüde manuel müdahaleye dayanır ve bu durum, farklı uzmanlık seviyelerindeki araştırmacılar için bir zorluk oluşturur. Bu bağımlılık, mevcut yapılarının yapılandırılmış, yapılandırılmamış ve yarı yapılandırılmış gibi çeşitli veri türlerini yönetmekte zorlanması nedeniyle, kullanıcılar için önemli engeller yaratır. Bu durum, etkin anomali tespiti yeteneklerini sınırlandırır ve kapsamlı veri analizini kısıtlar. Bu tez, çeşitli veri yapılarında güçlü anomali tespiti için tasarlanmış bir Otomatik Makine Öğrenimi (AutoML) yapısını tanıtmaktadır. Geleneksel AutoML sistemlerinin bazı veri ön sınıflandırması veya manuel algoritma seçimi gerektirmesinin aksine, bu yapı, veri setlerini bağımsız olarak sınıflandırır, özelliklerini belirler ve uygun anomali tespiti algoritmalarını uygulamak için onları özel bir işlem hattından geçirir. Bu uçtan uca otomasyon, anomali tespiti alanında nadirdir ve önemli bir ilerlemeyi temsil eder. Yapının temel işlevselliği, veri setlerini içsel özelliklerine dayalı olarak mekansal, zaman serisi ve boyutsal istatistiksel gibi kategorilere otomatik olarak sınıflandırmayı içerir. Bu sınıflandırma, etkin anomali tespiti için veri kalitesini artıran özel ön işleme tekniklerini bilgilendirir. Örneğin, mekansal veri setleri coğrafi dönüşümlere tabi tutulurken, zaman serisi verileri mevsimselliğe göre ayarlanır. Yapı, finans, sağlık ve sosyal medya gibi alanlardan 100 farklı veri setinde test edilmiştir. İşleme süresinde azalma ve doğrulukta artış gösterirken, veri setlerinin çoğunda yüzde 85'in üzerinde bir geri çağırma oranını korumuştur. Ayrıca, yapı, veri türüne bağlı olarak anomali tespiti algoritmalarını dinamik olarak seçer ve algoritma seçimini optimize etmek için tarihi verileri kullanan bir meta-öğrenme bileşeni ile geliştirilmiştir. Erken durdurma mekanizması, performans eşiklerine ulaşıldığında işlemi durdurarak kaynakları korur ve verimliliği artırır. Genel olarak, bu çalışma, anomali tespiti sürecini kolaylaştıran ve AutoML sistemine benzer sistematik bir yaklaşım sunan yenilikçi ve çok yönlü bir yapı katkısında bulunmaktadır. Farklı alanlar ve veri setleri arasında anomali tespit görevlerinde artırılmış verimlilik ve etkinlik sağlama yolunu açar. Ayrıca, bu gelişmiş veri ortamı içinde anomali tespit mekanizmalarının entegrasyonunun, doğruluk veya güvenilirlikten ödün vermeden düzensizliklerin daha hızlı tespit edilmesini sağlaması beklenmektedir. Yapı, anomali tespiti görevlerinin etkinliğini artırmayı ve tespit sürecini hızlandırmayı amaçlamaktadır. Çeşitli veri setleri üzerindeki kapsamlı değerlendirme, yapının uyarlanabilirliğini ve tutarlı performansını sergilemeyi amaçlar, farklı veri türleri ve senaryolar arasında anomali tespitini otomatikleştirme yeteneğini doğrular. Bu yapının başarılı bir şekilde gösterilmesi, birçok alanda ve veri setinde anomali tespiti süreçlerini basitleştirme ve iyileştirme yolunda önemli bir adım olacaktır.