Makine öğrenmesi sınıflandırma yöntemlerinde performans metrikleri ile test tekniklerinin farklı veri setleri üzerinde değerlendirilmesi

Makine öğrenmesi sınıflandırma yöntemlerinde bir model oluşturulurken en önemli sorunlardan birisi en iyi sınıflandırıcının seçimi sürecidir. Doğru sınıflandırıcının seçiminde, veri setinin, modeli oluşturmak için ayrılan eğitim bölümü ile modelin test edilmesi aşamasında kullanılan test bölümünün doğru seçilmesi büyük önem arz etmektedir. Çalışmada bölme işlemi için hold-out ve 10 katlı çapraz doğrulama yöntemleri kullanılmıştır. Model oluşturulduktan sonra ise sınıflandırıcının performansını değerlendirmek için bazı metrikler kullanılmaktadır. Bu tez çalışması kapsamında veri dağılımı ve karar sınıfı dağılımı birbirinden farklı olan 32 veri setine dokuz sınıflandırıcı uygulanmıştır. Model oluşturmak için açık kaynak kodlu bir dil olan Python programlama dili ve Sklearn, Pandas, Numpy, Seaborn ve Matplotlib kütüphanelerinden faydalanılmıştır. Bu sınıflandırıcılar ile hold-out ve çapraz doğrulama yöntemleri kullanılarak modeller oluşturulmuştur. Sınıflandırıcıların performanslarını değerlendirmek için karmaşıklık matrisinden faydalanılmış ve karmaşıklık matrisi yardımı ile her bir model için doğruluk, kesinlik, anma, F1, MCC ve AUC değerleri hesaplanmıştır. Dengesiz veri setlerinde MCC ve AUC değerlerinin sınıflandırıcı seçiminde daha doğru sonuçlar verdiği gözlemlenmiştir. Elde edilen sonuçlar incelendiğinde hold-out yöntemi yirmi veri setinde çapraz doğrulama yönteminden daha iyi sonuç vermiş olsa da model seçimi yapılırken çapraz doğrulama yöntemi seçilmiştir. Bunun nedeni hold-out yönteminde model eğitilirken ya da test edilirken hiç görmediği bir veri dağılımı olabilmektedir. Seyahat sigortası ve ph tanıma veri setleri ile oluşturulan modellere bakıldığında bazı durumlarda yüksek başarım değerinin düşük başarım değerinden daha kötü olduğu görülmektedir.