Çoklu doğrusal regresyon ve karar ağacı kullanarak hibrit tahmin yaklaşım

Bir kış sabahı uyandığınızda, yağmur yağacak mı yoksa hava güzel mi olacak diye merak edebilirsiniz. Hayatımızda, işe başlamadan önce cevabı tahmin etmeyi ve tahmin etmeyi gerektiren birçok seçeneğe düşeriz. Bu tezde, bir karar ağacı (regresyon ağacı) ile CART mekanizmasına dayalı çoklu doğrusal regresyon arasında hibrit bir yöntem kullanılmıştır. Yaklaşımı test etmek için üç farklı veri seti kullandı. Birincisi, bu reklam yöntemlerinin satışlarla (Y) ilişkisini satış ve satın alma gücü üzerindeki etkisi açısından (TV, radyo ve gazeteler) (X) kullanılarak temsil edilen reklam veri setidir. Bu veri kümesine "Reklam" adı verilir. İkinci veri seti, bağımsız değişkenler (X) olan (Balık türleri, uzunluk, yükseklik, genişlik) ve bunların bağımlı değişkeni temsil eden balığın ağırlığı üzerindeki etkilerini içerir. Bu veri kümesine "Balık" adı verilir. Üçüncü veri seti, arabanın teknik özelliklerinin bağımlı değişken olarak kabul edilen fiyatı üzerindeki etkisidir. Araç özellikleri araba adı, yakıt tipi, çekiş, kapı numarası, araba gövdesi, tahrik tekerleği, motor konumu, dingil mesafesi, araba uzunluğu, araba genişliği, araba yüksekliği, boş ağırlık, motor tipi, silindir numarası, motor boyutu, yakıt sistemi, delik oranı, sıkıştırma oranı, beygir gücü, en yüksek devir sayısı, şehir içi mpg ve otoyol mpg'sidir. Bu veri kümesine "Araba" denir. Veri kümeleri, sırasıyla %80 - %20 tren ve test olarak bölünmüştür. Lineer regresyon ve CART yardımıyla doğru taminler yapılarak araştırma adımları gerçekleştirilmiştir. İlk olarak, CART kullanarak veri kümelerini ayırdık. Her yaprak için farklı alt veri kümeleri filtrelenir ve oluşturulur. Veri setindeki ayrılma noktası düğümler ile bulundu. Hipotezimiz, tahminlerin doğruluğunu artırmak için veri setini CART kullanarak bölmektir. Filtrelenmiş veri kümelerine çoklu doğrusal regresyon uyguladı. Daha sonra, tüm veri ve bölünmüş veri seti kullanılarak çoklu doğrusal regresyon tahminleri karşılaştırılır. Çoklu doğrusal regresyon (MLR) modelleri, katsayıları basit modellere benzer şekilde tahmin eder. Basit doğrusal regresyonda olduğu gibi, çoklu doğrusal regresyondaki en küçük kareler tahmin edicileri tarafsızdır. Ayrıca yansız tahminciler en küçük varyasyona sahiptir ve tutarlıdır. Bu nedenle, regresyon varsayımları doğru kalırsa, kullanıcılar en küçük kareler tahmincilerini kullanarak çoklu doğrusal regresyon katsayılarını güvenle çıkarabilirler. Regresyon çizgisi, değişken yanıt noktalarına yaklaşır. Nokta tahminini çevreleyen değişkenlik, çıkarım varsayımlarını doğrulamada, sorunlu gözlemleri belirlemede ve güven veya tahmin aralıkları yaratmada da yardımcı olur. Çoklu doğrusal regresyon, bağımsız ve bağımlı değişkenler arasındaki doğrusal ilişkiyi modellemek için çalışır. Bu bağımsız değişkenler sürekli veya kesikli olabilir. Çoklu doğrusal regresyon, basit doğrusal regresyonu birden fazla açıklayıcı değişken içerecek şekilde genişletir. Bu, bir bağımlı değişken (Y) ve birden fazla bağımsız değişken (Xi) olduğu anlamına gelir. Yanıt değişkeni, açıklayıcı değişkenlerin doğrusal bir kombinasyonu ile doğrudan ilişkili olduğundan, her iki senaryoda da "doğrusal" terimi kullanılmaktadır. Bölme, ağacı düğümlerinden iki veya daha fazla düğüme ayıran bir prosedürdür. Kök düğüm, tüm örneklemi veya popülasyonu temsil eder ve homojen gruplar olarak iki veya daha fazla gruba bölünür. Alt düğümlerin ayrıldığı düğümlere ebeveyn ve alt düğümler denir. Bölünemeyen ve minimum bölünmeye ulaşmış düğümlere yaprak düğümler denir. Budama, bölmenin tersidir, alt düğümleri kök düğümden çıkarır. Eğitim veri setleri kullanılarak sınıflandırma ve regresyon ağaçları oluşturulmuştur. İnşa edilen ağaçların derinliği üçtü. Daha sonra her bir derinlik seviyesi ve düğüm noktası için farklı MLR denklemleri oluşturulmuştur. Yaklaşımımızı test etmek için maksimum derinlik üç olarak seçildi. Bir sonraki adımda, ağaç oluşturulduktan sonra, her düğüm veri kümesi için bir filtre olarak kullanıldı. Her veri seti için toplam MLR modelleri 15 farklı filtre kullanılarak oluşturulmuştur. Sonraki bölümde, üç veri seti değerlendirildi ve geleneksel CART ve MLR modelleriyle karşılaştırıldı. Bu çalışmada sonuçlar, bağımlı değişkenin (Y) değerini tahmin etmek için regresyon ağacı yöntemi, çoklu doğrusal regresyon ve regresyon ağacını bölme ve ondan çoklu doğrusal regresyon modelleri oluşturma özel araştırma yöntemi kullanılarak karşılaştırıldı. R2, MSE ve MAPE değerlerine dayalı olarak en iyi tahmini veren en iyi yöntem olarak tespit edildi. Karar verme ve olayları tahmin etme hayatımızın ayrılmaz bir parçasıdır. Regresyon ağaçları, kararlarımızı düzenlemenin yaygın yollarından biridir ve makine öğrenimi yöntemlerinden biri olarak kabul edilir. Çoklu doğrusal regresyon modeli algoritması da tahminde önemli bir yöntemdir. Bu araştırmada, regresyon ağacından çoklu doğrusal regresyon modelleri oluşturmak için regresyon ağacı algoritması ile çoklu doğrusal regresyon algoritmasını birleştiren bir süreç önerilmiştir. Üç tür veriye uygulanmıştır. Birinci veri setinde üçüncü seviyeye (L3) bağlı olarak hatayı azaltarak en iyi sonucu verdiği görülmüştür. İkinci veri setinden farklı olarak trende en ufak hatayı üçüncü seviyede (L3) verirken, testte üçüncü seviyede (L3) en iyi sonucu vermeye yetmedi. Bu durumda optimal seviye L1 olarak bulunmuştur. Bu, çalışılan soruna bağlıdır. Ayrıca, en iyi sonucu seçmek için tek bir ölçüme güvenmek imkansızdır. Bununla birlikte, en iyi sonucu, yani en iyi modeli elde etmek için başka hata ölçüleri eklenmelidir. Üçüncü veri setinin birinci seviyede (L1) en iyi sonucu verdiği, ancak üçüncü seviyenin (L3) de en iyi sonucu verdiği için tek olmadığı not edilebilir. Veri setini bölmenin uygun bir yöntem olduğu söylenebilir çünkü en azından üç veri seti olan L1, L2 ve L3'te L0'a veya tam ağaca kıyasla en iyi sonuçları vermiştir. Ancak çoklu doğrusal regresyon modelini tek başına kullanmak en iyi sonucu vermez. Ancak, veri setini bölmek ve hibrit ağaç ve çoklu doğrusal regresyon modelinden en iyi sonucu bulmak için bir sınıflandırma ve regresyon ağacı ekleyebilir. Bu çalışmada, regresyon ağacına dayalı çoklu doğrusal regresyon yöntemi kullanılarak verilerin bölünmesinin, tek başına çoklu doğrusal regresyon yöntemi veya yalnızca regresyon ağacı kullanılmasına göre iyi bir sonuç verdiği görülmüştür. Ayrıca, bir hata ölçüsü kullanımının yeterli olmadığı, optimal bir model elde etmek için birden fazla hata ölçüsünün eklenmesi gerektiği görülmüştür. Ancak, veri setini bölmek ve en iyi sonucu bulmak için bir sınıflandırma ve regresyon ağacı ekleyebilir. hibrit ağaçtan ve çoklu doğrusal regresyon modelinden. Kapsamlı bir gerçek yaşam veri kümesindeki ağacın derinliği, yüksekliğin etkisini görmek için artırılacaktır. Ayrıca, ayrı bir çalışmada doğrusal regresyona alternatif yaklaşımları inceleyeceğiz. Ağaç boyutunu ve güçlü makine öğrenimi tekniklerini artırmada ölçeklenebilir ve etkili olabilir. Doğrusal olmayan verilerin analizi söz konusu olduğunda, karar vericiler genellikle hataları azaltma zorluğuyla karşı karşıya kalır. Neyse ki, regresyon ve CART'ı birleştiren hibrit bir yaklaşımın bunu başarmak için etkili bir yöntem olduğu kanıtlanmıştır. Doğrusal regresyonun ilişkisel tahminini ve CART'ın gruplandırmasını kullanan bu yaklaşım, büyük miktarda veriyi yönetmek ve veriye dayalı kararların doğruluğunu artırmak için güçlü bir araç sunar. Regresyon ağacı, kararı karmaşık ve basit hale getirmek için kullanılan istatistiksel araçlardan biridir. Regresyon ağaçları, ayrık değerler yerine sürekli değerlerle çıktıyı tahmin eder. Tepki değişkenine bağlı olarak, yordayıcıların veya ortak değişkenlerin bir vektörüne bakmak. Regresyon ağacı, basit ve çoklu doğrusal regresyon gibi parametrelere ihtiyaç duymaması bakımından diğer geleneksel regresyon yöntemlerinden farklıdır. Güçlü değişken alt bölümleri üzerinde çalışmasında fark yaratır, aykırı değerlerden etkilenmez ve farklı veri türleri üzerinde uygulanabilir.