Olasılıksal eylemler kullanan pekiştirmeli öğrenme tabanlı aktif kuyruk yönetimi

İnternet trafiği yoğunluğunun artmasıyla birlikte, yönlendiricilerdeki kuyruk yönetimi sorunları daha da önemli hale gelmiştir. Klasik Aktif Kuyruk Yönetimi (AQM) algoritmaları, sabit eşik değerleri ve parametre ayarlama gereksinimleri nedeniyle değişken internet trafiği koşullarına uyum sağlamakta yetersiz kalmaktadır. Bu tezde, AQM algoritmalarının performansını iyileştirmek için Sürekli Uyarlamalı Öğrenme Aktif Kuyruk Yönetimi (CoAL-AQM) adlı Q-öğrenme tabanlı bir AQM algoritması geliştirilmiştir. CoAL-AQM, ağ durumunu analiz ederek kararlarını sadece kuyruk doluluğuna göre değil, gelen paketin protokol türüne ve akışların paket bırakma oranına göre de verir. CoAL-AQM, paketler için geçme, işaretleme ve bırakma kararları verirken 0,0 ile 1,0 arasında değişen eylem olasılıklarına göre etiketlenen olasılıksal eylemleri kullanır. Ayrıca CoAL-AQM, belirli bir süre eğitilip daha sonra devreye alınmak yerine, sürekli öğrenme yaklaşımıyla değişen trafik koşullarına daha iyi uyum sağlar. OMNeT++ simülasyon ortamında deneysel çalışmalar yürütülmüş ve CoAL-AQM'nin klasik algoritmalara göre daha iyi performans gösterdiği görülmüştür. CoAL-AQM, değişen yoğunluklardaki trafik senaryolarında performans üstünlüğünü korumuştur. Bu tez çalışması, kuyruk yönetimi sorunlarına farklı durum, eylem ve ödül mekanizmalarıyla Güçlendirme Öğrenmesi tabanlı AQM yaklaşımlarıyla daha iyi kuyruk yönetimi yaklaşımlarının sağlanabileceğini göstermektedir. CoAL-AQM, parametre ayarlaması gerektirmeden farklı koşullara uyum sağlayabilen ve gecikme, verim ve paket kaybı oranını dengeleyebilen bir AQM çözümü sunmaktadır.