Optimizing the lifetime of wireless sensor networks using deep reinforcement learning in a software-defined network architecture

Farklı uygulamalardaki verilerin günümüzde gittikçe artan önemi ile birlikte, çevreden söz konusu verileri toplayabilmek adına Kablosuz Sensör Ağları (Wireless Sensor Networks/WSN) yaygın bir biçimde kullanılmaktadır. Bu ağların görevlerini yerine getirebilmek için ihtiyaç duymuş oldukları esnekliği sağlamak adına, küçük boyutlarda ve bu sayede yüksek hareketliliğe sahip sensörler kullanılır. Ancak, bahsedilen sensörlerin küçük boyutlu olması, güç ve enerji kaynaklarının işlenmesi gibi, devrelerin donatılabilecek oldukları kaynak sayısını sınırlandırmaktadır. Ayrıca, internet erişiminin kolaylaşması ile birlikte, söz konusu ağlar, Nesnelerin İnternetini (Internet of Things) oluşturan bir merkez birimde toplamış oldukları verileri gönderebilmek için internete bağlanmaktadır. Kablosuz Sensör Ağlarının (WSN) değişmekte olan devre topolojilerine adapte olabilmesi adına, devreler, bir sunucudan diğer sunucuya, kendilerinden gönderilen paketlere ek paket göndermeye yönlendirilirler. Dolayısıyla, kendi görevini yerine getirebilmek ve paketlerini iletebilmek adına ihtiyaç duyduğu kaynaklara ek olarak, devreden ihtiyaç duyulan kaynaklar, iletilmesi gereken paketlerin sayısına bağlıdır. Böylelikle, devrelerdeki kaynak tüketiminin optimizasyonu, paketlerin hedeflerine ulaşabilmek için kullandıkları yolların optimizasyonunu gerektirmektedir. Modern ağların değişmekte olan topolojisine göre, sabit ağ veri yönlendirme kuralları artık kullanılmamaktadır. Söz konusu kısıtlandırmanın aşılması adına, merkezi bir denetçinin paket verilerinin yönlendirilmesinde karar veren role sahip olduğu Yazılım Tanımlı Ağlar (SDN) kullanılır. Söz konusu denetleyici, bir paketin hedefine ulaşmak için takip etmesi gereken yolu belirlemek adına, paketin bilgilerine ek olarak, ağ hakkında da veri toplar. Fakat, WSN'nin topolojisinde gelişen karmaşıklık ve etkili yönlendirmenin önemi ile birlikte, SDN'nin denetçisinde karar verme sürecini kontrol etmek adına ML (Makine Öğrenimi) teknikleri kullanılmaktadır. Bu çalışmada, SDN kullanmakta olan WSN içerisindeki kaynak tüketiminin optimizasyonunu sağlamak adına yeni bir yöntem sunulmaktadır. Sunulan yöntem, WSN'nin ömrü bazında, RL (Takviyeli Öğrenme) kullanımı ile eğitilen bir nöral ağdan yararlanmaktadır. WSN'nin ömrünü uzatabilmek için, nöral ağın en ideal rotaların kullanılması gereken ağlardaki devrelerin güç tüketimini optimize etmesi gerekmektedir. Bu tez çalışmasında üç tür nöral ağ değerlendirilmketedir; İleri Beslemeli Nöral Ağ (Feed-Forward Neural Network – FF-NN), 2 Boyutlu Evrişimsel Nöral Ağ (2D- Convolutional Neural Network – 2D-CNN) ve 3D-CNN. Bu modellerin değerlendirmesi; gelişen en son teknoloji ile var olan 578122.2 Saniye ömür süresini %17 değerinde uzatarak, 678251.6 Saniye ortalama ömür süresi ile 3D-CNN'nin en iyi performansı elde ettiğini ortaya koymaktadır. Bu model dahilinde, bir paketin hedefine ulaşabilmesi için gerekli ortalama sıçrama değeri, ortalama %85.07'lik Paket Aktarım Oranı (Packet Delivery Rate - PDR) ile 9.81 sıçramadır. Ayrıca, 2D CNN modeli, paket başına ortalama 12.37 sıçrama ve %82.47'lik PDR ile 638169.2 Saniye ömür süresi elde etmiş, FF-NN modeli ise paket başına 8.31 sıçrama ve %83.37 PDR ile 578381.6 Saniye ömür süresine ulaşmıştır. Sonuçlar, 3D-CNN modelinin üstünlüğüne ek olarak, en kısa yolların kullanımının, yoğun trafiği kontrol altında tutan bölgelerde konumlandırılmış olan bazı devrelerin kaynaklarında tükenme meydana getirdiğini ve WSN'nin toplam ömrünü kısalttığını da göstermiştir. Yani, ömrün uzatılması, söz konusu tükenmeden kaçınabilmek adına alternatif, yani daha uzun, rotaları tercih etmeyi gerektirmektedir.