Bilginin tepe yaşı (PAoI) ihlali garantili kaynak tahsisi için güvenli derin pekiştirmeli öğrenme (safe DRL)

Kablosuz Ağ Tabanlı Kontrol Sistemlerinde (WNCS), kontrol ve iletişim sistemleri arasındaki güçlü karşılıklı bağımlılık, bu iki yapının eşzamanlı olarak tasarlanmasını zorunlu kılmaktadır. Bu tez, literatürde ilk kez, performansı optimize ederken sistem kısıtlamalarını sağlamayı garantileyen ultra güvenilir WNCS'ler için yeni bir optimizasyon teorisi tabanlı güvenli Derin Pekiştirmeli Öğrenme (DRL) metodu sunmaktadır. Önerilen algoritma, sonlu blok uzunluğu (FBL) rejiminde, Bilginin Tepe Yaşı (PAoI) ihlal olasılığı, iletim gücü (transmit power) ve planlanabilirlik (schedulability) dahil olmak üzere temel kısıtlamalar altında güç tüketimini en aza indirir. PAoI ihlal olasılığı, bir çoklu sensör ağında, stokastik maksimum izin verilen aktarım aralığı (MATI) ve maksimum izin verilen paket gecikmesi (MAD) kısıtlamalarının birleştirilmesiyle benzersiz bir şekilde türetilir. Önerilen metot iki aşamadan oluşur: optimizasyon teorisi ve güvenli DRL. İlk aşama, değişkenler arasında matematiksel ilişkiler kurmak, sorunu basitleştirmek ve ayrıştırmak için optimallik koşulları (optimality conditions) türetilir. İkinci aşama, bir öğretmen-öğrenci çerçevesinin (teacher-student framework) DRL etmenini (öğrenci) yönlendirdiği güvenli bir DRL modeli kullanır. Kontrol mekanizması (öğretmen), seçilen eylemin sistem kısıtlamalarına uyumunu değerlendirir ve gerektiğinde sistem gereksinimlerini sağlayan en yakın eylemi önerir. Kapsamlı simülasyonlar, önerilen metodun kural tabanlı ve diğer optimizasyon teorisi tabanlı DRL kıyaslama ölçütlerinden daha iyi performans gösterdiğini, daha hızlı yakınsama, daha yüksek ödüller ve daha büyük istikrar elde ettiğini göstermektedir.