Federated learning and distributed inference over wireless channels

Geniş bağlantı ve artan bağlı cihaz sayısıyla işaretlenen bir dönemde, bilgi zenginliğine benzeri görülmemiş bir erişim elde ettik. Bu sayede, akıllı sistemlerin güvenilirliğini ve hassasiyeti arttı ve daha önce hiç olmadığı kadar yetenekli öğrenme algoritmaları geliştirildi. Ancak, bu veri miktarındaki artış aynı zamanda artan trafik yükleri ve önemli hesaplama kaynaklarının gerekliliği nedeniyle bu akıllı sistemlerin eğitim ve sonuç çıkarma süreçlerini geliştirmede yeni zorlukları da beraberinde getirmektedir. Sonuç olarak, federe öğrenme (FL) ve dağıtık çıkarım sistemlerinin tanıtımı kaçınılmaz hale gelmiştir. Hem FL hem de dağıtık çıkarım, ağ içinde iletişimi gerektirir, özellikle model güncellemelerinin ve ara özelliklerin iletimini gerektirmektedir. Dolayısıyla, bunların kablosuz ağlarda kullanımına önemli bir odak noktası oluşturmuş ve bu bağlamda kablosuz iletişimin kilit rolünü vurgulamıştır. Kablosuz solma kanallarda federe öğrenmenin pratik uygulanmasına yönelik olarak, donanım kaynaklı bozulmaları hesaba katan maliyet-etkin çözümlere odaklanıyoruz. Dağıtılmış çalışanların kanal durumu bilgisine (CSI) erişim olmadan çalıştığı bir kör verici senaryosunu dikkate alıyoruz. Aynı zamanda, parametre sunucusu (PS), alınan sinyalleri hizalamak için birden fazla anten kullanmaktadır. Güç tüketimini azaltmak ve donanım masraflarını düşürmek için, verici tarafında karmaşık değerli, düşük çözünürlüklü dijital-analog dönüştürücüler (DAC) ve PS tarafında analog-dijital dönüştürücüler (ADC) kullanıyoruz. Teorik analiz ve sayısal gösterimlerin bir kombinasyonuyla, federe öğrenme sistemlerinin az çözünürlüklü ADC ve DAC varlığında bile azalan kanallarda etkili bir şekilde çalışabileceğini belirliyoruz. Pratik uygulamanın başka bir yönü olarak, zaman içinde değişen kablosuz kanallar üzerinde havadan birleştirme ile federe öğrenmeyi araştırıyoruz. Bu senaryoda, işçiler yerel gradyanlarını, işçi veya PS hareketliliği gibi faktörlerden kaynaklanan zaman değişimleri yaşayan kanallar üzerinden iletiyorlar. Bu kanal değişimleri, özellikle hızlı değişen kanalların varlığında sistem performansını kayda değer bir şekilde düşürebilen ara taşıyıcı interferans (ICI) girişi oluşturur. Kanal zaman değişimlerinin FL ile havadan birleştirme yaklaşımı üzerindeki etkilerini inceliyoruz ve ortaya çıkan istenmeyen interferans terimlerinin, dağıtık öğrenme algoritmasının yakınsamasını engellemeyen sınırlı yıkıcı etkilere sahip olduğunu gösteriyoruz. Dağıtık çıkarım konseptine odaklandığımızda, çoklu sensör kablosuz çıkarım sistemini ele alıyoruz. Bu yapıda, sınırlı hesaplama kapasitesine sahip birkaç sensör, örtüşen bölgeleri gözlemliyor ve merkezi bir cihaz ile birlikte işbirlikçi çıkarım çabalarına katılıyor. Sensörlerin hesaplama yeteneklerinin doğal sınırlamaları göz önüne alındığında, ağın ön bölümünden çıkarılan özellikler, ara özellikler için sensör birleştirmeyi gerektiren bir kenar cihazına iletilir. Maximum işlemi için $L_p$-norm ilham alınan ve LogSumExp yaklaşımları ile sensör birleştirme yöntemi olarak öneriyoruz, bu da dönüşümle değişmez özelliklerin elde edilmesine ve aynı zamanda bant genişliğini verimli bir şekilde kullanılmasına olanak tanır. Önerdiğimiz yöntemin bir gelişimi olarak, $L_p$-norm ilham alınan bir öğrenilebilir sensör birleştirme tekniği sunuyoruz. Bu teknik, sensör birleştirme işlevine öğrenilebilir bir parametre ekler ve sensör birleştirmeyi ağın benzersiz özellikleri ve sensör dağılımı karakteristiklerine göre özelleştirmenin esnekliğini sunar. Davranışların bir yelpazesini kapsayarak, bu yaklaşım sistemin uyum sağlama yeteneğini artırır ve genel performans iyileştirmesine katkıda bulunur.