On federated learning over wireless channels with over-the-air aggregation

Federe öğrenme (FL) adı verilen merkezi olmayan makine öğrenimi (ML) yaklaşımı, kullanıcıların verilerini güvence altına aldığı ve iletişim maliyetlerini azalttığı için son zamanlarda ilgi odağı olmuştur. FL'de, global modelin kaydını tutan bir parametre sunucusu (PS), bir dizi mobil kullanıcı (MU) arasında yerel eğitimi ve global model toplamasını düzenler. Kablosuz kanallar üzerinden FL ile ilgili çalışmalar mevcut olmakla birlikte, pratik kablosuz iletişim senaryolarındaki performansı çok iyi araştırılmamıştır. Bu motivasyonla, bu tez, gerçekçi kanal modelleri kullanan ve farklı kablosuz kanal etkilerinin etkisini analiz eden kablosuz FL şemalarını ele almaktadır. Tezin ilk bölümünde, sunucu tarafını MU'lara daha yakın hale getirmek için ara sunucuların (IS'ler) kullanıldığı hiyerarşik federe öğrenmeyi (HFL) inceliyoruz. Kümeleme yaklaşımı, küresel toplamadan önce çoklu küme toplamaları gerçekleştirmek için MU'ların IS'lere atandığı durumlarda kullanılır. İlk olarak, MU'ların gradyanlarını havadan (OTA) toplama kullanarak yol kaybı ve sönümlemeli bir kanal üzerinden gönderdiği kısmen kablosuz bir yaklaşımın performansını analiz ediyoruz. Kümeler arası girişim olmadığını ve IS'lerden PS'ye olan gradyanların hatasız gönderildiğini varsayıyoruz. Önerilen algoritmamızın OTA toplamalı standart FL'ye kıyasla daha hızlı yakınsama ve daha düşük güç tüketimi sunduğunu sayısal ve deneysel analizlerle gösteriyoruz. Bir uzantı olarak, hem MU'ların hem de IS'lerin gradyanlarını kümeler arası girişimin etkisini dikkate alarak OTA toplama yoluyla gönderdiği tamamen kablosuz bir HFL kurulumunu da inceliyoruz. Sayısal ve deneysel sonuçlarımız, IS'lerin kullanılmasının, daha az iletim gücü kullanırken herhangi bir IS'siz OTA FL'den daha hızlı bir yakınsama ve daha iyi bir performans ile sonuçlandığını ortaya koymaktadır. Ayrıca, küme kümelemelerinin en iyi seçiminin, MU'lar ve kümeler arasındaki veri dağılımına bağlı olduğu da gösterilmiştir. Tezin ikinci bölümünde, stokastik enerji gelişleri ile enerji hasadı MU'ları ile FL'yi inceliyoruz. Her global yinelemede, pillerinde yeterli enerjiye sahip MU'lar yerel SGD yinelemelerini gerçekleştirir ve gradyanlarını OTA toplamasını kullanarak iletir. Gradyanları PS'ye göndermeden önce, daha az sıklıkta yerel güncellemeler gönderen MU'ların önemini artırmak için gradyanlar, bir bekleme süresi çarpanı aracılığıyla her bir MU'nun boşta kalma süresi ve veri kardinalitesine göre ölçeklendirilir. Önerilen kurulumun yakınsama analizini sağlarız ve sonuçlarımızı farklı enerji varış profilleri altında sayısal ve sinir ağı simülasyonları ile doğrularız. Sonuçlar, enerji toplama cihazlarına sahip OTA FL'nin herhangi bir enerji kısıtlaması olmaksızın OTA FL'den biraz daha kötü performans gösterdiğini ve fazla enerjiyi daha fazla yerel SGD yinelemeleri için kullanmanın, yalnızca iletim gücünü artırmaktan daha iyi bir yakınsama oranı sağladığını göstermektedir.