Efficient orchestration methods in air computing using deep reinforcement learning

Akıllı cihazların yaygınlaşması ve çeşitli Nesnelerin İnterneti (IoT) gereksinimlerinin ortaya çıkmasıyla birlikte, hareketlilik, yaygınlık ve gerçek zamanlı yanıt açısından kullanıcı beklentilerinin giderek arttığı, ileri düzey uygulamaların hakimiyetine tanık olmaktayız. Geçtiğimiz yıllarda, bu uygulamaların gereksinimlerini karşılamak amacıyla, bulut hesaplama gerekli hesaplama kapasitesini sağlarken, uçta hesaplama ise düşük gecikmeyi temin etmiştir. Ancak, yüksek dinamik yük nedeniyle ortaya çıkan hesaplama ve iletişim darboğazları, bu iki temel çözümün yeni nesil uygulamalar için yetersiz kalmasına sebep olabilmektedir. Bu nedenle, tüm uygulama çeşitleri için dinamik, duyarlı ve üç boyutlu bir hesaplama ortamı sunan yeni nesil bir paradigma olan havada hesaplamayı ileri sürmekteyiz. Bu doğrultuda, öncelikle, karasal kaynakları kullanarak uçta hesaplama aracılığıyla derin pekiştirmeli öğrenme (DRL) ile verimli görev orkestrasyonunu araştırdık. Ardından, havada hesaplama ortamlarını doğru bir şekilde değerlendirebilmek amacıyla AirCompSim adında yenilikçi ayrık olay simülatörümüzü geliştirdik. Sonrasında, kullanıcıların herhangi bir sunucuya bağlanamadığı altyapısız bir ortamda, kaliteli görev aktarımını sağlamak için bilinmeyen kullanıcı konumlarına odaklandık. Sonuç olarak, algılama, konumlandırma, kaynak ayırma ve çoklu erişimli uçta hesaplama olmak üzere dört temel aşamadan oluşan DeepAir adında, DRL tabanlı yeni bir yöntem önerdik. Başarım değerlendirme sonuçları, DRL tabanlı yöntemlerimizin, sezgisel ve bulanık mantık yaklaşımları dahil olmak üzere ilgili karşılaştırma yöntemlerinden üstün olduğunu göstermektedir. Sonuç olarak, havada hesaplama ortamlarında dinamik kapasite artırımı ve orkestrasyon ile ilgili sorunlar aşılabilmektedir.