Derin sinir ağı hızlandırıcı tasarımlarında yonga-üstü-ağ yapısının kullanımı

Son yıllarda görüntü ve konuşma tanıma, doğal dil işleme (NLP) ve otonom sistemler gibi çeşitli alanlarda kaydedilen ilerlemelerde Derin Sinir Ağları (DNN'ler) yaygın olarak benimseniyor. Bu alanlardaki güncel problemlerin giderek karmaşık hale gelmesi, sinir ağlarının iletişim kuran katmanlarının ve bu katmanlarda bulunan nöronların sayısının artmasına neden olmuştur. Bu nedenle kullanılan sinir ağlarının enerji tüketimi ve çalışma süresi gibi maliyetleri artırmıştır. Bu maliyetleri karşılamak için sinir ağlarının çalışmasını hızlandıracak yeni mimarilerin geliştirilmesi gerekmektedir. Bilgisayarların çalıştırıldığı uygulamaya bağlı olarak işlem birimlerinin işlevi için en uygun olan birim üzerinde çalıştırılması ve bu şekilde donanımın uygulamaya özelleşmesi heterojen mimari adı altında giderek yaygınlaşmaktadır. Bu tezde, sinir ağı katmanlarının hem tam bağlı hem de kısmen bağlı sinir ağı modelleri dikkate alınarak Yonga-Üstü-Ağ (NoC) tabanlı bir hızlandırıcı tasarımı önerilmiştir. Yonga-Üstü-Ağ yapısının sunduğu çip üzerindeki her bir işlem elemanının kendi yönlendiricisine sahip olması ve işlem elemanlarının düzenli bir yapıya sahip olması, çip üzerindeki veri iletişimini muadillerinden ileri bir seviyeye taşımaktadır. Sinir ağındaki nöronların gruplandırılması ve bu işlem elemanları üzerinde çalıştırılması sağlanan bu iletişim altyapısı, iyi bir seçenek haline gelmektedir. İşlem elemanlarında yapılan hesaplamanın, o işlem elemanına iletilen veri kadar olacağından, veri iletişimi yoğunluğu Yonga-Üstü-Ağ yapısı üzerinde yapılacak olan hızlandırma modellerinin karşılaştırmasında bir kıstas olarak kullanılabilir. Neuron grupları arasındaki veri hacmini en aza indirmek amacıyla nöronları gruplandırmada tamsayılı doğrusal programlama (ILP) ve simüle tavlama (SA) gibi sezgisel yöntemler analiz edilmiştir. Daha sonra nöronlar, sistemin toplam iletişim maliyetini en aza indirmek için ILP ve SA kullanılarak 2 boyutlu Yonga-Üstü-Ağ yapısına eşlenecektir. Böylece görülecektir ki Yonga-Üstü-Ağ yapısı kullanılarak sinir ağı hızlandırıcısı tasarımı iki aşamalı bir problemdir: Nöron gruplandırma ve grupların Yonga-Üstü-Ağ üzerine eşlenmesi. Bu tezde önerilen tasarım, Yonga-Üstü-Ağ yapısı üzerindeki sinir ağları hızlandırıcılarında yüksek veri iletişimi sorununu ele alması bakımından yenidir. Çeşitli DNN modelleri üzerinde yapılan kapsamlı deneyler, önerilen tasarım ile iletişim maliyetinde ortalama %40'lık bir iyileşme göstermektedir. Önerilen tasarım, DNN'lerin hızlandırılması için yeni bir yaklaşım sunmakta olup IoT, otonom sistemler, doğal dil işleme, konuşma tanıma ve bulut bilişim gibi çeşitli alanlara uygulanabilir.