Hardware acceleration for Swin transformers at the edge

Derin öğrenme modelleri görsel işleme yeteneklerini büyük ölçüde artırmışken, sınırlı kaynaklara sahip uç ortamlarında bu modellerin uygulanması, yüksek enerji tüketimi ve hesaplama gereksinimleri nedeniyle zor olabilir. Swin Tabanlı Dönüştürücü, geleneksel evrişimsel yaklaşımlardan farklı olarak, görüntüleri yorumlamak için hiyerarşik bir yaklaşım benimseyen bilgisayarla görmede öne çıkan bir mekanizmadır. Derin öğrenme algoritmalarının çıkarım sürecindeki verimliliğini artıran yaygın bir strateji kümeleme yöntemidir. Yerel Hassas Özetleme (YHÖ), dönüştürücüler içindeki doğuştan gelen fazlalıkları belirleyip hesaplama benzerliklerinden yararlanan bir mekanizmadır. Bu tez, uç hesaplama ortamlarında YHÖ ile Swin Tabanlı Dönüştürücü uygulaması için bir donanım hızlandırıcı tanıtmaktadır. Ana hedef, özel donanım bileşenleriyle performansı artırırken enerji tüketimini azaltmaktır. Özellikle, özel donanım hızlandırıcı tasarımımız, gerekli hesaplama miktarını azaltmak için Swin Tabanlı Dönüştürücülerde YHÖ kümelemeyi kullanmaktadır. Hızlandırıcımızı Imagenet-1K ve CIFAR-100 olmak üzere iki farklı veri seti ile test ettik. Sonuçlarımız, hızlandırıcının Swin Tabanlı Dönüştürücünün işleme hızını GPU tabanlı uygulamalara kıyasla artırdığını göstermektedir. Özellikle, hızlandırıcımız performansı 1.35 kat artırırken, güç tüketimini temel GPU ayarında 19 Watt yerine 5-6 Watt'a düşürmektedir. Bu iyileştirmeleri, model doğruluğunda %1'den düşük bir azalma ile gözlemliyoruz, bu da tasarımımızın sınırlı kaynaklara sahip uç hesaplama ortamlarında etkinliğini doğrulamaktadır.