Memory efficient filtering algorithms for convolutional neural networks

Xception, ResNet ve GoogleNet gibi en son tasarlanan evrişimli yapay sinir ağı mimarilerinin, kaynak sınırlı cihazlarda kullanılması büyük bir uygulama problemidir. Bu mimariler, fazla sayıda katmandan ve milyonlarca parametreden oluşturmaktadır.Ayrıca, bunlar sadece bir resmi işleyip, sonuçlandırabilmek için milyarlarca kayan nokta operasyonuna ihtiyaç duymaktadır. Dolayısı ile, parametreleri depolamak ve onları kullanmak için gerekli depolama alanları, verimli evrişimli sinir ağı mimarileri için ana kısıtlamalardır. Bu tez çalışmasında, evrişimli katmanlarda gerçekleştirilen kayan nokta işlemlerinin sayısını azaltmak için Winograd'ın minimal filtreleme algoritmalarını inceliyoruz. Herhangi bir doğruluk kaybı olmaksızın, toplam çarpma işlemi sayısını x2.25 kat azaltıyoruz. Dahası, geleneksel Winograd algoritmalarını depolama alanları açısından daha verimli hale getirmek için, seyrek ve nicelenmiş Winograd algoritmalarını inceliyoruz. Ağ parametrelerini 1 bitten fazla nicelemek için doğrusal bir niceleme şeması öneriyoruz. ReLU aktivasyon fonksiyonunu ve terkinimin bir varyasyonu olan hedefli terkinimi Winograd algoritmasının dönüştürülmüş girdilerini seyreltmek için kullanıyoruz. Bir çok aritmetik işlemi, bit tabanlı işlemlere dönüştürmek için parametreleri, -1 veya 1, değerlerini alacak şekilde ikilileştiriyoruz. CIFAR10 ve CIFAR100 veri kümeleri üzerinde farklı deneyler yaparak, geleneksel Winograd algoritmaları ile değişiklik yapılan algoritmalar arasında sınıflandırma performanslarını tartışıyoruz. Geleneksel Winograd algoritması ile karşılaştırıldığında ReLU-ed Winograd algoritması %1.9'den daha düşük sınıflandırma performansı kaybı elde edebiliyoruz. ReLU-ed Winograd algoritmasındaki parametreleri ikilileştirerek, bellek ihtiyacını x32 kat azaltabiliyoruz, karşılığında %2'den daha az sınıflandırma performans kaybı ile karşılaşıyoruz. Son olarak, sınıflandırma performans kaybına karşı düşük toleranslı uygulamalar için parametreleri ikilileştirmek yerine onları 2-bit, 4-bit ve 8-bit olacak şekilde niceliyoruz. Nicelenen parametreler ile eğitilen ReLU-ed Winograd evrişimli sinir ağlarının, nicelenmeyen parametreler ile eğitilen ağ ile benzer sınıflandırma performansına eriştiğini gözlemliyoruz.