Derin öğrenme kullanılarak FPGA'lar ile gerçek zamanlı nesne algılama ve tanıma

Nesne algılama ve tanıma işlemi, otonom insansız yer araçları, robotik ve medikal görüntü işleme gibi birçok alanda temel görevlerden biridir. Son zamanlarda derin öğrenme, veri ölçüsü büyük olduğunda birçok araştırmacı tarafından bu alanlarda kullanılmıştır. Özellikle, derin öğrenmenin en güncel yapılarından biri olan Evrişimsel Sinir Ağları (ESA'lar) bu alanda büyük başarılar sağlamıştır. ESA'lar ile ilgili gerçek zamanlı çalışmalar, Grafik İşleme Birimi (GPU- Graphics Processing Unit) kartları ile gömülü olarak yapılmıştır. GPU'lar yüksek kararlılıkla sonuçlanmasına rağmen, yüksek güç ve enerji tüketimi ve büyük hesapsal yük problemi ortaya çıkarmıştır. Bu problemin üstesinden gelmek için, İkili Sinir Ağı (İSA'lar) olarak adlandırılan, düşük kesinlikli yani ikileştirilmiş ağırlık ve aktivasyonlu ESA'lar Alanda Programlanabilir Kapı Dizileri (FPGA-Field Programmable Gate Array)'lar üzerinde uygulanmaya başlanmıştır. Bu çalışmada, hem ARM işlemci hem de ZYNQ XC7Z020 içeren PYNQ FPGA kartı kullanılarak, nesne algılama ve tanıma işlemleri yapılmıştır. Birinci olarak; PYNQ kartı üzerine yüklenen OpenCV kütüphanesini kullanarak Haar-Kaskat sınıflayıcı oluşturulmuş, yüz ve göz algılama işlemi gerçekleştirilmiştir. İkinci olarak; bilimsel yazında geliştirilmiş olan İSA'lar kullanılarak köpek, araç, uçak vb. nesnelerin tanınması işlemi yapılmıştır. PYNQ kartına harici olarak takılan kamera ile alınan görüntü üzerinde veya hafızasında depolanan nesne görüntüsü üzerinde önceden eğilmiş ISA'lar ile gerçek zamanlı tanıma işlemleri yapılmıştır. Donanım ve yazılımda geçen süreler ve başarımları tablolar ve grafikler ile verilmiştir. Üçüncü olarak MNIST el yazısı ve CIFAR nesne görüntü veri kümeleri üzerinde tanıma işlemi uygulanarak, ESA'lar, Merkezi İşlem Birimi (CPU-Central Processing Unit) ve Nvidia'nın Jetson TK1 ve TX1 GPU kartlar ile hız ve kararlılık açısından karşılaştırmalar yapılmıştır. Son olarak, PYNQ kartına harici olarak takılan Movidius USB-GPU ile gerçek zamanlı nesne tanıma uygulamaları yapılmıştır. Elde edilen sonuçlar şekiller ile verilmiştir. Bu tez çalışması ile GPU'lar kümesi nesne algılama ve tanıma işlemleri için kullanılmadığı sürece, FPGA'ların düşük kararlılık bedelinde düşük güç tüketimi ile daha hızlı sonuç verdiği sonucuna varılmıştır. Anahtar kelimeler: FPGA, PYNQ, Nesne Algılama, Nesne Tanıma, Derin Sinir Ağları, İkileştirilmiş Sinir Ağları