Human activity classification with deep learning using FMCW radar

İnsan Aktivitesi Tanıma (HAR) son zamanlarda akademik araştırmaların ilgisini çekmiştir ve sağlık sistemleri, gözetime dayalı güvenlik, spor aktiviteleri ve eğlence gibi amaçlar için kullanılmaktadır. Derin Öğrenme, Bilgisayarla Görme ve Doğal Dil İşleme gibi konularda üstün performans gösterdiği için İnsan Aktivitesi Tanıma'da da sıklıkla kullanılmaktadır. FMCW radar verileri, yağmurlu ve sisli koşullar gibi zorlu durumlarda kameralardan daha iyi çalıştığı için İnsan Aktivitesi Tanıma için iyi bir seçimdir. Ancak bu alandaki çalışmalar kamera tabanlı alandaki kadar dinamik bir şekilde ilerlememektedir. Bu, kamera tabanlı modeller kadar iyi performans göstermeyen radar tabanlı modellere bağlanabilir. Bu tez, FMCW radar verilerini kullanarak HAR performansını iyileştirmek için dört yeni model önermektedir. Bu modeller CNN tabanlı, LSTM tabanlı, LSTM ve GRU tabanlı ve Siyam tabanlıdır. Özellik çıkarımı için CNN tabanlı model CNN bloklarını kullanır, LSTM tabanlı model LSTM bloklarını kullanır ve LSTM ve GRU tabanlı model paralel olarak LSTM ve GRU bloklarını kullanır. Ayrıca, Siyam tabanlı model, üç farklı radardan paralel olarak beslenir (çoklu giriş). Siyam Ağının doğası gereği paralel yollar aynı ağırlığa sahip olacaktır. Öte yandan, özellik çıkarımından sonra, tüm modeller insan hareketini sınıflandırmak için yoğun katmanlar kullanır. Bildiğimiz kadarıyla, Siyam tabanlı model, insan hareketinin sınıflandırılması için çok girdili verilerde ilk kez kullanılıyor. Bu model, sınıflandırma doğruluğu açısından farklı frekanslarda çalışan radarların çeşitli özelliklerini kullanarak en son modellerden daha iyi performans göstermektedir.