Wearables-based user identity recognition through image representation of motion sensor data sequences and pretrained vision models

Kullanıcı kimliği tanıma ve doğrulama süreçlerinde yaygın olarak kullanılan yöntemler, siber saldırılara karşı sıklıkla savunmasız kalmakta ve bu süreçler daha sağlam çözümler gerektirmektedir. Bu bağlamda, hareket sensörü verileri ve biyometrik veriler alternatif çözümler olarak kullanılmakta ve bu durum insan hareketi tanıma görevini gündeme getirmektedir. Bu görev, genellikle evrişimli sinir ağları, uzun kısa süreli bellek ve söz konusu iki tip modelin birleştirilmesiyle oluşturulan hibrit (melez) modelleri kullanılarak gerçekleştirilmektedir. Bu çalışmada, sensör verilerinin görüntü temsillerini sınıflandırarak kullanıcı kimliği tanıma görevini gerçekleştirmeyi amaçlayan, önceden eğitilmiş evrişimli sinir ağları ve dönüştürücü tabanlı modelleri kullanan bir yöntem önerilmiştir. Zaman serisi ham verilerinden oluşan dört farklı aktivite veri kümesi kullanılarak önceden eğitilmiş çeşitli ağların görüntü sınıflandırma görevindeki başarımları değerlendirilmiş ve karşılaştırmalı bir çalışma gerçekleştirilmiştir. Ayrıca, DeiT-B ve DenseNet201 mimarilerini birleştiren yeni bir hibrit mimari geliştirilmiştir. Bunlara ek olarak, bu çalışma spektrogram ve dalgacık spektrogram olmak üzere iki farklı önişleme yöntemini karşılaştırmakta ve bu yöntemlerden yapısal olarak farklı olan özgün bir yaklaşım sunmaktadır. Söz konusu yöntem, ham veri, spektrogram ve wavelet spektrogram bilgilerini birleştiren bir füzyon (tümleşim) tekniği olarak öne çıkmaktadır. DeiT-B modeli, DSA veri kümesinde %99.76 doğruluk elde etse de, DeiT-B ve DenseNet201 tabanlı hibrit mimarimiz daha yüksek performans (başarım) göstermiştir.