Gerçek dünya insan eylemi tanıma için benzersiz şekilde üretilmiş sentetik videolarla veri çeşitliliği açığının ele alınması

Makine öğrenimi kullanılarak insan hareketlerinin tanınmasında gürbüz modeller geliştirmek için yüksek miktarda veriye ihtiyaç duyulmaktadır. Ancak, bu tür gerçek dünya verilerini elde etmek zorlu bir süreçtir çünkü maliyetli ve zaman alıcıdır. Ayrıca, mevcut veri setleri çoğunlukla dış mekanlarda poz verisi yakalama sorunları nedeniyle kapalı alan videolarını içerir. Bu zorlukların üstesinden gelmek için sentetik veriler kullanılmıştır, ancak mevcut sentetik veriler hem fotogerçekçilikten hem de öznitelik çeşitliliğinden yoksundur. Bu makalede, hareket tanıma performansını artırmak için çeşitli bakış açılarından yakalanan fotogerçekçi sentetik insan hareket dizileri üreten NOVAction motorunu sunuyoruz. NOVAction'ı, 25415 insan hareket dizisinden oluşan NOVAction23 veri setini üretmek için kullanıyoruz (NOVAction23 \url{https://graphics.cs.hacettepe.edu.tr/NOVAction} adresinde mevcuttur). NOVAction23'te, gerçekleştirilen hareketler ve bakış açıları prosedürel üretim yoluyla üretim aşamasında değiştirilir, böylece belirli bir animasyon sınıfı için her üretilen görüntü dizisi 1105 sentetik insandan biri tarafından benzersiz bir bakış açısından yakalanan benzersiz bir hareket özniteliğine sahiptir. NOVAction23 ve NTU 120 veri setlerini üç son teknoloji tanıyıcıyı eğiterek değerlendirilmiştir ve model YouTube'dan elde edilmiş gerçek dünya videoları aracılığıyla doğrulanmıştır. Bulgular, NOVAction23 veri setinin insan son teknoloji insan hareket tanıma performansını artırabileceğini göstermektedir.