Comparing the performance of humans and 3D-convolutional neural networks in material perception using dynamic cues

İnsanlarda materyal algısı üzerine çok sayıda çalışma var. Benzer şekilde, nesne tanıma gibi farklı görsel görevleri yerine getirmek üzere eğitilmiş çeşitli derin sinir ağı modelleri de vardır. Bununla birlikte, insanlarda materyal algısinın kesiştiği ve derin sinir ağı modellerinin bilgisine bakılmamıştır. Özellikle, derin sinir ağlarının malzemelerin sınıflandırılmasındaki, ve insan performansını derin evrişimli sinir ağlarının performansıyla karşılaştırabilmesinin önemi yeterince anlaşılmamıştır. Burada, simüle edilmiş malzemelerin animasyonlarını kategorize edebilen 3 boyutlu evrişimsel sinir ağı modelini kurduk, eğitdik ve test ettik. Derin sinir ağının performansını insanlarla karşılaştırdık, ve derin sinir ağlarının konvansiyonel eğitiminin insan ağının performansıyla karşılaştırılması için en uygun ağ durumu vermek zorunda olmadığına karar verdik. Materyal sınıflandırma görevinde, insanların performansı ile derin sinir ağlarının performansı arasındaki benzerlik maksimum seviyeye ulasana kadar artar, azami benzerliğe ulaşır ve daha sonra ağı eğittikçe azalır. Ayrıca, 3D-CNN'i düzenli ve geçici olarak tutarlı animasyonlar üzerinde eğiterek ve geçici olarak tutarsız animasyonlar üzerinde eğiterek ve bu sonuçları karşılaştırarak 3D-CNN modelinin malzeme animasyonlarını kategorize etmek için mekansal bilgileri kullanabileceğini gördük. Başka bir deyişle, derin sinir ağları için zamansal ve tutarlı hareket bilgilerinin materyal animasyonları sınıflandırmak için gerekli olmadığını öğrendik.