Multimodal video-based personality recognition using long short-term memory and convolutional neural networks

Kişilik özelliklerinin tanınmasının gerekli olduğu kişilik hesaplama ve duygusal hesaplama, son zamanlarda bir çok araştırma alanında artan ilgi ve dikkate sahip olmuştur. Kişilik özellikleri, Beş Faktörlü Model tarafından beş boyutta tanımlanmaktadır: açıklık, sorumluluk, dışadönüklük, uyumluluk, ve duygusallık. Biz, insanların bu beş kişilik özelliklerini videolardan tanımak için yeni bir yaklaşım öneriyoruz. Kişilik ve duygu, konuşma tarzını, yüz ifadelerini, vücut hareketlerini ve sosyal bağlamdaki dilsel faktörleri etkiler ve ayrıca çevresel unsurlardan etkilenir. Bu nedenle, yüz, çevre, ses ve çevriyazı özellikleri gibi çeşitli kiplere dayanan belirgin kişilik özelliklerini tanımak için çok kipli bir sistem geliştiriyoruz. Yöntemimizde, özellikleri bağımsız olarak tanımayı öğrenen kipe özgü sinir ağları kullanıyoruz ve son bir belirgin kişilik tahminini bu ağların öznitelik düzeyinde bir kaynaşımı ile elde ediyoruz. Yüksek düzey öznitelikleri bulmak için ResNet ve VGGish ağları gibi önceden eğitilmiş derin evrişimli sinir ağlarını ve zamansal bilgiyi bütünleştirmek için uzun kısa-süreli bellek ağlarını kullanıyoruz. Kipe özgü alt ağlardan oluşan büyük modeli, iki-aşamalı bir eğitim yöntemi ile eğitiyoruz. İlk önce alt ağları ayrı olarak eğitiyoruz, ardından, genel modele bu eğitilmiş ağları kullanarak ince ayar yapıyoruz. Önerilen yöntemi "ChaLearn First Impressions V2 challenge" veri setini kullanarak değerlendiriyoruz. Yaklaşımımız, beş kişilik özelliklerinin "ortalama doğruluk" puanlarının ortalaması alındığında literatürdeki yöntemlere göre en iyi sonuçları elde etmektedir.