Semantic segmentation of RGBD videos with recurrent fully convolutional neural networks

Yapay sinir ağları kullanarak videoların semantik bölütlenmesi şu sıralar popüler bir görevdir, ancak bu alanda yapılan çalışmalar çoğunlukla RGB videolar üzerinedir. Bunun temel nedeni, piksel seviyesinde sınıf bilgisi içeren büyük RGBD video veri kümelerinin bulunmamasıdır. Bu tezde, tamamen konvolüsyonel ve özyinelemeli tamamen konvolüsyonel yapay sinir ağları mimarileriyle video semantik bölütlenmesine derinlik ve zaman bilgilerinin katkılarını araştırmak için bir sentetik ve bir gerçek RGBD video veri kümesi kullanıyoruz. Ek olarak, tamamen konvolüsyonel yapay sinir ağlarından özyinelemeli tamamen konvolüsyonel yapay sinir ağlarına ağırlık aktarımı yapıyoruz ve farklı derinlik kodlama metodları uyguluyoruz. Deneylerimiz, derinlik bilgisinin semantik bölütleme sonuçlarını geliştirdiğini ve zaman bilgisinden faydalanmanın daha yüksek kaliteli çıktı bölütlemeleriyle sonuçlandığını göstermektedir.