Derin sinir ağları kullanılarak stereo termal ve çapraz modalite ile derinlik tahmini

Stereo görüntüler kullanılarak derinlik tahmini, bilgisayarlı görme alanında zorlu bir problemdir. Bu problemi çözmek için birçok farklı çalışma yapılmıştır. Gelişen makine öğrenimi ile bu sorunun üstesinden gelmek genellikle sinir ağı tabanlı çözümlerle yapılır. FADNet ve PSMNet sinir ağları, başarıları kanıtlanmış, günümüzde kullanılmaya devam edilen bu çözümlerin önde gelenlerinden ikisidir. Bu tezde, bu iki çalışma, yapılarında uygun değişiklikler yapılarak kullanılmıştır. Öte yandan, bu çözümlerde kullanılan görüntüler çoğunlukla görünür spektrumdadır. Ancak, bazı koşullarda görünür spektrumlardan daha faydalı bilgiler vermesi nedeniyle derinlik tahmini için Kızılötesi (IR) spektrumunun da kullanılma ihtiyacı ortaya çıkmıştır. Bu kapsamda, kullanılabilir veri kümesi olarak CATS veri kümesi bulunmuştur. Fakat bu veri kümesi, kendisinde mevcut olan doğrultulmuş görüntülerin uyumsuzluğu sebebiyle olduğu gibi kullanılamamıştır. Termal-termal görüntü çiftleri için CATS veri kümesinde bulunan ham görüntüler ile LiDAR cihazından elde edilmiş, sahnenin derinliğini ifade eden, uzaysal nokta kümeleri çeşitli işlemlerden geçirilerek sinir ağlarını eğitmek için uygun hale getirilmiştir. Diğer yandan, görünür-termal görüntü çiftleri içinde, CATS veri kümesinde bulunan mevcut görüntüler, görünür kamera ve termal kameraların bakış alanlarının (FOV) farklı olması sebebiyle kullanılamamış, bunun yerine, yeni bir veri kümesi oluşturulmuştur. Oluşturulan bu veri kümesinde, LiDAR cihazından elde edilen ayrık örnekleme sayısının yetersizliği sebebiyle, örnek arttırma işlemi yapılmıştır. Bu çalışmada, FADNet ve PSMNet sinir ağları, termal-termal ve görünür-termal görüntü çiftleriyle ayrı ayrı eğitilerek sonuçları karşılaştırılmıştır.