A sensor fusion approach for autonomous driving

Bu tezde, tek sensör ile çalışan sistemlerin eksikliklerinin üstesinden gelmek adına kamera ve lidar sensörleri arasında bilgi birleştirme yaklaşımı önerilmiştir. Kamera sensörü için bir yapay zeka modeli, çoklu görev modeli oluşturulmuştur. Oluşturulan model; araba, motosiklet, bisiklet, kamyon, otobüs gibi dinamik, trafik levhası gibi statik trafik objelerini ve yayaları tanımlayabilecek; trafik ışıklarının rengini sınıflandırabilecek; yol üzerindeki sürülebilir alan ve şerit çizgilerini tespit edebilecek kapasiteye sahiptir. Önerilen çoklu görev modeli; tek görevi olan birden fazla yapay zeka modelinin paralel çalışarak yapacakları işi tek başına, daha hızlı ve gerçek zamanda yapabilir. Önerilen bu model saniyede 47.62 kare işleme kapasitesi ile eğitildiği Berkeley Deep Drive 100K veri setinde en hızlı çalışan çoklu görev modeli olmuştur. Çoklu görev modelleri arasında, sürülebilir alan ve şerit tanımada ikinci, dinamik trafik obje tanımlamada %40'lık bir fark ile birinci sırada yer almıştır. Lidar sensörü için 3 boyutlu obje tespiti ve lidar uzayı üzerinde zemin tespiti sonuçları halihazırda önerilmiş metotlarla elde edilmiştir. İki sensörden farklı modeller aracılığıyla sonuçlar elde edildikten sonra KITTI veri seti ile performans değerlendirilmesi gerçekleştirilmiştir. Önerilen sensör füzyon yaklaşımları ile oluşturulan sistem, sadece lidar kullanarak çalışan 3 boyutlu obje tespiti modellerinin performansını kategori bazında %9.87'ye kadar arttırmıştır. İki farklı füzyon metodu ile gerçekleştirilen performans karşılaştırmasına göre, bu tezde önerilen füzyon yaklaşımı daha üstün sonuç vermiştir. Önerilen sensör füzyon yaklaşımı 36 milisaniye, saniyede 33 kare işleme kapasitesi ile gerçek zamanda çalışabilir haldedir