Deep learning-based detection and segmentation for 3D perception of the urban world

Otonom sürüş teknolojilerindeki hızlı ilerleme, karmaşık kentsel trafik sahnelerini anlayabilen algılama sistemlerine olan ihtiyacı daha da belirgin hale getirmiştir. Bu tez çalışması, yalnızca görüntü verilerine dayalı olarak çalışan bir derin öğrenme sistemi sunmaktadır. Sistem, trafik ortamlarında yer alan üç temel öğeyi, yani yolu, aracı ve yayayı tanıma ve ayırt etme üzerine odaklanmaktadır. Yöntem, 360 derece kameralarla elde edilen görüntülerin 2D projeksiyonlarını kullanmakta ve LiDAR gibi ek sensörlere ihtiyaç duymamaktadır. Bu yaklaşım, özellikle düşük maliyetli ve ölçeklenebilir çözümler sunmayı hedefleyen akıllı ulaşım sistemleri için önemlidir. Geliştirilen modellerin eğitimi ve test edilmesi için, İstanbul, Paris, Münih ve Marsilya şehirlerinden alınan Google Street View görüntüleriyle oluşturulmuş özel bir veri seti kullanılmıştır. Veri seti, 8.932 etiketli görüntü ve 149.000'in üzerinde nesne anotasyonu içermektedir. Farklı şehir yapılarına ve trafik koşullarına sahip bu veri seti, modelin genel performansını değerlendirmek için zengin bir içerik sunmaktadır. Nesne tespiti için YOLOv8 ve YOLOv10 modelleri, semantik segmentasyon için ise DeepLabV3 modeli tercih edilmiştir. Modeller farklı eğitim-doğrulama oranlarında test edilmiş ve standart ölçütlerle değerlendirilmiştir. En iyi tespit performansı YOLOv10 ile elde edilmiş, model mAP@0.5 değerinde 0.685 ve genel kesinlikte 0.76 sonuçlarına ulaşmıştır. Segmentasyon tarafında ise DeepLabV3 modeli, yol sınıfında 0.85'in üzerinde IoU ve net bölgelerde 0.80'i aşan F1 skorları ile yüksek başarı göstermiştir. Bu sonuçlar, yalnızca görüntü kullanan sistemlerin, kentsel trafik sahnelerinin analizinde gerçek zamanlı ve etkili biçimde çalışabileceğini göstermektedir. Bu tez kapsamında geliştirilen sistem, görüntü tabanlı otonom araç teknolojileri için hem uygulanabilir hem de geliştirilebilir bir temel sunmakta ve literatüre yeni bir veri seti kazandırmaktadır.