Sürücü asistan sistemleri için mobil GPU tabanlı gerçek zamanlı durum analizi ve tespit uygulamaları

Bilgisayarlı görme teknolojilerinin gelişmesi ve derin öğrenme çalışmalarının hız kazanmasıyla sürücü asistan sistemleri son zamanlarda oldukça yaygınlaşmıştır. Bu sistemler güvenlik ve sürüş kolaylığı sağlamak amacıyla sürücü ve araç çevresinden gerekli verileri toplayarak kritik durumları tespit etmeyi hedefler. Sürücü ve çevrenin anlık olarak izlenmesi uyarı tespit sistemi için önemlidir. Bunun yapılabilmesi ancak sistemin gerçek zamanlı çalışmasıyla mümkün olacaktır. Bu tezde, gelişmiş sürücü asistan sistemleri (ADAS) için görüntüye dayalı olarak gerçek zamanlı çalışan araç içi ve araç dışı durumları gömülü platforma bağlı kameralar ile tespit eden bir çalışma gerçekleştirilmiştir. Hem araç içinde hem de araç dışında sürücü ve çevreye odaklı çalışan iki adet uygulama gerçekleştirilmiştir. Geliştirilen sistem araç dışında trafik işareti, yaya ve nesneleri tespit ederken, araç içinde ise sürücü durumlarını analiz ederek, telefon ve sigara kullanımını ve göz takibi yaparak yorgunluk ve uyku tespiti ile sürücüye uyarı sağlamaktadır. Çalışmada, hazır veri seti ile çalışmaya özgü elde edilmiş veri setleri kullanılarak grafik kartı (GPU) üzerinde eğitimler ile modeller oluşturulmuştur. Tespit hızlarını karşılaştırmak amacıyla sistem düşük güç ve yüksek performansa sahip iki gömülü platform (Jetson Xavier Nx, Nvidia Jetson Nano) ve bilgisayar ortamında test edilerek sonuçlar analiz edilmiştir. Uygulamaların sonucunda gerçek zamanlı çalışan bir ADAS prototipi gerçekleştirilmiştir.