Lidar ve kamera verilerinin birleştirilmesiyle gerçek zamanlı çoklu nesne tanıma

Nesne tanıma günümüzün en önemli araştırma konularındandır. Tarımdan, savunma ve uzay sanayisine kadar her alanda kapsamlı kullanımı olan nesne tanımanın öneminin giderek artacağı beklenmektedir. Bu çalışmada, iPhone 13 Pro Max'in dahili kamerası ve LIDAR sensöründen eş zamanlı olarak alınan veriler kullanılarak kullanıcı tarafından sınırları belirlenebilen bir alan içerisinde gerçek zamanlı nesne tanıma yapılmıştır. Çalışmada Swift programlama dili, framework olarak ise SwiftUI kullanılmıştır. MS COCO veri setindeki elemanlar ile çalışma gerçekleştirilmiştir. Nesne tanıma işlemleri için YOLO V5 kullanılmış ve video işleme süreçleri Swift Metal kullanılarak gerçek zamanlı veriler üzerinde gerçekleştirilmiştir. Kamera ve LIDAR füzyonuna bağlı olarak gerçek-zamanlı olarak alınan verilerden elde edilen her bir frame üzerinde kullanıcının arayüzde belirlediği minimum-maksimum uzaklığa göre görüntü alanı daraltılarak Swift Metal ile video işleme gerçekleştirilmiştir. Alınan anlık video verilerindeki her bir frame içerisinde kullanıcının belirlediği değer aralığındaki bulunan nesnelerin konturları dışındaki alanlar karartılmıştır. Böylece karartılmış olan her bir frame içerisindeki nesnelere nesne tanıma işlemi gerçekleştirilmiştir. Sonuç olarak, arayüzde 0-15 m sınır aralığında ayarlanabilecek şekilde gerçek zamanlı LIDAR ve kamera verileriyle nesne tanıma işlemi gerçekleştirilmiştir.