Aydınlatmanın görüntü işleme problemlerine etkisinin yapay zeka teknikleri kullanılarak analizi

Bir nesnenin görünümü, nesnenin yüzeyine düşen ışığın, rengi ve kalitesi ile aydınlatma kaynağının konumundan etkilenir. Yapay görme uygulamalarında bu durumlar nesnenin sınıflandırılması ve tanınmasını zorlaştırabilir. Çünkü görüntü elde etme aşamasında farklı aydınlatma stratejileri kullanılarak toplanan görüntülerin kalitesi birbirinden farklıdır. Dolayısıyla aydınlatma koşullarının değişimi görüntülerden görüntü işleme teknikleriyle elde edilen bilgilerin farklılaşmasıyla beraberinde anlamlandırılması için kullanılan algoritmaların performansının da sınırlandırılmasına sebep olmaktadır. Bu problemin çözümü için son yıllarda derin öğrenme mimarilerinden biri olan Evrişimsel Sinir Ağları (ESA), görüntü analizi işlemlerinde kullanılmaktadır. Tez kapsamında aydınlatma farklılıklarından etkilenen görüntülerin sınıflandırılması ile aydınlatma ve parıltı tahminine yönelik ESA tabanlı çalışmalar önerilmiştir. Bu tez çalışması elma sektöründeki fizyolojik bozukluklara uygulanmıştır. Çalışmada ışık renklerine bağlı olarak iki aydınlatma senaryosu denenmiştir. Birinci senaryoda elma görüntüleri farklı aydınlatma koşulları (ışık renkleri ve lamba parlaklık değerleri), pozisyon açıları ve mesafelerde elde edilmiştir. Bu görüntüler hem fizyolojik bozukluk türlerine hem de ışık renklerine göre etiketlenmiştir. Fizyolojik bozukluk türlerine göre orijinal veri seti 1080 adet ve zenginleştirilmiş veri seti 4320 adet görüntüden oluşmaktadır. Bu veri setlerinin adları sırasıyla elmada fizyolojik bozukluklar-1 (EFB-1) ve elmada fizyolojik bozukluklar-32 (EFB-32) olacak şekilde adlandırılmış ve bu veri setleri 3 sınıfa ayrılmıştır. Ayrıca ışık renklerine göre ayrılan veri seti üç sınıflı (sıcak beyaz, soğuk beyaz ve yeşil ışık) bir yapıya sahiptir. Diğer bir senaryosunda ise elma görüntüleri beyaz ışığın farklı renk sıcaklıkları (sıcak, ılık ve soğuk beyaz), aydınlatma konum açıları, pozisyon açıları ve mesafelerde elde edilmiştir. Bu görüntüler elmadaki kusur durumuna göre etiketlenmiştir. Bu veri seti 1296 adet görüntüden oluşmaktadır. Çalışmada bu senaryolar kullanılarak beş yaklaşım önerilmiştir. İlk yaklaşımda EFB-1 veri seti görüntüleri ESA modellerinin uçtan uca eğitilmesiyle sınıflandırılmıştır. Bu yaklaşımda en iyi sınıflandırma performansı Xception modelinde elde edilmiştir. Xception modelinin ortalama doğruluk, kesinlik, geri çağırma, F1-skor ve AUC değerleri sırasıyla; 0.996, 0.994, 0.998, 0.996 ve 1.000'dır. İkinci yaklaşımda, önceden eğitilmiş ESA modelleri kullanarak fizyolojik bozuklukları makine öğrenmesi metotlarıyla sınıflandıran hibrit yöntemler değerlendirilmiştir. Bu yaklaşım EFB-1 ve EFB-32 veri setlerinde uygulanmıştır. Her iki veri setinde de en yüksek ortalama sınıflandırma doğruluğu 0.961 oranıyla VGG19(fc6) ve destek vektör makineleri (DVM) modelinde bulunmuştur. Burada 4096 boyutlu derin özellik kullanılmıştır. Ayrıca bu yaklaşımda özellik seçimi uygulanarak hibrit bir çalışma da uygulanmıştır. Özellik seçimine göre en yüksek sınıflandırma doğruluğu 0.948 ile VGG19(fc6) ve DVM modelinde 512 boyutlu derin özellik kullanılarak elde edilmiştir. Diğer bir yaklaşımda ışık değişiminden kaynaklı sorunların çözülebilmesi için renk dengeleme modelleriyle (keskinlik, gama düzeltmesi ve Kontrast Sınırlı Uyarlamalı Histogram Eşitleme) üretilen görüntülerin sınıflandırma performanslarının etkisi değerlendirilmiştir. Bu yaklaşımda ışık renklerine göre ayrılan veri seti ve aktarım öğrenme yaklaşımı kullanılmıştır. En yüksek sınıflandırma doğruluğu soğuk beyaz ışık rengi ve gama düzeltmesi veri seti tipinde 0.934 oranıyla Xception modelinde elde edilmiştir. Ayrıca renk dengelemeyle oluşturulan veri setlerinin Tepe Sinyal-Gürültü Oranı (Peak Signal-To-Noise Ratio, PSNR) ölçütlerinde iyileşme olduğu belirlenmiştir. Başka bir yaklaşımda farklı ışık renklerinde elde edilen görüntülerin ESA modelleriyle aydınlatması tahmin edilmiştir. Çalışmada aktarım öğrenme yaklaşımı benimsenmiştir. Ayrıca istatistiksel ve öğrenme tabanlı bazı yaklaşımlarla önerilen ESA modelleri karşılaştırılmıştır. En iyi açısal hata (AH) değerleri, önerilen GoogLeNet modelinde elde edilmiştir. Bu modelin AH değerleri; ortalama 2.220, ortanca 2.126, budanmış ortalama 2.006 ve maksimum 6.596 derecedir. Önerilen GoogLeNet modelinin ortalama mutlak yüzde hatası (MAPE) %14.732 olarak bulunmuş ve bu modelin aydınlatma tahminin iyi olduğu söylenebilir. Ayrıca 3˚ altındaki AH'lere sahip görüntü sayısı tüm görüntülerin %77.13'ünü oluşturmaktadır. Buna ek olarak bu modelle örnek görüntülerin PSNR ve Kör/Referanssız Görüntü Mekansal Kalite Değerlendiricisi ölçütlerine göre iyileştiği belirlenmiştir. Son olarak farklı renk sıcaklığı ve aydınlatma kaynağı konum açılarını içeren görüntüler kullanılarak ESA modelleri yardımıyla görüntü tabanlı parıltı tahmini yapılmıştır. Bu yaklaşımda en iyi parıltı tahmini GoogLeNet modelinde elde edilmiştir. Renk sıcaklıklarına göre en düşük Kök Ortalama Kare Hatası (Root Mean Squared Error, RMSE) değeri soğuk beyaz ışık tipinde 5.023 cd/m2 olarak bulunmuştur. MAPE değerine göre bu ışık tipinde GoogLeNet modelinin tahminin iyi olduğu belirlenmiştir. Aydınlatma kaynağı konum açısına göre en düşük RMSE değeri 60 derecede 5.106 cd/m2 olarak hesaplanmıştır. Burada MAPE değeri en düşük yüzdeye sahiptir. Ortaya çıkan veri setlerindeki görüntüler, ışık renklerine ve aydınlatma şekline göre değiştiğinden elmalardan elde edilen kusur bilgileri de oldukça birbirinden farklıdır. Deneysel sonuçlara göre görüntülere gürültü ve parlaklık değerlerinin eklenmesiyle sınıflandırma uygulamasının performansının düştüğü belirlenmiştir.