Doku ve renk öznitelikleriyle tarla görüntülerinden bitki ve fenolojik evrelerinin çıkarımı

Günümüz dünyasında küresel ısınma, nüfus artışı, kuraklık, erozyon, tarım alanlarının farklı amaçlar için kullanılması gibi etkenler tarımsal verimlilik konusunu önemli hale getirmiştir. Tarımsal verimlilik konusunda ilerlemek için günümüz bilgi teknolojilerine ihtiyaç duyulmaktadır. Tarım alanlarının sensörler ve kameralar aracılığıyla izlenmesi sonucu toplanan veriler sayesinde tarımsal araziler üzerinde verimliliği artırıcı uygulamalar geliştirilebilmiştir. Dünyada pek çok ülkede ulusal tarım gözlemleme ağı bulunmaktadır. Türkiye'de de Tarım, Gıda ve Hayvancılık Bakanlığı tarafından kurulan ve desteklenen TARBIL, tarımsal gözlemleme ve bilişim sistemidir. Türkiye'nin birçok yerinde tarımsal alanlara çok sayıda sensörlerle ve kameralarla donaltılmış yer istasyonları kurulmuştur. Bu istasyonlardan toplanan meteorolojik ve görüntü verileri merkeze anlık olarak aktarılmaktadır. Mevcut sistemde, toplanan görüntülerden bitki türü ve fenolojik aşama bilgilerinin arşivleme amaçlı olarak etiketlenmesi ve sulama, gübreleme ve dezenfeksiyon rejimlerinin geliştirilmesi ile ilgili araştırmaların yapılması ve ekili ürünün tahmin edilmesi için manuel uzman insan iş gücü gerekmektedir. İnsanın olduğu yerde hatanın da olabileceği düşünülürse, fenolojik evrelerin saptanmasının otomatik hale getirilmesi, hem iş gücü kazancı hem de tarımsal verimliliğe hızlı çözüm üretmek anlamına gelecektir. Bu tez çalışmasında, 58 farklı TARBIL istasyonundaki 66 farklı gözlem aralığında arpa, ayçiçeği, buğday, mısır, nohut ve pamuk bitkilerine ait çekilmiş 1x ve 10x yakınlaştırma seviyelerindeki toplamda 13323 adet yakın plan görüntüler kullanılarak geliştirilen sistem ile bitki türü ve fenolojik evrelerinin otomatik tespit edilmesine çalışılmıştır. Bu problemin çözümüne ilişkin görüntülerin doku ve renk öznitelikleri kullanılmıştır. Kullanılan doku öznitelik çıkarma yöntemleri, Yönlü Gradyanların Histogramı (İng. HOG, Histogram of Oriented Gradients), Gri Seviye Eş Oluşum Matrisleri (İng. GLCM, Gray Level Co-occurence Matrices) ve Laws'ın Doku Enerjisi Ölçümleri (İng. LTEM, Law's Texture Energy Measures)'dir [6-9,12]. Kullanılan renk öznitelik çıkarım yöntemi ise renk momentleridir [11]. Yönlü Gradyanların Histogramı (HOG), görüntülerdeki nesnelerin kenar bilgisi ve gradyan değerine bakarak nesne ile ilgili öznitelik çıkarımı için kullanılan bir yöntemdir. Bu yöntem, görüntünün "hücre" denilen küçük yerel bölgelere bölünüp bu bölgeleri tanımlayıcılar olarak adlandırılan yerel histogramlar ile tanımlama esasına dayanır. Yerel histogram, hücreler için hesaplanan gradyan vektörlerin belirlenen yön aralığındaki oluşma sayısının dağılımını ifade eder. HOG tanımlayıcıları, yerel hücreler üzerinden hesaplandığı için objenin geometrik ve fotometrik değişimlerine karşı iyi sonuç verir. Bu çalışmada her bir görüntü verisi, 100 (10x10) adet hücreye bölünmüş ve her bir hücre için normalize edilmiş yerel histogram oluşturulmuştur. Sonuç olarak her hücre için normalize edilmiş 9 aralıklı bir yerel histogram olmak üzere toplamda 100 adet hücredeki histogramlar birleştirilerek (10x10x9) = 900 boyutlu HOG özniteliği hesaplanmıştır. HOG yöntemiyle elde edilen öznitelikler yüksek boyutlara sahip olduğu için yapılacak olan işlem sayısını ve bu işlemlerin çalışma zamanını azaltmak amacıyla elde edilen öznitelik boyutlarını indirgemek için Temel Bileşenler Analizi (PCA) yöntemi kullanılmıştır. Gri Seviye Eş Oluşum Matrisleri (GLCM), görüntülerin doku özelliklerinin çıkarılması için kullanılan istatistiksel bir yöntem olup aralarında belli bir geometrik uzaklık bulunan i ve j gri seviye değerine sahip piksel çiftlerinin belli bir yöndeki oluşum sıklıklarını ifade eden ve boyutu görüntüdeki farklı gri seviye değer sayısı (N) kadar olan bir kare matristir. Gri seviye eş oluşum matrisleri hesaplanırken iki piksel arasındaki ilişki, uzaklık ve yön bilgisine bağlı olarak belirlenir. Elde edilen eş oluşum matrisleri dokuyu tanımlamak için istatistiksel bilgiler elde etmek amacıyla kullanılmaktadır. Bu çalışmada bu istatistik bilgilerinden 0◦, 45◦, 90◦, 135◦ yönlerinde kontrast, homojenlik, entropi, enerji ve benzemezlik olmak üzere (4x5) = 20 adet öznitelik çıkarımı gerçekleştirilmiştir. Law's Doku Enerji Ölçümleri (LTE), görüntüdeki doku enerjilerini hesaplamak için görüntü üzerinde kullanacağı iki boyutlu konvolüsyon maskeleri oluşturmak için önceden belirlenmiş olan 4 adet tek boyutlu vektörlerin kullanılması esasına dayanır. Elde edilen iki boyutlu konvolüsyon maskeleri görüntüler ile konvolüsyon işlemine sokularak doku enerji haritaları elde edilir. Bu çalışmada 9 adet doku enerji haritası kullanılmıştır. Elde edilen 9 adet doku enerji haritalarından değerlerin ortalamaları alınarak 9 adet öznitelik çıkarımı gerçekleştirilmiştir. Renk öznitelik vektörleri çıkarımı için kullanılan ve görüntülerin renk dağılımlarının benzerliğini hesaplayan bir yöntem olan renk momentleri, görüntülerin tüm renk bilgisini dikkate almak yerine renklerin baskın özelliklerini dikkate almaktadır. Bu baskın özellikler, renklerin olasılık dağılımlarına ait ilk üç moment olan ortalama, standart sapma ve eğrilik momentleridir. Bu çalışmada, ışık, gölge, arka plan gibi çeşitli aydınlatma koşullarından etkilenilmemesi için görüntüler RGB renk formatından HSV renk formatına dönüştürüldükten sonra renk momentleri çıkarılması işlemi yapılmıştır. Her bir görüntüde, HSV renk formatında 3 adet kanalın her biri için 3 farklı moment toplamda 9 adet renk öznitelik çıkarımı gerçekleştirilmiştir. Bu çalışmada hesaplanarak elde edilen renk öznitelikleri, her bir doku özniteliği ile birleştirilerek Naive Bayes, k-en yakın komşu, destek vektör makineleri ve rastgele ormanlar sınıflandırıcılar ile sınıflandırılmıştır. Destek vektör makineleri ve k-en yakın komuşu sınıflandırıcıları için parametre optimizasyonu yapılarak sınıflandırma sonuçlarının başarısı artırılmıştır. Sınıflandırma işlemleri öncesinde sınıflandırıcının eğitilmesi için eğitim seti ile eğitim sonrası oluşturulan modelin test edilmesi için test seti oluşturulması gerekmektedir. Bu çalışmada eğitim ve test setlerinin oluşturulması için 5-tabakalı çapraz doğrulama (İng. Stratified 5-fold cross validation) ve birini dışarıda bırakarak çapraz doğrulama (İng. Leave-one-out cross validation) yöntemleri kullanılmıştır. Renk analiz yöntemleri ile birlikte kullanılan doku analiz yöntemlerinin farklı sınıflandırıcılar ile doğruluk başarı oranları ölçülmüştür. Sonuçlara bakıldığında, eğitim ve test veri setinin hazırlanma şeklinin sınıflandırma performansına etkisinin büyük olduğu görülmüştür. 5-tabakalı çapraz doğrulama ile yapılan sınıflandırma performansları, birini dışarıda bırakarak çapraz doğrulama ile yapılan sınıflandırma performansına göre oldukça yüksektir. Sonuçlar, HOG yönteminin destek vektör makineleri sınıflandırıcısı ile en iyi performansı verdiğini göstermektedir. Sınıflandırıcılar içinde genel olarak en düşük performans Naive Bayes sınıflandırıcısı ile alınmıştır. Bu çalışmada geliştirilen sistem, çiftçilere verilecek tablet PC'ler ile sahada otomatik tür ve evre çıkarma işleminde kullanılabilir. Bunun yardımıyla çiftçiler sulama, gübreleme rejimi belirleme ve ürün verimi tahmini konularında çıkarımlarda bulunabilirler. Ayrıca çok sayıda merkezdeki kameralardan iletilen görüntünün arşivlenmeden önce otomatik etiketlenmesi ile sulama, gübreleme rejimi, ilaçlama, rekolte tahmini üzerine yapılacak olan araştırmalarda kullanılabilir. Bu çalışmanın sonuçları aynı zamanda, derin öğrenme ile geliştirilecek yöntemlerin performansını değerlendirmek için bir kriter olarak kullanılacaktır.