Sözlük toplulukları kullanılarak farklılık tabanlı çoklu örnek öğrenme

Çoklu Örnek Öğrenme, örüntü tanıma problemleri içerisinde karşılaşılan önemli problemlerden birisidir. Geleneksel makine öğrenmesi algoritmalarından ayrılan en önemli yanlarından birisi, geleneksel yöntemlerin öznitelik vektörü gösteriminden farklı bir gösterime sahip olmasıdır. Geleneksel makine öğrenmesi yöntemlerinde sınıflandırılacak veya demetlenecek nesnelere karşı bir öznitelik vektörü hesaplanmakta ve bu vektörler kullanılarak modeller oluşturulmaktadır. Bu modeller kullanılarak yeni veriler sınıflandırılmakta veya demetleme gerçekleştirilmektedir. Buna karşılık Çoklu Örnek Öğrenme problemlerinde her bir veri birden fazla örnek içeren bir torba ile gösterilmektedir. Problemi zorlaştıran durumlardan birisi de her bir torba içindeki örneklerin sayısının farklı olabilmesidir. Bu tür makine öğrenmesi problemleri teknolojinin gelişimi ile birlikte metin sınıflandırma, molekül aktivitelerinin belirlenmesi, görüntü kategorizasyonu, ses ve müzik türü sınıflandırması gibi birçok alanda karşımıza çıkmaktadır. Fakat bu alanların bazılarında verilerin gösterimi Çoklu Örnek Öğrenme problemine karşılık gelebilmektedir. Örneğin, görüntü sınıflandırma probleminde bir görüntü birden fazla örnek içerebilmektedir. Çoklu Örnek Öğrenme, ilk olarak molekül aktivitelerinin yapısını ögrenmek için önerilmiş ve metin sınıflandırma, proteinlerin bağlanma bölgelerinin tahmini gibi diğer farklı makine ögrenmesi problemlerinde de kullanılmaya başlanmıştır. Çoklu Örnek sınıflandırma problemlerinde çoğunlukla torbaların etiket bilgisi elimizde olabilmekte, buna karşı örnekelerin etiket bilgisi bulunmayabilmektedir. Torbaların sınıflandırılması örnekler ile ilişkilendirilmiştir. Bir torbanın pozitif olarak sınıflandırılabilmesi için içinde en az bir pozitif örnek olması yeterlidir. Diğer yandan torbanın negatif olarak sınıflandırılabilmesi için torba içindeki tüm örneklerin negatif olması gerekmektedir. Şimdiye kadar Çoklu Örnek Öğrenme için önerilen algoritmalar genel olarak torba ve örnek uzayında ayrı ayrı çalışacak şekilde tasarlanmışlardır. Birinci tipteki sınıflandırıcılar örnek uzayında çalışan sınıflandırıcılar olup torbaların sadece örneklerini göz önünde bulundurmaktadırlar. Bu sayede sınıflandırıcı, pozitif etiketli örnekleri ve negatif etiketli örnekleri kullanarak model oluşturmaktadır. Yeni gelecek verilerin örnekleri dikkate alınıp, yeni verilerin torbalarının etiket bilgisi belirlenmektedir. Bu yöntemin en önemli dezavantajı torbalar içerisindeki tüm örneklerin etiket bilgisini gerektirmesidir. Öte yandan bu yöntemde torbayı bir bütün olarak kullanıp öğrenme yapılmadıgı için torbanın genel yapısı öğrenilemez. Bu nedenle, torba uzayında sınıflandırıcı öğrenen yöntemler önerilmiştir. Bu yöntem, örnekleri teker teker değerlendirilmek yerine, torbayi örneklerle birlikte bir bütün olarak değerlendirmektedir. Bu yöntemde, torbalar örnekler kullanılarak tek bir öznitelik vektörü ile gösterilmekte veya yine örnekler kullanılarak torbalar arası benzerlik değerleri hesaplanabilmektedir. Bu yöntemde torbalar ikili olarak birbirleriyle karşılaştırılmakta ve sonuç olarak bir benzerlik değeri hesaplanabilmektedir.Bu çalışmada örnek ve torba uzayını birlikte göz önünde bulunduran, sözlük öğrenme yöntemlerini de kullanan farklılık tabanlı bir algoritma önerilmiştir. Bu yöntem, modeli oluşturulacak verilerin torbalarını ve torbaların içinde olan tüm örnekleri dikkate almaktadır. Yöntemde öncelikli olarak tüm eğitim kümesindeki torbalardan rastgele örnekler seçilmektedir. Bu seçilen örnekler prototip örnek olarak kabul edilmektedir. Bu prototip örnekler ile torbaların içindeki örnekler karşılaştırılmakta ve farklılık değerleri hesaplanmaktadır. Her bir prototip için en düşük farklılık o torbanın ilgili prototipe karşı düşen vektör değeri olarak yazılmaktadır. Bu sayede torbalar için sabit uzunluklu birer öznitelik vektörü çıkarılabilmektedir. Böylece, çalışmanın ilk aşamasında Çoklu Örnek Öğrenme problemi, eğiticili makine öğrenmesi problemine dönüştürülmüştür. Çoklu Örnek Ögrenme probleminde, veriyi uygun öznitelik vektörü gösterimine çevirmeye ek olarak başarılı sonuçlar elde edebilmek için iyi sınıflandırıcılara da ihtiyaç duyulmaktadır. Seyrek kodlama ve sözlük öğrenimi çoğunlukla sinyal işleme ve görüntü işleme alanlarında kullanılmış ve ayrıca sınıflandırıcı olarak da kullanılan başarılı bir yöntemdir. Bu yöntemde, veriler bir sözlüğün temel elemanlarının ayrık doğrusal birleşimi olarak temsil edilmektedir. Bu gösterim, verinin örüntüsünü ortaya çıkarıp veriyi daha yalın bir şekilde kullanmaktadır. Seyrek kodlama ve sözlük öğrenimi iki aşamada gerçekleştirilmektedir. Birinci adımda, seyrek kodlama gerçekleştirilmekte ve ikinci aşamada ise sözlük elemanları güncellenmektedir. Bu adımlar belirli bir hata değerine kadar iteratif olarak devam etmektedir. Bu aşamalarda seyrek kodlama ve sözlük matrisi yenilenmektedir ve her tekrarlamada, yeninden yapılandırma hatası azaltılmaktadır. Böylece en çok ayrık ve yalın gösteremine neden olan sözlük matrisi elde edilmektedir. Bu tez çalışmalasının ikinci aşaması olarak seyrek kodlama kullanılarak sözlük öğrenimi sınıflandırıcı yöntemi olarak kullanılmıştır. Seyrek kodlama ve sözlük öğrenimi aynı anda verinin üzerinde en bilgilendirici öznitelikleri seçip çıkartmaktadır. Her bir sınıf için ayrı birer sözlük matrisi oluşturulmaktadır. Bu sayede pozitif ve negatif torbalar için iki ayrı sözlük matrisi elde edilmiştir. Sınıflandırma aşamasında, etiketlenecek verinin her iki matris kullanılarak ayrık kodlaması gerçekleştirilmekte ve geri çatım hatası en küçük matris sınıf etiketini vermektedir. Bir çok makine ögrenmesi uygulamalarınında sınıflandırıcı toplulukları tek sınıflandırıcılara göre daha yüksek başarımlı sonuçlar üretebilmektedir. Sınıflandırıcı toplulukları birden fazla model oluşturup bu modellerin verdiği kararları birleştirmeye yarayan makine ögrenmesi yöntemleridir. Bu yöntemlere topluluk öğrenme algoritmaları da denilmektedir. Topluluk ögrenme algoritmaları hem örnek hem de öznitelik alt uzayları üzerinde uygulanabilir. Random subspace ve Bagging algoritmaları literatürde sıkça kullanılan topluluk öğrenme yöntemlerindendir. Random subspace algoritması öznitelik uzayında ve bagging algoritmalası da örnek uzayında veri alt kümeleri seçmektedir. Bu tez çalışmasının üçüncü aşaması olarak topluluk öğrenme özelliklerinden yaralanarak Random subspace ve bagging algoritmaları kullanılmıştır. Random subspace yöntemi, öznitelik uzayında çalışmakta olup sınıflandırıcı topluluğundaki her bir sınıflandırıcının kullanacağı öznitelik vektörleri rastgele seçilmektedir. Dolayısıyla topluluktaki her sınıflandırıcı için farklı öznitelik alt uzayları kullanılmaktadır. Karar aşamasında çoğunlukla çoğunluk kararı veya sonsal olasılık değeri kullanılabilmektedir.Bagging yöntemindeyse tüm öznitelik değerleri kullanılmaktadır. Buna karşın, topluluk içindeki her bir sınıflandırıcının kullanacağı veriler training kümesinden rastgele seçilen verilerden elde edilmektedir. Sınıflandırma aşamasında ise Random subspace yönteminde olduğu gibi tüm sınıflandırıcıların verdiği kararlar çoğunluk değerine veya sonsal olasılık değerine göre birleştirilmektedir. Bu tez çalışması kapsamında tüm topluluk yöntemlerinde sınıflandırıcı kararlarının birleştirilmesi için sonsal olasılık değerleri kullanılmıştır. Tez çalışması kapsamında önerilen yöntemler 11 farklı Çoklu Örnek Öğrenme verileri üzerinde test edilmiştir. Verilerin üçü görüntü kategorizasyonu, ikisi ilaç molekül aktivitelerinin sınıflandırılması ve kalan veriler ise metin sınıflandırma problemlerine aittir. Elde edilen sonuçlarsa, literatürde yakın zamanda önerilmiş Çoklu Örnek Öğrenme Yöntemiyle (DRS) karşılaştırılmıştır. Bu yöntemin en önemli farkı sınıflandırıcı olarak literatürde yüksek başarım verdiği gösterilmiş olan Destek Vektör Makinası algoritmasını kullanmasıdır. Elde edilen test sonuçlarına göre tez çalışması kapsamında önerilen yöntem sınıflandırma başarımını arttırmakta ve DRS yöntemine göre çok daha iyi sonuçlar vermektedir.