Ses duygu tanıma sistemlerinde aktif öğrenme ve öznitelik seçme ve çıkarma yöntemlerinin karşılaştırılması

Sosyal varlık olan insanın davranışlarının temelinde duygular yer almaktadır. Bu duygulara göre iletişim şekillenmektedir. Duyguların en yaygın yansıtılış biçimi ise sestir. Son yıllarda teknolojideki değişimler ile birlikte ses üzerinden duygu çıkarımı oldukça popüler bir konu haline gelmiştir. Temel anlamda sesten duygu çıkarımı ses işaretlerinden çeşitli öznitelikler çıkarılarak denetimli öğrenme yöntemleri ile eğitilen sınıflandırıcılar kullanılarak gerçekleştirilmektedir. Sınıflandırıcıların başarıları veri ön işleme aşamasında yapılan işlemler, öznitelik ve sınıflandırıcı seçimleri, sınıflandırıcıların eğitilme parametrelerine göre değişmektedir. Yüksek başarımlı sınıflandırıcılar elde etmek diğer makine öğrenme uygulamalarında olduğu gibi sesten duygu çıkarımında da temel amaçlardandır. Bu sebeple, sınıflandırma aşamaları üzerinde birçok çalışma gerçekleştirilmektedir. Veri ön işleme çalışmaları duygu çıkarımında, bütün makine öğrenmesi süreçlerinde olduğu gibi en önemli ve dikkat edilmesi gereken kısımlardan biridir. Çünkü veri üzerinde yaptığımız her bir değişim sonuca direk olarak etki etmektedir. Öznitelik seçimi ve çıkarımı da bu veri ön işleme adımlarında başarımı etkileyen önemli işlemlerdir. Öznitelik seçim yöntemleri var olan öznitelikler içerisinden başarımı yüksek olacak öznitelikleri bulmayı amaçlamaktadır. Buna karşın öznitelik çıkarma yöntemleri var olan özniteliklerden başarımı yüksek olacak, orijinal özniteliklerden farklı bir öznitelik uzayı elde etmektedir. Teknolojinin gelişmesi ile birlikte veri toplamak ve bu veriye erişmek çok kolay hale gelmiştir. Bu verilerin makine öğrenmesi çalışmalarında kullanılabilmesi için etiketlenmiş olması gerekmektedir. Bu etiketleme işlemi uzmanlar tarafından gerçekleştirilmektedir. Bu işlem zaman ve maddi açıdan çoğunlukla maliyetli bir işlemdir. Bu yüzden birçok problemde az sayıda etiketli verinin yanında çok sayıda etiketsiz veri bulunmaktadır. Elde edilen etiketsiz verilerin makine öğreniminde başarıyı arttırıcı şekilde kullanılabilmesi için aktif öğrenme gibi yöntemler sunulmaktadır. Aktif öğrenme temelde, etiketsiz verilerden belirli şartlara göre seçilen verilerin yinelemeli olarak öğrenme kümesine dahil edilmesi ve modelin güncellenmesi ile gerçekleştirilir. Bu akıştaki en kritik nokta en bilgi verici olan örneklerin seçilmesi işlemidir. Bu işlem için literatürde çeşitli yöntemler sunulmuştur. Bunlardan en yaygın kullanılanlardan birisi, sınıflandırıcının en emin olamadığı örneklerin seçimidir. Bu yöntem belirsizlik örnekleme olarak bilinir. Düzensizlik hesabına göre yapılan belirsizlik örnekleme tekniği en sık kullanılandır. Entropi hesaplanarak verinin düzensizliği belirlenir. Veri dağılımında ne kadar düzensizlik var ise o kadar çok bilgi barındırmaktadır. Temel aktif öğrenme akışında ilk aşamada öğrenilen model etiketsiz veriler üzerinde çalıştırılır. Modelin en başarısız olduğu örnekler belirli bir sınır değerine göre belirlenir. Bu sınırın üzerindeki veriler örnek çeşitliliği açısından en çok bilgi taşıyanlardır. Bu örnekler uzmanlara sorularak etiketlenir. Son aşamada ise yeni etiketlenen örnekler ile model güncellenir. Bu sayede modelin başarısının test veri kümesi üzerinde artması beklenir. Bu tez çalışması kapsamında öncelikli olarak öznitelik seçme ve çıkarma yöntemleri denetimli öğrenme kullanılarak incelenmiştir. Ses sinyallerinden duygu çıkarımında temel olarak sesin akustik öznitelikleri kullanılmaktadır. Bu akustik öznitelikler taşıdıkları bilgi bakımından alt tiplere ayrılmaktadır ve bir ses sinyalinden çok fazla sayıda akustik öznitelik çıkarılabilmektedir. Bu özniteliklerin sınıflandırıcı için en anlamlılarının kullanılması hem maliyet hem de sınıflandırıcı başarısı açısından kritik öneme sahiptir. Bu çalışma kapsamında Otokodlayıcı, Relief-F ve Chi-Square öznitelik seçme ve çıkarma yöntemleri kullanılarak öznitelik eleme işlemleri gerçekleştirilmiştir. Akustik öznitelikler alt tiplere ayrılarak farklı öznitelik kümeleri oluşturulmuştur. Çıkan sonuçlar karşılaştırmalı olarak analiz edilerek, en başarılı öznitelik tipi ve en etkili seçim yöntemi tespit edilmiştir. Deneysel sonuçlar University of Michigan Song and Speech Emotion Dataset (UMSSED) ve Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) veri kümeleri kullanılarak elde edilmiştir. OpenSmile uygulaması ile bu veri kümelerinden toplamda 4 farklı tipte öznitelikler üretilmiştir. Bu öznitelik tipleri Enerji ve Ses Şiddeti, Ses Yükselmesi ve Kalitesi, Spektral ve Mel Frekans Kepstral Katsayısı (MFCC)'dır. Bu öznitelik tiplerinin farklı sayıda kombinasyonlarının yer aldığı 2 farklı tip daha üretilmiş ve toplamda 6 tipte öznitelik kümesi elde edilmiştir. Yapılan çalışmalar sonucunda MFCC tipindeki özniteliklerin ve Relief-F yöntemi ile elenen özniteliklerin en başarılı sonuçlar verdiği görülmüştür. Relief-F yöntemi, öznitelik ve sınıf bilgisi arasındaki yakınlık değerlerini baz alır. Öznitelikler ve seçilen özniteliklerin komşularını da bu yakınlık hesabında kullanmaktadır. Bu özellikleri Relief-F yönteminin daha başarılı olmasını sağlamıştır. Chi-Square yöntemi de Relief-F'e yakın sonuçlar vermiştir. Bu yöntem de öznitelik ve sınıf bilgisi arasındaki ilişkiyi bağımsızlık yönünden değerlendirmektedir. Öznitelik ve sınıf bilgisi arasındaki ilişkiye dayalı olan yöntemlerin daha başarılı sonuçlar verdiği görülmüştür. Tez çalışmasının ikinci aşamasında ise, ilk aşamada elde edilen sonuçlar da kullanılarak aktif öğrenme yöntemlerinin duygu tanıma problemi üzerindeki başarımı incelenmiştir. Bu aşamada yapılan deneyler veri kümelerinin kullanımına göre iki alt deneye ayrılmıştır. İlk olarak RAVDESS veri kümesi öğrenme kümesi olarak kullanılmıştır. UMSSED veri kümesi ise test ve etiketsiz veri kümesi olmak üzere ikiye ayrılmıştır. Bu deneydeki amaç, az sayıda örnek barındıran veri kümelerinin sınıflandırılma problemlerine aktif öğrenme katkısı ile çözüm aramaktır. Daha çok örneğe sahip veri kümelerinden öğrenilen model aktif öğrenme tekniği ile çok daha iyi sonuçlar vermektedir. Diğer bir deneyde ise UMSSED veri kümesi öğrenme veri kümesi, RAVDESS ise test ve etiketsiz veri kümesi olarak ikiye ayrılmıştır. Bu sayede, çok miktardaki etiketsiz verilerin sesten duygu çıkarımı işlemlerindeki verimli kullanımı deneysel olarak gösterilmiştir. Her iki deneyde de temel aktif öğrenme aşamaları gerçekleştirilmiştir. Öğrenme veri kümesi üzerinde eğitilen model, etiketsiz veri kümesi üzerinde çalıştırılmıştır. En kararsız örnekler seçilerek uzmanlardan etiketleri öğrenilmiş ve model güncellenmiştir. Bu işlemler tekrarlı olarak ve her yinelemede belirli sayıda örneğin öğrenme kümesine eklenmesi şeklinde gerçekleştirilmiştir. Her bir yinelemede modelin başarısındaki değişim gözlemlenmiş ve genel olarak artış olduğu sonucu çıkarılmıştır. Belirsizliğe sebep olan örneklerin daha akıllıca seçimi ile bu başarımdaki değişim farklılaştırılabilir. Sonuç olarak, ses sistemlerinden duygu çıkarımında kullanılan özniteliklerin seçiminin etkisi araştırılmış ve elde edilen sonuçlar ile aktif öğrenme gerçekleştirilmiştir. Bu çalışma ile temel makine öğrenme aşamalarının birkaçı üzerinde çalışma yapılmış olup başarılı sonuçları elde edilmiştir. Diğer aşamalara odaklanılması konusunda yardımcı olacak niteliktedir.