Ses sinyallerinden duygu tanıma için farklı yaklaşımlar

Duygu tanıma son yıllarda önemi gittikçe artan konulardan bir tanesidir. Duygu tanıma yüz ifadelerinden ve biyomedikal sinyallerden yapılabildiği gibi ses verilerinden de yapılabilmektedir. Özellikle yüz yüze iletişim kurulmadığı durumlarda kişinin duygu durumunun tespitinde ses verisi kullanılmaktadır. Elle özellik çıkarımı ve özellik seçimi klasik yöntemlerle sesten duygu tanımada en önemli aşamalardır. Sesten duygu tanıma alanında en çok çıkarılan özellikler spektral, prozodik ve format özellikleridir. Özellik seçimi için ise oldukça çok yöntem önerilmiştir. Buna rağmen sesten duygu tanıma problemi tam olarak çözülememiş, karmaşık bir problemdir ve tanıma oranını arttırmak için daha iyi tekniklere ihtiyaç duyulmaktadır. Bu nedenle bu tez çalışmasında sesten duygu tanıma işlemi gerçekleştirilmiştir. Bu çalışmada en çok bilinen ve açık bir veri tabanı olan Berlin duygu veri tabanı (EmoDB) kullanılmıştır. EmoDB yedi farklı duyguya ait ses veri tabanıdır. Bu tez çalışmasında uygulamalar cinsiyet ve kişi bağımsız olarak gerçekleştirilmiştir. Tez çalışmasında üç farklı uygulama gerçekleştirilmiştir. Tüm uygulamalar yedi duygu ve üçerli duygu grupları üzerinde gerçekleştirilmiştir. Uygulamalarda kullanılacak veri kümeleri ve önişlemlerin açıklanması amacıyla iki farklı ön çalışma gerçekleştirilmiştir. Bu ön çalışmaların ilkinde Uygulama 1 ve Uygulama 2'de kullanılan veri kümeleri oluşturulmuştur. Veri kümeleri farklı sayıda ve farklı özelliklerden oluşturulmuştur. Çıkarılan özellikler Spektral özelliklerden Mel Frekansı Kepstrum Katsayıları (MFCC), Doğrusal Öngörüm Katsayıları (LPC), Ayrık Dalgacık Dönüşümü (DWT) ve Öz Bağımlı Model Parametreleri (AR) özellikleridir. Ayrıca prozodik özelliklerden Temel Frekansa ait özelliklerde çıkarılmıştır. Özellik seçiminde kullanılan spektral, prozodik ve format özellikleri incelenmiş sınıflandırma için etkin özellikler üzerinde çalışma yoğunlaştırılmıştır. Oluşturulan veri kümeleri özellik seçimi yapılmadan sınıflandırılmıştır. Sınıflandırma amacı ile tüm uygulamalarda Yapay Sinir Ağları (YSA), Destek Vektör Makineleri (DVM), k En yakın Komşuluk Algoritması (kNN) ve Sade Bayes (SB) algoritmaları kullanılmıştır. Ön çalışmada ikinci olarak Uygulama 3'de kullanılan veri kümeleri ve ön işlemler açıklanmıştır. Uygulama 1'de özellik seçimi için önerilen Etmen Tabanlı Otomatik Özellik Seçimi (Agent Based Automatic Feature Selection - ABAfs ) yaklaşımı sunulmuştur. Ön çalışmalarda belirlenen etkin veri kümeleri üzerinde uygulanan çalışmada seçilen özellikler sınıflandırılmıştır. Tez çalışmasında gerçekleştirilen ikinci uygulama Bulanık C-Ortalama Algoritması (BCO) ile duygu tanıma işlemidir. Bu uygulamada BCO yöntemi ile boyut azaltımı işlemi gerçekleştirilmiştir. Oluşturulan özellikler ön çalışmada belirlenen veri kümeleri üzerinde gerçekleştirilmiş ve sınıflandırıcıya verilmiştir. Bu çalışmadaki üçüncü ve son uygulama Derin Öğrenme Algoritmaları ile duygu tanımadır. İlk iki uygulamada duygu tanıma işlemi yapılmadan önce özellik çıkarımı ve özellik seçimi işlemleri gerçekleştirilmiştir. Bu uygulamada özellik seçimi yapılmadan ham verilerden spektrogram görüntüleri elde edilerek Derin Öğrenme Algoritmalarından AlexNET ile sınıflandırılmıştır. Ayrıca elle çıkarılan özelliklerin derin öğrenme ile sınıflandırma başarısının karşılaştırılabilmesi için etkin özellikler DSA ile sınıflandırılmıştır. Tez kapsamında gerçekleştirilen tüm çalışmalar değerlendirildiğinde, yedi duygu grubunda en yüksek sınıflandırma doğruluğu (SD) 16 adet MFCC katsayılarından oluşturulan veri kümesi ile %92.98 ile BCO ile özellik seçimi yöntemiyle gerçekleştirilmiş ve literatüre kazandırılmıştır. Ayrıca literatür incelendiğinde bu zamana kadar duygu tanıma alanına hiç uygulanmamış özellik seçim yöntemlerinin bu çalışmada gerçekleştirilmiş olması da tez çalışmasının özgünlüğünü ortaya koymaktadır. Kısacası bu tez çalışması, elde edilen sonuçlar, Duygu Tanıma probleminde hangi özelliklerin daha etkin olduğunun tespiti ve sınıflandırılması konularında gerçekleştirilen çalışmalar açısından literatürde önemli bir yere sahip olacaktır.