Sahne analizi için ses kaynağı tespiti

Ses işaretlerini yorumlayarak nesneleri ve olayları tanıma kabiliyeti insanın önemli yeteneklerinden biridir. Bu sayede insanlar bulundukları ortam hakkındaki farkındalıklarını artırarak, karar verme aşamasında bu bilgiler ışığında daha doğru hareketlere yönelirler. Örnek olarak, kapalı bir kutu içerisinden gelen cam sesi, kişiyi o kutuyu taşıma esnasında daha dikkatli olmaya sevk eder. Robotlarda ise nesneleri ve olayları çıkardıkları seslere göre sınıflandırma son derece önemli ancak oldukça zor bir görevdir. Bu tez çalışmasında, robotların ortamda tespit ettikleri sesin özelliklerini kullanarak nesneleri ve olayları otomatik olarak sınıflayabilecekleri bir sistem kapsamında ses verilerinin ayırt edici özelliklerini kullanan farklı gözeticili öğrenme yöntemleri kıyaslanmıştır. Çalışmalar kapsamında geliştirilen sistem temel olarak üç aşamadan meydana gelmektedir. Bunlar; önişleme, öznitelik çıkarma ve sınıflandırmadır. Önişleme, sisteme mikrofon aracılığıyla aktarılan ses sinyalinin öznitelik çıkarma öncesinde gerekli eşikler ve dönüşümlerden geçtiği bölümdür. Eşikleme ses sinyalinin sistem açısından faydalı kısımlarını almak için yapılır. Eşiklemeden sonra ise ses ayrık Fourier dönüşümüne (DFT) tabi tutularak spektral özniteliklerin çıkarımı için hazırlanır. Öznitelik çıkarma işlemlerinde ise önişlemeden gelen sinyal ve verilerden yararlanarak sesin spektral ve tınısal öznitelikleri ile sınıflandırma algoritmalarına uygun öznitelik vektörleri hesaplanmaktadır. Bu vektörler hem eğitim hem de test aşamalarında aynı şekilde oluşturulmaktadır. Çalışmaların sınıflandırma bölümü eğitim ve test aşamalarından meydana gelmektedir. Sınıflandırma, öncelikle kaynağı bilinen sesleri ile sınıflandırma algoritmasının eğitilerek bir model oluşturması daha sonra ise kaynağı bilinmeyen sesin bu model yardımıyla doğru şekilde sınıflandırılmasından oluşmaktadır. Çalışmalarda destek vektör makinesi (SVM) ve çok katmanlı algılayıcı (MLP) olmak üzere iki adet makine öğrenme algoritması kullanılmıştır. Sistem geliştirme ve seslerin özniteliklerini analiz etme amacıyla tez çalışmaları sırasında bir seri deneyler icra edilmiştir. Yapılan deneyler iki bölümde değerlendirilmektedir. Bunlar; 1) Laboratuvar deneyleri, 2) Robot deneyleri. İlk bölümdeki deneyler daha çok sistemin geliştirilmesi ve sesin öznitelik analizi amacıyla yapılmış, ikinci bölümdeki deneyler ise sistemin robotik sistemler üzerinde çalışma performanslarını ölçmek amacıyla yapılmıştır. Deneylerde kullanılmak üzere bir nesne seti oluşturulmuştur. Nesneler cam, metal, porselen, karton ve plastik gibi farklı malzemelerden imal edilmiş tipik ev eşyalarıdır. Bu nesnelerden ses çıkarmak amacıyla vurma ve düşme olmak üzere iki etki yöntemi kullanılmıştır. Çıkarılan sesler ayrıştırıcı özelliğe sahip öznitelikler açısından incelenmiştir. İncelemeler için seslerin spektral ve tınısal öznitelikleri çıkarılmıştır. Bu özniteliklerden bazıları sınıflandırma algoritmaları için faydalı olurken, bazılarının ya hiç etkisi olmamış ya da olumsuz etkileri olmuştur. Gözeticili öğrenme yöntemlerinin önerilen öznitelikler ile malzemeleri sınıflandırma başarımı analiz edildikten sonra sistemin düşme ve çarpma olaylarını ayırt edebilme becerisi de incelenmiştir. Deneyler için iki farklı robot platformu kullanılmıştır: tekerlekli gezgin bir robot ve yedi serbestlik dereceli bir robot kolu. Önerilen sistem, malzemeleri ve olayları sınıflandırmada yüksek sınıflandırma başarımı ile çalışmaktadır. Ayrıca sistem açık kaynak kodlu platformlar üzerinde geliştirilmeye ve farklı uygulamalarda kullanıma uygun şekilde geliştirilmiştir.