Akustik ve anlamsal öznitelik temsili ile otomatik ses başlıklandırma

Günümüzde gelişen teknoloji ve artan veri miktarı ile birlikte ses verileri de hızla artmaktadır. Bu nedenle, ses verilerinin içeriğinin insan benzeri sistemler tarafından anlaşılmasına ve yorumlanmasına ihtiyaç duyulmaktadır. Genel olarak ses işleme çalışmaları konuşma tanıma, ses olay/sahne tanıma ve ses etiketlemeye odaklanmıştır. Konuşma tanıma, konuşulan bir dili metne çevirmeyi amaçlar. Ses olay/sahne tanıma ve etiketleme sistemleri, bir ses kaydına tek veya birkaç kelimelik açıklamalar yapar. Otomatik ses başlıklandırma ise önceki çalışmalardan farklı olarak çevresel bir ses kaydını doğal bir dil cümlesi ile açıklamayı amaçlar. Bu tez, ses işleme, görüntü/video ve ses başlıklandırma üzerine ayrıntılı bir literatür çalışmasının ardından ses başlıklandırma performansını iyileştirmek için anlamsal bilgileri kullanmanın önemini araştırmaktadır. Bu bağlamda, otomatik ses başlıklandırma için dilbilimsel (özne-fiiller), konu modeli, bilgi çizgesi ve akustik olaylar kullanılarak sayısal modeller geliştirilmiştir. Metodoloji olarak, farklı özniteliklerin, kelime gömme yöntemlerinin, derin öğrenme mimarilerinin ve veri kümelerinin katkıları ve semantik bilginin ses başlıklandırmaya katkısı incelenmiştir. Çalışmalar kapsamında iki adet ses başlıklandırma veri seti kullanılmıştır. Tezde önerilen modellerin başarısı, aynı veri setlerini kullanan çalışmalarla karşılaştırılmıştır. Sonuçlar, önerilen yöntemlerin otomatik ses başlıklandırma performansını iyileştirdiğini ve literatürle karşılaştırılabilir sonuçlar verdiğini göstermektedir.