İçerik tabanlı sorgu ve tarama için yapısal ve anlamsal ses içerik analizi

ivİÇERİK TABANLI SORGU VE TARAMA İÇİN YAPISAL VE ANLAMSALSES İÇERİK ANALİZİ(Doktora Tezi)Mustafa SERTGAZİ ÜNİVERSİTESİFEN BİLİMLERİ ENSTİTÜSÜTemmuz 2006ÖZETOtomatik ses içerik analizi, bilgisayar sistemlerinin çeşitli kullanımları içinsayısal ses sinyallerinin içeriklerini anlamaya yönelik algoritmalarıngeliştirildiği genel bir araştırma alanıdır. Otomatik ses analizinin anafonksiyonu, sayısal koleksiyonlarda gün geçtikçe sayısı artan ses verisinin dahaiyi yönetilebilmesi için, ses sinyallerinden bazı önemli bilgileri çıkartmaktır. Sesverilerinin içerik tabanlı gösterimi, dizinlenmesi, taranması ve otomatik olaraketiketlenmesi gibi birçok uygulama bu bilgilerden yararlanmaktadır.Bu çalışmada, içerik tabanlı ses yönetim sistemlerinde büyük öneme sahip olaniki konu araştırılmıştır. İlk olarak, ses verileri içerisinde tekrar eden desenlerintespit edilebilmesi için yeni bir yapısal analiz yöntemi önerilmiştir. Bu desenler,ses verilerinin içerikleri hakkında önemli bilgiler vermektedir. Bu bilgilereörnek olarak, bir müzik içerisindeki nakarat bölümleri ya da konuşma verisininkonusu hakkında anlamsal bilgiler gösterilebilir. Önerilen yöntem, bir sessinyalinin içerisindeki en önemli bilgiyi çıkarabilmek için, MFCC özniteliğini veMPEG-7 standardında tanımlı olan spektral düzlük özniteliğini kullanaraksinyal içerisindeki yapısal değişiklikleri tespit etmeyi amaçlamaktadır. Benzeryöntemlerden farklı olarak, resim işleme tekniklerinin ses içerik analizineuygulanabilirliği de araştırılmıştır. Önerilen yöntemin test edilebilmesi içinvyaklaşık 5 saatlik ses kliplerinden oluşan bir veritabanı hazırlanmıştır. Deneyselsonuçlara göre, müzik ve konuşma verileri içerisindeki tekrar eden desenlerinsırasıyla %86 ve %87 doğruluk oranı ile tespit edilebildiği gözlenmiştir.Bu tezde ayrıca, elde edilen yapısal analiz sonuçlarını kullanan ve ses verisininçok farklı şekillerde sorgulanmasını ve taranmasını sağlayan bir modelönerilmiştir. Bu sorgulara nakarat sorguları, ses efektlerinin sorgulanması,örnek vererek sorgulama (ÖVS) gibi sorgu biçimleri örnek olarak verilebilir.Son olarak, çokluortam bilgilerinin sorgulanması esnasında çok önemli bir yeresahip olan nokta, aralık ve en yakın k-komşuluk sorgu biçimleri dedesteklenmektedir.Bilim Kodu : 702.3.006Anahtar Kelimeler : Ses bölütleme ve analiz, ses özeti, ses bilgi getirimi,ses spektrum düzlüğü, MPEG-7Sayfa Adedi : 64Tez Yöneticisi : Prof. Dr. Buyurman BAYKAL