Videolarda geçen konuşmaların metne dönüştürülmesi ve zaman tabanlı indekslenmesi amacıyla bir uygulama geliştirilmesi

Yapay sinir ağlarındaki ilerlemeler, metin tanıma ve metinden sese çevirme gibi birçok veri dönüşümü ve tanıma işlemlerinde önemli gelişmelere yol açmıştır. Özellikle Konuşmadan Metne (Speech to Text) yöntemi, sesli konuşmaları yazıya dönüştürme konusunda popülerlik kazanmıştır. Günümüzde görüntülü ve sesli içeriklerin popülerliği arttıkça insanlar video platformlarında özel içerikler üreterek geniş kitlelere ulaşmakta ve gelir elde etmektedirler. Yapılan çalışma sesin analizinin yanı sıra elde edilen verilerin sorgulanmasını da sağlamaktadır böylece kullanıcılar videoda aradıkları kelimeyle ilgili bölüme erişebilmekte ve bu bölümden itibaren videoları izleyebilmektedir. Bu sayede kullanıcılar aradıkları kelimenin geçtiği saniyelere ulaşmak için bütün bir videoyu izlemek zorunda kalmadan görüntülemek istedikleri kısma ulaşabilmektedir. Geliştirilen yöntemler sayesinde kullanılan STT yöntemine göre videolardaki seslerden elde edilen metinler daha doğru sonuçlar verebilmektedir. Tespit edilen eksiklikler sonucunda geliştirilen Bölümleme yöntemiyle veri setlerinde konuşmacının durana kadar MFCC algoritması kullanılarak Fourier dönüşümü yöntemi ile frekans değerleri hesaplanmış ve ayrıştırılmıştır. STT yöntemine uygulanan bu işlemlerle YouTube'un kullandığı STT yöntemine göre daha doğru bir süre/metin ilişkisinde veriler kaydedilmiştir. Bu yöntem ile gürültüsüz kaydedilen veri setlerinde saniye sekanslı doğruluk oranı hatalarının önüne geçilmektedir. Tüm bu veri setleri veri tabanına süre/metin eşleştirmesi yapılarak kaydedilmekte böylece kullanıcılar aradıkları kelimelerin geçtiği saniyeleri görebilmekte ve istedikleri zaman o kısmı oynatabilmektedirler. Uygulamanın çalışma süreci iki aşamadan oluşmaktadır: ilk aşama videonun indirilmesi, ikinci aşama ise videodaki seslerin metne çevrimidir. İnternet hızına bağlı olarak videoların indirilme süresi ve kelime çevrim süresi değişiklik göstermektedir. Standart bir internet ağı kullanılarak bir dakikalık bir videonun indirilme süresi yaklaşık 30 saniye, beş dakikalık bir videonun indirilme süresi ise ortalama 75 saniye civarındadır. İkinci aşama olan videolardaki seslerin metne çevrilme süreci video indirildikten sonra gerçekleştirilir. Bu aşamada bir dakikalık bir videonun kelime çevrimi yaklaşık 30 saniye, 5 dakikalık bir videonun kelime çevrimi ise genellikle ortalama 75 saniye sürmektedir. Geliştirilen program, YouTube otomatik çeviri sistemiyle aynı yöntemi kullanmasına rağmen yapılan deneylerde daha başarılı sonuçlar elde edilmiştir. Yüz videodan oluşan deney sürecinde geliştirilen programın hem oransal olarak daha fazla çevrim gerçekleştirdiği hem de videolardan elde edilen verilere göre rakamsal olarak daha doğru bir kelime çevrimi yaptığı belirlenmiştir. Her iki sistemin aynı yöntemleri kullanmasına rağmen bu farkın geliştirilen programda kullanılan bölümleme yöntemi, MFCC ve Fourier dönüşümü yönteminin uygulanmasından kaynaklanmaktadır. Uygulamanın asıl amacı kullanıcılara zaman tasarrufu sağlamaktır. Fiber internet hızlarının sağlandığı bölgelerde özellikle bir saat üzerindeki videolar için kullanıcıya üç ila beş dakika arasında hızlı bir çözüm sunulabilmektedir. Standart bir Wifi ağında ise tüm aşamalar bir saatten uzun videolar için dört ila yedi dakika arasında tamamlanabilmektedir.