Kaskad nesne algılama ve yapay sinir ağları yöntemleri ile dudak okuma

Görüntü veya sesin, yazıya (metne) veya şekle dönüştürülmesi teknolojinin ilerlemesi ile daha çok kolaylaşmıştır. Söylenenlerin yazıya veya şekle dönüştürülmesi, günümüzde tam olarak istenen seviyede olmasa da tatminkâr sonuçlar elde edilebilmektedir. Ancak, görüntü arayıcılığıyla söylenenlerin tam olarak ortaya konması -dudak okuma işlemi- istenen bir seviyede değildir. Bunun sebebi, dudak okuma işleminde karşılaşılan engellerin, sesin işlenmesindeki -analizinde- karşılaşılan engellerden fazla olmasıdır. Bu tez çalışmasında video görüntülerindeki konuşma içeriğinin dudak okuma yöntemiyle tahmini gerçekleştirilmiştir. Dudak okuma görüntüdeki yüzün, gözlerin, dudak bölgesinin, dudakların ve dudakları temsil eden dış sınırlarının çizilerek dudak hareketlerinin takibini gerektiren karmaşık bir süreçtir. Bu çalışmada, öncelikle temel görüntü işleme yöntemleri incelenmiş daha sonra görüntüdeki yüzü bulmak için renk uzaylarının ten renginin tespitindeki başarıları karşılaştırılmıştır. Görüntüdeki yüzün bulunmasından sonra yüzün pozisyonu (sağa veya sola yatıklığı) kontrol edilmiştir. Yüzün eğimi, göz ve dudakların da eğik olduğu anlamına geldiği için bu eğim miktarına göre dudak dış sınır noktalarının tekrar hesaplanmasını gerektirmiştir. Yüzün eğiklik miktarı, gözlerin konumlarına göre hesaplanmıştır. Yüz üzerindeki gözler, belirlenmiş bir aralıkta (bölgede) elips, daire veya çizgi gibi şekillerin tespit edilmesinde kullanılan hough dönüşümü ile bulunmuştur. Gözlerin birbirlerine göre konumları bulunarak dudak dış sınırlarının tekrar hesaplanmasında kullanılmıştır. Daha sonra dudak dış sınırlarının hesaplanmasının öncesi ve sonrası karşılaştırılmıştır. Daha sonra dudak bölgesinin bulunması işlemi gerçekleştirilmiş ve bu bölgenin bulunmasında kullanılacak olan yöntemler(yüzün 1/3 lük kısmında bulunması, ten renginin kullanılması, çene ve burun deliklerinin tespiti gibi) kullanılarak sonuçlar karşılaştırılmıştır. Dudak bölgesinin bulunmasından sonra dudakların ve dudakların dış sınırlarının tespit edilmesi ve dudak dış sınırlarının çiziminde ten renginden yararlanılmıştır. Dudak okuma işlemi 15 nokta ile kontrol edilir. Bunlar dudağı temsil eden 14 nokta ile dişlerin görünüp görünmemesidir. Bu 15 nokta içinden seçilmiş 10, 11 ve 19 noktanın değerlerinden oluşan 3 farklı özvektör oluşturulmuştur. Dudak hareketlerinin izlenmesi için dudak sınırları ve kalınlıkları arasındaki farkların yapay sinir ağları ile değerlendirilmesi sonucunda dudak okuması gerçekleştirilerek tahmin doğruluk oranları karşılaştırılmıştır.