Resimler üzerinde insan etkileşimleri tanıma

Resimler üzerinde insan etkileşimlerini tanımak oldukça zordur. Özellikle resimler ve videolar kıyaslandığında, resimde etkileşime dair sadece küçük bir an bulunur. Bu tez kapsamında, resimler üzerinden insan etkileşimlerinin tanınması için iki bileşenin rolü incelenmiştir: yüzler ve pozlar. Yüzlerin rolünü incelemek adına, resimlerde yüzlerin bulunduğu bölgelerin ve bu yüzlerin uzamsal yerleşimlerinin etkileşimleri tanımlamada ne kadar katkı sunduğunu inceledik. Bu doğrultuda, geliştirdiğimiz yöntem yüzlerden elde edilen bir çok niteliği, çeşitli sahne nitelikleri ve derin öğrenme niteliklerini bir araya getirir. Elde edilen bu nitelikler bir öğrenme sistemi içerisinde, birlikte işlenerek insan etkileşimlerinin ayırt edilmesini sağlar. Tanımladığımız yüz nitelikleri; yüzlerin birbirine göreceli uzaklıkları, boyutları ve konumları gibi etkileşimleri birbirinden farklı kılabilecek nitelikleri kapsar. Bu çalışma kapsamında kullanabileceğimiz önceden tanımlı bir veri kümesi bulunmadığından, çeşitli insan etkileşimlerini barındıran yeni ve zorlu bir veri kümesi oluşturulmuştur. Yapılan deneyler, yüzlerin ve sahne niteliklerinin insan etkileşimlerini tanımlamada önemli bir paya sahip olduğunu göstermektedir. Etkileşimleri tanımlamada pozların rolünü araştırmak için de, çoklu-akışlı bir evrişimsel sinir ağları mimarisi tanımladık. Bu mimari her bir akıştan elde edilen farklı seviyelerdeki poz bilgilerini bir araya getirir. Bu bağlamda, çeşitli poz tabanlı gösterimler incelenmiştir. Genişletilmiş bir veri kümesi üzerinde yapılan deneyler, önerilen yöntemin insan etkileşimlerini sınıflandırabilmek için oldukça başarılı olduğunu göstermiştir. Bu poz tabanlı gösterimler ve orjinal resimler bir arada kullanıldığında başarımın daha da arttığı gözlenmiştir.