Estimation of partially occluded human joints using a Bayesian approach and an application of human image inpainting

İnsan poz kestirimi güvenlik, kıyafet uygulamaları ve özel video efektleri alanlarında gerçekleştirilmesi önemli bir problemdir. Bu problemin çözümünde tek bir görüntüden faydalanarak görsel öznitelikleri kullanan konvolüsyonel sinir ağları tabanlı metotlar en başarılı yöntemlerdir. Ancak kapanmalar doğal senaryolarda sıkça ortaya çıkmakta ve KSA tabanlı insan poz kestirimi metotlarının performasını ciddi oranda düşürebilmektedir. Bu çalışmada, verilen bir görüntüde kapanmaya uğrayan insan eklemlerinin konumunu kestiren ve özgün bir Bayesyen yaklaşım olan BAKE metodu sunulmaktadır. Bu yaklaşımda görüntüdeki görünür eklemleri bulması için popüler bir kestirim metodu olan Openpose'dan [1] faydalanılmakta, sonrasında ise Bayesyen bir çerçevede kapanmaya ugramış noktaların yerleri kestirilmektedir. Bu metot, zamana bağlı olay dizilerini istatistiksel bir şekilde modelleyebilmesi bakımından 3 boyutlu KSA yapılarına bir alternatif olarak görülebilir. Kapanmaya ugramış eklemlerin kestirimi kötü koşullu bir problem olsa da önsel bilgiden faydalanılabilir ve bu önsel bilgi önceki kapanmaya ugramamış video karelerinden elde edilebilmektedir. Bu kapsamda, eklem uzunlukları ve açıları tanımlanarak istatistiksel bir vücut modeli oluşturulur. İstatistiksel parametreleri hesaplamak amacıyla kapanmaya uğramamış video karelerinden faydalanılarak lokal bilgi, geniş bir insan pozu veri kümesinden faydalanılarak da genel bilgi elde edilir. Sonrasında, kapanmaya ugramış video karesinde görülebilir noktalar kullanılarak uzunluk ve açı dağılımları güncellenir. Kaba kuvvet yöntemiyle de kapanmaya ugramış eklemler için pozisyon kestirimi yapılır. İnsan eklemlerini tamamlama işleminin ne kadar güvenilir yapıldığını ölçen yeni bir güven puanı da ortaya konmuştur. Bu puan Openpose ve BAKE algoritmalarının çıktılarını birleştiren hibrit bir algoritmada da kullanılmıştır. Yapılan deneylerde Openpose, BAKE ve hibrit yaklaşım karşılaştırılmış, BAKE'nin Openpose'dan üstün başarı sergilediği gösterilmiştir. Hibrit metodun da BAKE'nin performansını bir miktar artırdıgı gözlemlenmiştir. Ayrıca kısmi kapanma yaşanan insan görüntülerinde tamamlama yapacak bir metot da önerilmektedir. Bu metotta yine videodaki kapanmaya ugramamış görüntülerden faydalanılmakta, ayrıca da görüntüden 3 boyutlu vücut örgüsü oluşturabilen SMPLify-x [2] algoritması kullanılmaktadır. Kapanmaya uğramamış karelerdeki görüntü parçaları kapanma olan karede kapanma yaşanan bölgedeki görüntü parçalarıyla eşleştirilmekte ve eşleştirilmiş görüntü parçaları kapanma yaşanan bölgeye aktarılarak tamamlama işlemi yapılmaktadır. Bu metoda ait sonuçlar da sunulmuştur.