Derin öğrenme ile insan aktivitesi tanıma

İnsan aktivitesi tanıma, akıllı gözetim, insan-bilgisayar etkileşimi gi geniş uygulama alanına sahip olduğu için bilgisayarla görü alanında oldukça sıcak araştırma alanıdır. Aktivite tanıma üzerine araştırmalar ana çerçevede RGB videolar ve giyilebilir sensörler üzerine odaklanmıştır. RGB-D sensörlerinin kolay bulunması ve geniş kullanımı nedeniyle insan aktivitesi tanıma daha fazla popüler olmaktadır. Aktivite tanıma, tehlikeli durumların tespiti yada yanlız yaşayan insanları izlemek gibi çoğu alana uygulanabilir. Örneğin, yaşlı insanları izleyen bir robot onlara suiçmesini hatırlatabilir. Dağınık ve görsel olarak karmaşık doğasında dolayı insan aktivitelerini tanımak çok daha zor olmaktadır. Aktivite tanıma problemi, kamera pozisyonuna, ışığın durumuna, arka plan değişimlerine ve çevreye bağlı kalmaksızın aktiviteyi mümkün olduğunca gürbüz bir şekilde tanımaktır. Bu durum, çok sayıda parametre bulundurduğu için oldukça zorlayıcı bir iştir. Aynı zamanda akitivitelerin doğası kişiye göre oldukça değişkenlik gösterir. Aynı zamanda problem senaryosu değişiklik gösterebilir: etkileşimli aktivitelere, çok farklı kamera pozisyonlarına veya çok farklı veri kümelerine sahip olabiliriz. Bu yüzden aktivite tanıma problemi hala çözüme açık bir problemdir ve bunları çözecek belirgin bir çözüm yoktur. Bu tezde, insan aktiviteleri iskeletsel ve RGB verileri kullanılarak çeşitli derin öğrenme teknikleri ile sınıflandırılmıştır. Burada problemin sadece bir çeşit veriye bağlı kalmadan çözülmesi hedeflenmiştir. Son yıllarda derin öğrenme tabanlı yaklaşımlar görüntü sınıflandırma, nesne tanıma gibi alanlarda büyük başarı elde etmiştir. Derin öğrenme, öznitelik çıkarma konusunda el işçiliği gerektiren tekniklere göre çok büyük kabiliyete sahiptir. Bu yüzden sıfırdan derin sinir ağları geliştirerek bu öznitelikleri öğrenmeye çalıştık. İskeletsel veriyi işlemenin amacı, RGB-D sensöründen aldığımız 3 boyutlu iskelet verileriyle derin öğrenme algoritmaları kullanarak insan aktivitelerini otomatik olarak sınıflandırmaktır. Derinlik sensörleri insan aktivitelinin analizi için 3 boyutlu iskelet datasını son yıllarda gürbüz bir şekilde sınıflandırma ve görüşe göre değişmezliği sebebiyle son yıllarda popüler olmuştur. Bizim metotlarımız eklem datasını kullanarak, sınıflandırma için direkt olarak öznitelikleri çıkardığı için el yapımı özniteliklere göre üstünlük sağlamaktadır. Çalışmamızda, insan aktivitesi tanımak için çok sayıda veri kümesi kullanıldık. Onlardan biri, literatüre göre kıyasladığımızda oldukça zorlayıcı ve yeni olan NTU RGB+D veri kümesi kullanılmıştır. Aynı zamanda bu veri kümesi derin öğrenme gibi veriye aç metotları uygulamak için oldukça büyük ve uygundur ve etkileşimli aktiviteler içerir. Etkileşimli aktivitelerin sınıflandırılması için çok sayıda analiz metotları kullandık. Aynı zamanda gördük ki, literatürde etkileşimli aktivitelerin sınıflandırılması için yeterince çalışma olmadığını gördük. Oluşturulan modelin ne kadar iyi olduğunu anlamak için toplanan gerçek verilerle test edilmesi iyi olacaktır.Bu noktada Microsoft Kinect v1 görüntü ve derinlik sensörü kullanılarak dört kişiden beş farklı aktivite için veri toplanmıştır. Kullanıma açık olan MSR Daily Activity 3D veri kümesinde eğitim işlemi yapılmış, sonrasında bu veri kümesinde test işlemi yapılmıştır. Test sonuçları modelimizin yeni kişi activitelerinin tespitinde de çok iyi olduğunu göstermiştir. 2 ve 3 boyutlu Evrişimsel Sinir Ağı (CNN) modelleri ve Uzun-Kısa Zamanlı Hafıza (LSTM) ağları kullanılarak iskeletsel veri için performans analizi yapılmıştır. Aynı zamanda Üretici Çekişmeli Ağ kullanarak yeni bir teknik uygulanmış ve yeni sentetik veriler üretilmiştir.Bu teknik sayesinde başarım oranı önemli ölçüde artmıştır. Sınıflandırma için standart LSTM ve Çift Yönlü LSTM modelleri olmak üzere 2 farklı Uzun-Kısa Zamanlı Hafıza (LSTM) modeli kullanılmıştır. Standart LSTM ağı gelecek giriş bilgisine o anki güncel durumdan ulaşma konusunda sınırlandırmalara sahiptir. Çift yönlü LSTM modelinin oluştumadaki temel düşünce iki saklı katmanın aynı çıkışa zıt yönlerde bağlantı kurmasını sağlamaktır. Sonuçlar gösteriyor ki çift yönlü LSTM modeli, dizisel datanın birbiriyle olan ilişkisini modellemede büyük yeteneğe sahiptir. Çok sayıda Evrişimsel Sinir Ağı(CNN) tabanlı model aktivitenin tanınması için uygulanmıştır. İlk olarak iki farklı sıfırdan geliştirilen 2 boyutlu CNN modeli iskeletsel data için uygulanmıştır. Network derinliğinin öğrenme kabiliyeti üzerine etkisi analiz edilmiştir. Başka bir deneyde, iki çerçeve arasındaki hareket bilgisinin başka bir öznitelik haritası ve yardımcı giriş olarak ağa beslendiği iki akışlı CNN ağı kullanılmıştır. Anlamlı uzay-zamansal bilginin elde edilebilmesi için başka bir deneyde 3 boyutlu CNN modeli geliştirilmiştir. Aynı zamanda, 3 boyutlu CNN mimarisinden elde edilen verileri sınıflandırmak için Destek Vektör Makineleri (SVM) kullandık. Böylece, SVM ve Çok Katmanlı Algılayıcı (MLP) arasındaki sınıflandırma başarısını analiz etmek istedik. Deneyler gösteriyor ki, sıfırdan geliştirilen 3 boyutlu CNN mimarisi hareket gösterimini daha doğru bir şekilde elde edebildiği için diğer CNN yaklaşımlarına göre daha yüksek bir performans göstermiştir. Derin öğrenme tabanlı çözümlerin başarısı eğitim veri kümesininin büyklüğüne bağlıdır. Bu nedenle, bu tezde büyük datasetler kullandık. Buna rağmen, Üretici Çekişmeli Ağ (GAN) kullanarak tamamen yeni bir teknikle veri kümesini çoğaltmaya çalıştık. Üretici Çekişmeli Ağlar, bir veri kümesinden gerçek veri görüntüsü altında sentetik yeni örnekler üreterek veri kümesindeki ek bilgileri tamamen yeni bir yolla ortaya çıkarmaktadır. GAN kullanarak 20000 yeni sentetik veri üretildi ve sınıflandırmadan önce eğitim veri kümesine eklendi. Yapılan deneyler sonucunda, 3 boyutlu CNN mimarisi kullanılması ve GAN tekniği kullanılarak oluşturulan verilerin eklenmesi sonucunda oluşturulan sınıflandırmada, LSTM ağlarına göre daha anlamlı öznitelikleri daha çok elde ederek en yüksek başarım oranı elde edilmiştir. Tezin ikinci kısmında, videolardaki RGB verileri kullanılarak aktivite sınıflandırma için çok sayıda derin öğrenme tekniği önerilmiştir. Yalnızca 3 boyutlu CNN mimarisi kullanılması, LSTM ağını sınıflandırmada kullanan hibrit model ve optik akış özniteliklerini 3 boyutlu CNN ağı ile birleştiren model olmak üzere 3 farklı model ile deneyler yapılmıştır. Deneyler sonucunda optik akış, aktivitelerin hareket özniteliğini elde etmede oldukça başarılı ve bu özniteliklerin 3 boyutlu CNN ağı ile birleştirilmesi sonucunda yapılan sınıflandırmada başarım değerinin arttığı ve daha gürbüzce sınıflandırmaya olanak sağladığı görülmüştür. Performans analizi ve değerlendirme için UCF101 ve HMDB51 kıyaslama veri kümeleri kullanılmıştır. Bu veri kümeleri dağınık arka plana sahip olmaları, yüksek kamera hareketleri ve düzensiz bir doğaya sahip olduklarında dolayı oldukça zorlayıcı veri kümeleridir. Sonuçlar gösteriyor ki optik akış özniteliklerinin 3 boyutlu CNN öznitelikleri ile birleştirilmesi sonucunda hareketi anlama konusunda iyi bir gösterim sağlayıp, daha gürbüzce sınıflandırma yapılmıştır.