Şekı̇l tabanlı duyusal ı̇kame sı̇stemı̇nde nesne takı̇bı̇ ı̇çı̇n verı̇ eşleşmesı̇

Duyusal ikame sistemi (sensory substitution system), bir duyudan (örn. görsel) elde edilen bilginin başka bir duyuya aktarılmasını sağlar. Örneğin görsel-işitsel duyusal ikame sistemi kullanılarak, görsel bilgi kodlanıp, bir kulaklık aracılığıyla, ses olarak kullanıcıya aktarılabilir. Görsel-işitsel, dokunsal-dokunsal ve görsel-dokunsal ikame sistemleri de dahil olmak üzere, farklı duyusal ikame sistemleri bulunmaktadır. Görsel-işitsel duyusal ikame sistemleri, görme engelli insanlara yardım dahil, çok sayıda potansiyel uygulamaya sahiptir. Görme engelli bireylerin çevrelerindeki nesneleri konumlandırmalarına ve manipüle etmelerine, engellere çarpmadan hem iç hem de dış mekanlarda gezinmelerine olanak sağlayabilirler. Bunun için kullanıcıya, nesnelerin konumunu ve şeklini tespit etmek için yeterli bilginin sağlanması gerekmektedir. Bu tezde, görsel-işitsel duyusal ikame sisteminin bir parçası olarak, birden fazla 3B nesnenin gerçek zamanlı takibi için bir veri eşleşmesi (data association) yaklaşımı sunulmuştur. Duyusal ikame sistemimizde, ortamın 3B yapısı derinlik kamerası kullanılarak nokta bulutu (point cloud) şeklinde elde edilmiştir. Bu nokta bulutu ön işlemeden geçirilmiş, parçalarına ayrılmış, takip edilmiş ve sonunda, nesneler gerçek zamanlı bir şekilde konumsal ses (spatial audio) olarak kullanıcılara sunulmuştur. Sistemin zor kısımlarından biri, çıkarılan parçaların peş peşe gelen nokta bulutlarında takibini yapmaktır. Çıkarılan bu parçalar duyusal ikame sisteminde işitsel konumlandırma ve sese dönüştürme ( auditory spatialization and sonification) için öncü nesneler (proto-objects) olarak ele alınır. Dolayısıyla bu parçaların takibi bilgilendirici, temiz ve güzel bir ses üretmek için çok önemlidir. Sistemin, farklı nesneleri veya bir nesnenin farklı parçalarını takibi için özgün bir veri eşleştirme yaklaşımı bu tezin temel teknik katkısıdır. Sunulan bu yaklaşımda her bir eşleşmeyi değerlendirmek için iki farklı masraf fonksiyonu (cost function) tanıtılmıştır. Bu veri eşleştirme yaklaşımı, girdi olarak iki bölüt kümesi almaktadır. İlk küme bir önceki çerçeveden izleyici tarafından elde edilen ilkel bölütleri hedef olarak, ikinci küme ise mevcut çerçeveden bölütleyici tarafından elde edilen bölütleri gözlem olarak olarak içermektedir. Bölütler üzerinde birleştirme, değerleme, doğrulama, arama ve kimlik tahsisi gibi bazı ara adımlar uygulanır. Sistem çalışmaya başladığında elde edilen ilk bölüt kümesindeki bölütlere kimlik ataması rastgele yapılmaktadır. Algoritmanın istenen çıktısı, bölütlerin uygun şekilde birleştirilip doğru kimliklerin atanmasıdır. Bunlardan ilki primitif görüntü momentinlerini (primitive image moments) kullanırken diğeri parçalar arasındaki piksel çakışmasını kullanır. Ayrıca olası eşleşmeler arasında arama yapmak için üç farklı arama yöntemi denenmiştir; (1) hırslı yaklaşım (greedy approach), (2) kaba kuvvet yaklaşımı (brute force approach) ve (3) genetik algoritma (genetic algorithm). Gerçeklenen takipçinin (tracker) performansını değerlendirmek için iki çeşit deney yapılmıştır: (1) yalnızca takipçinin başarısının çevrimdışı veri kümesi üzerinde test edilmesi ve (2) gözleri bağlanmış kullanıcının gerçeklenen takipçiyi kullanarak serbest bir ortamda (in the wild) nesneleri tanıması ve nesnelerin yerlerini belirlemesi kabiliyetinin test edilmesi. Çevrimdışı deneyi yapmak için iki farklı küçük veri kümesi toplanmıştır. Her iki veri kümesi de takipçinin performansını farklı masraf fonksiyonları ve arama yöntemleriyle ölçmek için kullanılmıştır. Kullanıcılarla serbest ortamda yapılan deney için, bu tezin kapsamında olmayan, iki sese dönüştürme yöntemi (objelerin iç ve dış çevrelerini kodlayan), kullanıcıların zemine yerleştirilmiş nesnelerin yerlerini belirleme ve nesneleri tanıma kabiliyetlerini ölçmek için kullanılmıştır. Yerelleştirme testi için, gözü kapalı kullanıcıların sabit bir pozisyonda kalmaları, ve yere yerleştirilen tek bir nesneye doğru yürümeleri ve nesneyi konumlandırmaları istenmiştir. Konumlama yapıldıktan sonra, kullanıcılardan nesneyi tanımlamaları istenmiştir. Bu deney için, farklı şekil, boyut ve karmaşıklığa dayalı olarak altı nesne kullanılmıştır. ABA/BAB deney protokolü varyantı kullanarak, eğitim ve test sırasında öğrenmenin etkisi ve deneylerin sıralarının etkisi araştırılmıştır. Sınırlı sayıda katılımcı ve sınırlı süreleri olan bu sıra tabanlı deneme, her bir katılımcının her iki durumu da değerlendirmemizi sağladı. Deneyler, ABA veya BAB sekansındaki üç testin her birini gerçekleştirmeden önce, bağımsız bir eğitim oturumu sırasında katılımcılara sistem hakkında bilgi verildi ve sınırlı bir süre için kendilerini eğitmelerine izin verildi. Daha sonra, her bir testte, katılımcılardan çevrede bir nesneyi yerelleştirmesi ve sonra bunu tanıması istendi. Sınırlı veri kümesiyle yapılan çevrimdışı deneylerde hırslı yaklaşımın, parçala ve birleştir sırasında bölünme durumunu uygun şekilde algılayamamasından ötürü, kaba kuvvet ve genetik yaklaşıma kıyasla daha az etkili olduğu gözlenmiştir. Öte yandan sonuçlar, bizim küçük veri kümemiz üzerinde, moment temelli ve çakışma temelli masraf fonksiyonlarının ikisinin de benzer performanslar göösterdiklerini işaret etmektedir. Genetik algoritma ve kaba kuvvet yaklaşımlarının karşılaştırılmasının sonuçları ise göstermektedir ki, yeniden başlama stratejisi kullanılmadan, genetik algoritma çoğunlukla çoklu çalıştırma (multi-run) ve kaba kuvvet yaklaşımlarına kıyasla daha zayıf bir eşleşme bulmaktadır. Çoklu çalıştırma algoritması, kaba kuvvet algoritmasına yakın bir performans sergilemekte ve çoğu zaman tek sefer çalıştırma (single run) yönteminden iyi sonuçlar vermektedir. Bunlara ek olarak, parça sayısı az olduğunda kaba kuvvet yöntemi yeterince hızlı çalışsa da, parça sayısı arttıkça kaba kuvvet yöntemi yavaşlamakta ve gerçek zamanlı olmaktan çıkmaktadır. Gerçeklenen çoklu çalıştırmalı genetik algoritma yöntemi ise gerçek zamanlı takip kabiliyetine sahiptir. Önerilen takipçi kullanılarak serbest ortamda yapılan deneylerin sonuçları, kullanıcıların sistemimizi kısa sürede öğrenebildiklerini ve nesnelerin yerlerini belirleyebildiklerini göstermiştir. Kullanıcılar nesnelerin yerlerini tam olarak ya da yakın bir şekilde, çoğunlukla belirleyebilmişlerdir. Deneyler sırasında, bazı küçük nesneler için, nesnenin uzak konumlarda olduğu zaman, sistemin nesneleri doğru şekilde algılayamadığı gözlemlenmiştir. Bu durumlarda, katılımcılar bir adım atmaya ve bir ses duyana kadar çevreyi yukarıdan aşağıya ve soldan sağa tekrar taramışlardır. Diğer taraftan, sistem uzak konumlarda olsa bile top gibi diğer büyük nesneleri her zaman tespit edebilmektedir. Ek olarak, sistemimizi kullanan kullanıcılar çoğu zaman nesneleri başarılı bir şekilde tanımlayabilmişlerdir. Katılımcılar bitkiyi ve topu, sırasıyla %93 ve %100 doğrulukla iki kodlama yaklaşımında da tanımlayabilmişlerdir ve bu tanımlama doğruluk oranları bütün objeler arasında en yüksekleridir. Her iki yöntem için, katılımcılar, nesne seslerinin kodlamasının mantığını anlamaya çalışmalıdırlar. Dahası, iki ana ipucu, katılımcılar tarafından nesnelerin, çalınan seslerin sayısının ve kameranın döndürülmesinin tanınması için yoğun bir şekilde kullanılmıştır. Sonuçlar iki sese dönüştürme yönteminde de benzer performanslar alındığını göstermektedir. İzin verilen maksimum eğitim süresi 45 dakikadır, ancak sonuçlar sistemimizin daha kısa sürede öğrenilip kullanılabileceğini göstermektedir.