Gelişimsel perspektiften robotlar için görsel ve işitsel diıkkat

Geli¸simsel robotik, insana özgü bir davranı¸sın geli¸simsel bir biçimde robota gömülmesini ele almaktadır. Bu robotik alanında bili¸ssel bir karar verme modelinin bile¸senlerinin geli¸simi için insanın bili¸ssel modeli ilham alınır. Bu amaç için temel gereksinimler, çoklu algı ile artımlı ö˘grenme yetisi ve bu yeti için gereken sistemin hiyerar¸sisidir. Geli¸simsel bir yapıya ula¸smak için, sistemin hiyerar¸sik olması gerekir. Özellikle, algı seviyesi, karar seviyesinden ayrı (ve alt seviyesinde) olmalıdır. Bir bili¸ssel yapı, alt seviyeden üst seviyeye do˘gru ilerleyen bir süreç ile gerçekle¸sir. Bu süreç, kaynakların i¸slenmesinin devreye sokulması ve daha dü¸sük öncelikli uyaranlara kar¸sı bir tepkinin bastırılmasında azalmayı gerektirmelidir. Bu, bir modelde sadece önemli bilgilerin kullanılabilmesi için uygulanan filtrelemeye benzer. Aynı zamanda, bu süreç içerisinde i¸slenmemi¸s bilgi yerine bu bilgiden çıkartılan anlamın, sembolik bir ¸sekilde aktarılması gerçekle¸stirilmektedir. Ancak, bu tür bir hiyerar¸sinin özünde gerçekten geli¸simsel olabilmesi için artımlı ö˘grenme önemli bir etkendir. Nihayetinde, insan bili¸ssel modeli, ya¸sam boyu süren bir evrim yoluyla son derece karma¸sık dinamiklerine ula¸sır. Nitekim, artımlı ö˘grenme, bu durumda, yeni bir deneye ba¸slarken gereken verilerin kıtlı˘gının söz konusu oldu˘gu çıkmaza bir yol sunmasının yanında daha fazlasını da sunabilir görünmektedir. Aynı zamanda, bu ö˘grenme, daha geni¸s bir alanda ve uzun vadeli bilimsel bir ara¸stırmada kullanılabilecek muhtemel bili¸ssel-fonksiyonların birle¸sik bir ¸sekilde a¸samalı ve artarak büyümesi için birle¸sik bir büyüme imkânı sa˘glamaktadır. Bu bili¸ssel fonksiyonların ço˘gunlu˘gu, farklı alt seviye duyulardan elde edilen ve tümle¸stirilen bilgiler ile beslendi˘gi için do˘gal olarak çoklu algısal bir yapı söz konusu olmaktadır. Oldukça hiyerar¸sik olan bu fonksiyonlar arasında dikkate odaklanma, literatürde yo˘gun bir ¸sekilde ele alınmı¸stır. Daha detaylı açıklamak gerekirse i¸sitsel-görsel dikkat, çoklu algısal bilgi tümle¸stirme yöntemine dayanır. Geli¸simsel bir yapı içinde i¸sitsel-görsel dikkate dayalı bir sistemin tasarlanması için, insan modelinde bulunan dikkate odaklanma olgusunun do˘gası anla¸sılmalı ve makine ö˘grenmesi ve yapay zekâ alanında tercüme edilmelidir. Sinirbilim literatüründe bulunan "i¸sitsel-görsel nesneler" ve "ba˘glanma" gibi dikkate odaklanma ile ilgili kavramlar, i¸sitsel-görsel dikkatin nasıl ortaya çıktı˘gıyla ilgili önemli bir fikir vermektedir. "˙I¸sitsel-görsel nesneler", gözler ile algılanan görsel bir nesnenin yaydı˘gı ve kulaklar tarafından algılanan i¸sitsel niceli˘gin bili¸ssel olarak ili¸skilendirilmesini ifade eder. "Ba˘glama" kavramı ise, bu sembolik ili¸skilendirmeyi sa˘glamaktan sorumludur. Tasarım ilhamı için bu kavramları incelemek ve benzerini, yapay zekâ alanında gerçekleyebilen bir sistemin tasarımı, algılanan görsel ve i¸sitsel niceliklerden elde edilen "öznitelikler" kullanılarak sa˘glanabilir. Burada tanıtılan i¸sitsel-görsel dikkate odaklanma sistemi, iki seviyeli bir hiyerar¸sidir. Alt seviyede i¸sitsel ve görsel algılama kipleri bulunmaktadır; ikinci seviyede ise, daha üst seviyeli bir bili¸ssel davranı¸s tasarımı için alt seviyedeki bilgiler tümle¸stirilmektedir. Bu modeller, Payla¸sımlı bilgi tabanı (Shared base-knowledge) ya¸sam boyu modeli, Ayrı bilgi tabanı (Separate base-knowledge) ya¸sam boyu modeli, yineleme tabanlı Ayrı bilgi tabanı modelidir. Modeller, bu denetimsiz ö˘grencilerin ö˘grenme sürecindeki ba¸sarım davranı¸sını ara¸stırmaktadır. Altı farklı sınıflandırıcı algoritmasının artımlı ö˘grenme davranı¸sları izlenilmekte ve bu modellerin sonuçları, aynı algoritmaların artımlı olmayan ö˘grenme sonuçları ile kar¸sıla¸stırılmaktadır. Her bir sınıflandırıcının do˘gruluk oranı ve e˘gitim süresi performansları, farklı öznitelik kümeleri çerçevesi ve farklı miktarda öznitelik içeren e˘gitim kümeleri çerçevesi ile de kar¸sıla¸stırılmaktadır. ˙I ¸sitsel-görsel dikkate odaklanma, daha sonra iki seviyeli bir mimari ve üç a¸samalı ö˘grenme yoluyla gerçeklenmektedir. Mimarinin ilk seviyesi i¸sitsel ve görsel kiplerden olu¸smaktadır. ˙I¸sitsel kip, artımlı ö˘grenme için önerilen Ayrı Temel Bilgi (Separate Base-Knowledge) ya¸sam boyu modeli ile çalı¸sır. Görsel model, Tek Atımlı Çok Kutulu Saptayıcı (Single Shot Multi-Box Detector (SSD)) mimarisi ile derin sinir a˘gı tabanlı önceden e˘gitilmi¸s (artımlı olmayan ¸sekilde) tensorflow tabanlı nesne tespiti uygulama programlama arayüzü olan bir nesne tanıma modelini kullanmaktadır. ˙Ikinci seviye, i¸sitsel ve görsel bilgileri tümle¸stirmek için alt seviyedeki kiplerden gelen sınıf etiketlerinin olasılı˘gını kullanan bir meta sınıflandırıcıdan yararlanır. Bu meta sınıflandırıcı, üç a¸samalı olarak geli¸smektedir. ˙Ilk a¸sama (Te¸shir) bu sınıflandırıcı için temel bilgiyi olu¸sturur ve i¸sitsel-görsel "ba˘glanma" kavramını gerçekle¸stirmektedir. Bu a¸samada, i¸sitsel-görsel bir nesnenin sembolik temsili, bir meta öznitelik vektörünün olu¸sturulması için i¸sitsel ve görsel kiplerin etiket olasılık de˘gerlerini içeren vektörlerin birle¸stirilmesiyle gerçekle¸stirilmektedir. Bu ¸sekilde ili¸skilendirme, iki duyumsal modelin etiket olasılık (alt seviyedeki kiplerin kararları) de˘gerleri arasındaki korelasyona göre sa˘glanmaktadır. Bu meta sınıflandırıcı, bu a¸samada meta öznitelik vektörleri ile artımlı olmayan ¸sekilde e˘gitilmektedir. ˙Ikinci a¸sama (Geni¸sleme), ilk a¸samada önceden belirlenmi¸s bir sınıfın do˘gasını geni¸sletmek ve de˘gi¸stirmek için yanlı¸s ili¸skilendirilmi¸s ses ve görsel bilgilerin listelenmesini içermektedir. Sistemde kar¸sıla¸sılan yanlı¸s ili¸skilendirme olayları, zorlanarak gerçekle¸stirilmek yerine bu meta sınıflandırıcı ile meta bir i¸sitsel-görsel veri örne˘ginin yanlı¸s sınıflandırılması durumunda ele alınmaktadır. Bu nedenle, bu a¸samada ö˘grenme, bir bakıcı tarafından sisteme etiketlenmenin yanlı¸s oldu˘gunun bildirilmesi ve do˘gru etiketin belirtilmesi için denetlenmektedir. Son a¸samada (Yeniden de˘gerlendirme) sisteme, daha fazla bilgi elde edildikten sonra benzer örnekler hakkındaki mevcut bilgilerle ve bellekte saklanan daha önce yanlı¸s tahmin edilmi¸s örneklerin yeniden kullanılmasıyla bu yanlı¸slı˘gın düzeltilme yetisi kazandırılmaktadır. Bu a¸samada düzeltme için iki yöntem (altyordam) kullanılır. ˙Ilk altyordam, karar a¸samasında ilk elde yanlı¸s etiketlenen geçmi¸s örneklere bakmaktadır. Bu örneklerin etiketleri üzerinde azami oyu alır ve o an eldeki örne˘ge uygulamaktadır. ˙Ilk altyordam ba¸sarısız olursa (veya söz konusu örnek akı¸staki ilk örne˘giyse), ikinci altyordam, yalnızca ses veya görsel meta bilgilerine bakarak etiketi çıkarmaya çalı¸sır. Altyordam, bu iki bilgi vektöründen hangisinin do˘gru (veya daha az gürültülü) olma olasılı˘gının daha yüksek oldu˘guna karar vermeye çalı¸sır. Ardından, ses/görsel xxiv ili¸skilendirme (te¸shir a¸samasında olu¸sturulmu¸s), iki meta veri türü arasında do˘gru olma olasılı˘gı daha yüksek olan etiketi seçmektedir. Alt seviyedeki kiplerin ve ikinci (meta) kipin ileti¸sim ve yayın bilgilerinin aktarıldı˘gı ileti¸sim mekanizması, Robot ˙I¸sletim Sistemi (Robot Operating System (ROS))'nin konu/mesaj (topic/message) mimarisi ile gerçekle¸stirilmektedir. Ses ve görsel veri algılanırken elde edilen zaman bilgisi özniteli˘gi, tüm kipler arasında senkronizasyon sorunlarını önlemek ve sisteme beslenen tüm i¸sitsel-görsel bilgilerin birbiriyle uyumlu olmasını sa˘glamak için kullanılır. Sistem de˘gerlendirilmesi esas olarak iki kısıma ayrılmı¸stır. ˙Ilk kısımda, ses sınıflandırması amacıyla artımlı ö˘grenme süreci ele alınmaktadır. ˙Ikinci kısımda ise i¸sitsel-görsel tümle¸stirme ve i¸sitsel-görsel nesne sınıflandırma süreçleri ele alınmaktadır. ˙Ilk olarak, artımlı ö˘grenme modellerinin de˘gerlendirilmesi için i¸sitsel verilerden elde edilen Mel Frekansı Kepstrum Katsayıları (Mel Frequency Cepstral Coefficients (MFCC)), delta MFCC, enerji filtre bankaları, izge grafikleri (spectrograms) ve renk parlaklı˘gı grafikleri (chromagrams) içeren bir dizi özniteliklerden olu¸san farklı kümeler kullanılmı¸stır. Bunlar ile ö˘grenme performansı do˘grulu˘gu ve gereken e˘gitim süresi üzerinden kar¸sıla¸stırmalar yapılmı¸stır. Tek ba¸sına MFCC öznitelikleri, en kısa sürede e˘gitildiklerinden ve bunların do˘grulu˘gunun daha karma¸sık bir öznitelik kümesiyle kar¸sıla¸stırılabilir olmasından dolayı verimli oldukları gözlemlenmi¸stir. Ardından, deste˘ge dayalı artımlı ö˘grenme modellerinin davranı¸sları de˘gerlendirilmi ¸stir. Sonuçlar ile Destek Vektör Makineleri (Support Vector Machines) ve Rastgele Ormanlar (Random Forests) gibi sınıflandırıcıların ço˘gunun, Çok Katmanlı Algılayıcı (Multilayer Perceptron) gibi sıradan bir artımlı ö˘grenme veya artımlı olmayan ö˘grenme modellerine göre sınıflandırma do˘gruluk oranının yükseldi˘gi gösterilmi¸stir. Hem Payla¸sımlı Bilgi Tabanı ya¸sam boyu modeli hem de Ayrı Bilgi Tabanı ya¸sam boyu modeli ile iyi performans gözlemlenmi¸s ve iyi sonuçlar elde edilmi¸stir. Ayrı Bilgi Tabanı yineleme tabanlı model ile ancak En Yakın k Kom¸su (k-Nearest Neighbour) algoritması dı¸sında iyi bir performans elde edilememi¸stir. ˙I ¸sitsel-görsel tümle¸stirme a¸samasında ö˘grenme a¸samaları, alt seviyedeki i¸sitsel ve görsel kiplerden elde edilen birle¸stirilmi¸s i¸sitsel ve görsel öznitelikleri (etiket olasılı˘gı olarak) içeren özel bir test kümesi ile de˘gerlendirilmi¸stir. Te¸shir a¸saması, bu küme ile %89'luk bir do˘gruluk elde etmi¸stir. Ancak, geni¸sleme a¸saması ise meta sınıflandırıcısı gelen tüm sınıfları, "önemsenmemesi gereken" sınıfı geni¸sledikten sonra bu sınıf olarak sınıflandırmı¸s olması sebebiyle iyi bir performans elde edememi¸s ve ba¸sarım oranı %7'ye dü¸smü¸stür. Bu sebeple, yeniden de˘gerlendirme a¸saması, te¸shir a¸samasına do˘grudan monte edilmi¸stir. Burada tanımlı olan altyordamlar ve davranı¸slar, test kümesindeki yanlı¸s etiket tahminlerini düzeltmeyi ba¸sarmı¸s ve son ba¸sarım oranını %100'e yükseltilmi¸stir.