Audiovisual interactions in time and spatial grouping principles of vision

Çoklu duyusal entegrasyon, görsel ya da işitsel uyaranın eşzamanlı bir diğer (işitsel /görsel) uyarandan baskın olup; bu uyaranın algılanış biçimini değiştirdiği modaliteler arası zıtlık yaratılarak çalışılmaktadır. Örneğin, görsel uyaran işitsel uyaranın uzamsal düzlemdeki yerini (uzamsal vantrilokluk) [1, 2]; işitsel uyaran ise görsel uyaranın meydana gelme zamanını (zamansal vantrilokluk) etkileyebilir [3, 4, 5]. Bu etkileşimler, görsel sistemin uzamsal düzlemde işitsel sistemin ise zamansal düzlemde daha duyarlı olmasından kaynaklanmaktadır [6]. Zamansal vantrilokluğun aynı zamanda görsel uyaranın hareket algısını da değiştirdiği görülmüştür. Bu çalışmada, işitsel uyaranın zamanlamasının görsel uyaranın hızı üzerindeki etkisine dayanarak, zamansal düzlemdeki görsel-işitsel etkileşimin (zamansal vantrilokluk) görsel sistemin uzamsal gruplama prensiplerinden nasıl etkilendiğini araştırdık. Yaptığımız deneylerde, zahiri hareketi (görsel uyaran) oluşturan barlar arasındaki yakınlık, ortak hareket ve barların bağlanma (uniform connectedness) parametrelerini değiştirdik. Katılımcılar, farklı işitsel zamanlamalar ile verilen zahiri hareketlerin hızlarını karşılaştırdılar. Deney sonuçlarına göre, barların bağlanması (uniform connectedness) işitsel uyaranın zahiri hareket hızı üzerindeki etkisini önemli ölçüde arttırmaktadır. Yatay gri bir bar, arka arkaya verilen birden fazla barı birleştirip grupladığında; işitsel uyaranın görsel sistem üzerindeki etkisinin en fazla olduğu görülmüştür. Dikey olarak yerleştirilmiş ve yatay hareket eden barlar dikey gri bir bar ile gruplandığında, işitsel uyaranın görsel uyaran üzerindeki etkisi birleştiren gri barın olmadığı ya da birleştiren yatay gri barın olduğu görsel gruplama olmayan durumlara göre daha fazla olduğu görülmüştür. Tek zahiri hareketin barlaryatay gri bir barla birleştirildiğinde, işitsel uyaranın etkisinin daha az olduğu görülmüştür. Bununla beraber, EEG aktiviteleri üzerinde yapılan analizler davranışsal deneylerdeki sonuçlarla uyumlu bir eğilim ortaya çıkarmıştır. Görsel-işitsel entegrasyon ağı hem erken (P1) hem de geç (N1 ve P2) zaman aralıklarında gözlenmiştir. Yatay barla gruplanan zahiri hareketlerin dikey barla gruplananlara göre sesten daha az etkilenmesi temporal ve frontal kanallarda 50-100 ms aralığında, temporal, frontal, santral ve oksipital-parietal kanallarda ise 200-300 ms aralığında görülmüştür. Tek zahiri hareket durumlarında ise yatay gri barla gruplandığında sesten daha az etkilenme durumu santral kanallarda 50-100 ms ve 200-300 ms aralıklarında ve oksipital-parietal kanallarda sadece 200-300 ms zaman aralığında gözlenmiştir. Bununla birlikte frontal, temporal, santral ve oksipital-parietal kanallardaki 50-100 ms, 200-300 ms ve 300-400 ms zaman aralıklarında hızlı ve yavaş seslerin bağımsız etkilerinin, dikey barla bağlanmış zahiri hareketlerde yatay barla bağlanmış zahiri hareketlere göre daha fazla olduğu görülmüştür. Ayrıca hızlı ve yavaş seslerin bağımsız etkileri arasındaki fark yatay barla bağlanmış tek zahiri hareket gösterildiğinde barla bağlanmamış tek zahiri hareket gösterildiği duruma göre santral kanallarda hem erken hem geç zaman aralıklarında, oksipital-parietal ve temporal kanallarda ise sadece geç zaman aralıklarında daha az bulunmuştur. Farklı ses koşullarının etkisi yatay barla bağlanmış zahiri harekete/hareketlere göre dikey barla bağlanmış ya da bağlanmamış zahiri harekette/hareketlerde yakın bulunmuştur. Sonuç olarak elimizdeki verilere göre, görsel ve işitsel modaliteler arası gruplama yapılmadan önce görsel modalite içinde bir gruplama yapılırsa, zamansal düzlemde işitsel uyaran görsel uyaranın hız algısını değiştirebilir.