Tek elektrotlu cihaz ile EEG sinyallerinden gerçek zamanlı duygu tanıma

Bilgisayarın ilk icat edildiği günden beri insanlar ile bilgisayarlar arasında bir etkileşim söz konusudur. Bu etkileşim yazılım veya donanımlar aracılığıyla icra edilebilmektedir. İnsanlar ile bilgisayarlar arasındaki etkileşimi sağlayan arayüzler Beyin-Bilgisayar Arayüzleri (BBA) olarak tanımlanmaktadır. BBA uygulamalarında hem pratik kullanımı hem de zamanla daha portatif bir yapıya dönüşmesi nedeniyle ElektroEnsefaloGrafi (EEG) sinyalleri tercih edilmektedir. EEG teknolojisi ile beynin elektriksel aktivitesi ölçülmektedir. Son yıllarda geliştirilen birçok uygulama bu aktiviteden yararlanmaktadır. Son yıllarda araştırmacılar, tıbbi uygulamalardaki yaşam kalitesini artırmak için ElektroEnsefaloGrafi (EEG) tabanlı Beyin-Bilgisayar Arayüzleri (BBA) geliştirmeye odaklandılar. Bu bağlamda fiziksel engelli insanların BBA uygulamaları aracılığıyla temel ihtiyaçlarını karşılayabilecekleri ürünler ortaya koydular. Ayrıca pazarlama alanında üretilen içeriklerin kullanıcılar üzerindeki etkisi yine BBA uygulamaları ile tespit edilmeye çalışıldı. Son zamanlarda ise meditasyon uygulamaları ve nöroterapi için bir vazgeçilmez ürün haline geldi. Birçok oyun ve eğlence uygulaması BBA aracılığıyla daha da zenginleştirildi. Hem tıbbi hem de pazarlama, oyun oynama ve eğlence gibi tıbbi olmayan uygulamalar, kullanıcının çoklu ortam kaynaklı algı ve duygusal deneyimini yorumlama yeteneğini gerektirir. Bir bireye ait hem içsel hem de çevresel faktörlerin kişiye özgü olarak yarattığı değişimler duygu olarak adlandırılır. BBA uygulamalarının kişiye özgü ve etkin hale getirilebilmesi için duygusal durumun tespiti önemli bir adımdır. Bu nedenle duygusal durumun doğru tespit edilmesi için çalışmalar yapılmasına ihtiyaç duyulmaktadır. Literatürde EEG sinyalleri ile gerçek zamanlı duygu tanıma alanında yapılmış çalışma yok denilecek kadar azdır. Bu çalışma ile bu eksikliğin kapatılması hedeflenmektedir. Ayrıca nöroteknolojinin geleceğin teknolojisi olacağını öngörmek mümkün. İnsanların düşüncelerini bilgisayarlara yükleyebileceği günlerin hayali kurulan günümüzde bu çalışmaların insanların bilişsel kapasitesini arttırılabilecek uygulamalara ön ayaklık edeceği su götürmez bir gerçektir. Son yıllarda EEG teknolojisindeki gelişmeler ile birlikte EEG cihazları daha uygun maliyetler ile elde edilebilmektedir. Ayrıca her geçen gün daha az kanallı EEG cihazları kullanılarak daha karmaşık iler yapılmaya çalışılmaktadır. Duygu tanıma için tek elektrotlu bir cihaz kullanan çalışma sayıca azdır, çünkü tek kanallı EEG cihazları yakın zamanda piyasaya sürülmüştür. Tek elektrotlu cihazlar ekonomiktir ve kullanımı kolaydır. Önümüzdeki yıllarda daha yaygın bir şekilde literatürde yer edineceği öngörülmektedir. Bu tezde, gerçek zamanlı olarak kullanıcıdan tek kanallı ticari bir BBA cihazıyla elde edilen EEG verileri kullanılarak kullanıcıya ait anlık duygu durumu tespiti yapan bir sistem tasarlanmıştır. Bu sistem tasarlanırken şu zorlu problemlerin üstesinden gelinmiştir: EEG sinyallerinin toplanmasını, en uygun özniteliklerin seçilmesini ve bu öznitelikleri kullanan en uygun tespit modelinin oluşturulması. EEG sinyallerini toplamak için bir yazılım yazılmıştır. Bu yazılım, gerçek zamanlı olarak gelen verileri raporlayabilmektedir. Bu yazılım yazıldıktan sonra raporlanan verilere bakarak yazılımın doğru çalışıp çalışmadığı test edilmiştir. Doğru özniteliklerin seçimi için öncelikle duyguları doğru şekilde uyaracak görsel ve işitsel içerik oluşturulmuştur. Bu nedenle hem süre olarak kısa olacak hem de olabildiğince etkili olacak görsel ve işitsel ögeler seçilmiştir. Bulunan içeriklerin yeterliliği birkaç ön değerlendirme testi sonucunda belirlenmiştir. İçerik seçimi tamamlandıktan sonra özniteliklerin seçimi için EEG verilerinin içerikteki duygusal ögelerle korelasyonunu bulmak amacıyla literatürde yaygın kullanılan karar ağaçları ve rasgele orman algoritmaları kullanılmıştır. Rasgele orman algoritması kullanarak özniteliklerin önem sırası belirlenmiştir. Özniteliklerin önem sırası gözetilerek hangi özniteliklerin nihai modelde olması gerektiğine karar verilmiştir. En uygun modelin oluşturulması için derin öğrenme algoritması ve farklı parametreler için grid arama özelliği kullanılarak en uygun parametreler belirlenmiştir. Belirlenen modelin uygunluğu için veriler eğitim, doğrulama ve test verisi olarak gruplara ayrılmış ve başarı oranı ölçülmüştür. Ayrıca oluşturulan modelin gerçek zamanlı olarak çalışacak kadar yanıt verme süresinin hızlı olduğu ortaya konmuştur. Üretilen model gerçek zamanlı olarak test edilmiş ve yanıt süresi ölçülmüştür. Gerekli zaman kısıtları altında doğru sonuçlar üretebildiği ile test edilmiştir. Bu sayede oluşturulan sistemin başarısı ortaya konmuştur. Yapılan çalışma sonucu üretilen modelin hem gerçek zamanlı olan hem de gerçek zamanlı olmayan sınıflandırma başarısı ölçülmüştür. Her iki durum için de beklentileri karşılayacak nitelikte bir başarı oranı elde edilmiştir. Ayrıca artımlı öğrenme yaklaşımı kullanılarak hem gözetimli öğrenme hem de gözetimsiz öğrenme için sistemin başarısı test edilmiştir. Sistemin başarısını etkileyen tüm parametreler irdelenmiştir. Oluşturulan model ve yöntem bu tip çalışmalar için bir öncü niteliğinde olacaktır. Yapılan deneylerin ve toplanan verilerin artması ile birlikte insan yaşamındaki sıradan olayların bile beyin sinyalleri ile ilişkisi ortaya çıkarılacaktır. Özetle, kullanıcılar farklı duygu durumlarını tetikleyecek film parçaları ve binoral vurulardan oluşan bir videoya izlerken kullanıcılardan gelen EEG verileri toplanmıştır. Sonra bu EEG verileri üzerinde ön işleme ve öznitelik seçimi işlemleri yapılmış ve derin öğrenme sinir ağları kullanılarak %87'nin üzerinde bir doğruluğa sahip bir duygu tanıma modeli oluşturulmuştur. Daha sonra ise bu model kullanılarak gerçek zamanlı olarak gelen EEG verilerini tutan belirli bir uzunluktaki kuyruk yapısı üzerinde anlık duygu durumu tespiti yapan bir sistem oluşturulmuştur. Sonuç olarak, EEG sinyallerini kullanarak gerçek zamanlı duygu tanıma işlemi gerçekleştiren bir model sunulmuştur. Çoklu ortam tarafından uyarılan duygular ile beyin dalgaları arasındaki ilişki ortaya konulmuştur. Yapay sinir ağlarını temel alan bir sınıflandırıcı kullanılarak komedi, korku ve hüzün duygularını barındıran çoklu ortam türleri ortalama %87'lik bir doğruluk ile sınıflandırılmıştır. Gelecekte kullanıcıların korku seviyesine bağlı olarak olayların gelişeceği gerçek zamanlı bir oyun yapmayı planlıyoruz. Bu oyunda kullanıcılar, çözmek zorunda olduğu gizemlerin yanısıra korkularını da yenmek zorunda oldukları uyarlanabilir bir hikaye ile karşılaşacaklar. Gelecekte bu tarz çalışmaların zenginleşip artmasıyla birlikte insanların hastalanmayacağı veya üzülmeyeceği daha mutlu yaşayacağı bir toplumun oluşabileceği ümit edilmektedir. Fakat bu çalışmaların ahlaki ve etik sınırların dışında kullanılmamasını sağlamak için de çalışmalar yapılması gerekmektedir. Devletin ideolojik aygıtları tarafından bu tarz çalışmaların kullanılması suretiyle distopik bir topluma dönüşme ihtimali de mevcuttur. Bu nedenle gelecekte bu tarz uygulamaların etik sınırlarda kalması için protokoller geliştirilmesi hedeflenmektedir.