Performans değerlendirmede puanlayıcılar arası uyum ile göz izleme sonuçları arasındaki ilişkinin incelenmesi

Bu araştırmada performans değerlendirme sürecinde puanlayıcılar arası uyum, uyum katsayıları, genellenebilirlik ve çok yüzeyli Rasch ile araştırılmıştır. Bu amaç doğrultusunda öğrencilerin sunum yapma performansını değerlendirmek üzere aynı puanlayıcıların sınıf içi performans esnasında verdikleri puanlar ve göz izleme tekniği ile ekran üzerinden verdikleri puanlar arasındaki ilişkiler incelenmiştir. Sınıf içi değerlendirme ve göz izleme tekniği ile ekran üzerinden yapılan değerlendirme sonucu elde edilen puanlar, klasik test kuramında yer alan puanlayıcılar arası uyum istatistikleri, genellenebilirlik kuramı ve çok yüzeyli Rasch modeline göre analiz edilmiştir. Araştırma sonucunda, idealizm ve realizm sunumları için puanlayıcılar arası uyumun iyi olduğu bulunmuştur. Genellenebilirlik analizi sonucuna göre en büyük varyans kaynağı sunum olarak belirtilmiştir. Çok yüzeyli Rasch analizi sonucu puanlamaların birbiriyle tutarlı olduğu, puanlamaların sunu ve maddelere göre anlamlı bir farklılık gösterdiği ancak uygulamaya göre anlamlı bir farklılık göstermediği sonucuna ulaşılmıştır. Göz izleme metriklerinden ortalama sabitlenme süreleri çok yüzeyli Rasch analiziyle incelenmiş ve puanlayıcıların ortalama sabitlenme sürelerine göre anlamlı bir farklılık göstermediği bulunmuştur Sonuç olarak, genellenebilirlik ve çok yüzeyli Rasch sonuçlarının birbiriyle uyumlu olduğu gözlemlenmiştir. Bu doğrultuda göz izleme metrislerinin, puanlayıcılar arası uyumu araştırmak için alternatif bir yöntem olarak kullanılabileceği söylenebilir. Anahtar sözcükler: göz izleme tekniği, puanlayıcılar arası uyum, genellenebilirlik kuramı, çok yüzeyli rasch modeli, puanlayıcılar arası güvenirlik, performans değerlendirme