Detection of recognition errors from eye gaze behavior in sketch recognition interfaces

Kalem temelli donanımlar yaygınlaştıkça, çizim temelli akıllı arayüzler de daha popüler hale gelmektedir. Bu arayüzler çizim tanıma teknolojisinden faydalanarak doğal ve verimli insan-bilgisayar etkileşimi sağlamaktadır. Fakat bütün çizim tanıma sistemleri aynı zamanda çizim tanıma hataları da yapmaktadır ve bu hataları kullanıcılar düzeltmek durumundadırlar. Bu durum kullanıcının üzerine bir düzeltme yükü bindirmektedir. Bir çizim yanlış tanındığı zaman, kullanıcı hatayı düzeltme niyetini açıkça ya da üstü kapalı bir şekilde belli etmektedir. Ardından ya çizimini yeniden yaparak ya da bir sahneye yerleştirmek istediği sembolü bir sembol listesinden seçerek hatayı düzeltmektedir. Bu çalışmada çizim tanıma hatalarını düzeltmenin yükünü hafifletmek için, kullanıcının çizim tanıma hatasını düzeltme niyetini bakış verisinden faydalanarak belirleyebilen bir sistem sunuyoruz. Kullanıcıların çizimlerin yanlış tanınması halinde gösterdikleri tepkilerin karakteristik göz hareketlerine yol açtığını gösteriyoruz. Ayrıca bu göz hareketlerinin kullanıcılar henüz düzeltmeye başlamadan önce onların düzeltme niyetlerini okumak için kullanabileceğini gösteriyoruz. Bu çalışma 3 temel katkı sağlamaktadır. İlk olarak iki farklı çizim temelli etkileşim senaryosunda göz hareketlerinin kaydedildiği ve özenle kurgulanmış bir "Wizard of Oz" (Oz büyücüsü) deney düzeneği sunuyoruz. Daha sonra kullanıcıların göz hareketlerinin nitel karakteristiklerini ifade eden bir öznitelik seti sunuyoruz. Son olarak kullanıcıların çizim tanıma hatalarını düzeltme niyetlerini %86 doğrulukla tespit edebilen bir makine öğrenmesi taslağı sunuyoruz. Bulgularımızı kalem temelli etkileşim sırasında oluşan doğal göz hareketlerinden ne kadar anlam çıkarılabileceğini gösteren ayrıntılı deneyler ve istatistik analizler ile destekliyoruz.