Prototype fidelity and user expertise in usability testing: A study with portable navigation device

Bir ürünün, arayüzün ya da servisin kullanılabilirliği tasarımın başarısı açısından önemli bir konudur. Bu bağlamda kullanılabilirlik literatüründe çeşitli değerlendirme metotları sunulmuştur. Kullanılabilirlik testleri tasarım süreçlerinin vazgeçilmez bir parçası olup diğer yöntemlerle karşılaştırıldığında en güvenilir değerlendirme metodu olarak karşımıza çıkmaktadır. Çünkü kullanıcı testleri yüksek oranda yüzeysel gerçekliğe sahiptir. Yani, her türlü fiziki (tüketici ürünleri; sandalyeden arabaya, lambadan bilgisayara… vs. kadar) ve dijital (web sitelerinden aplikasyonlara ve şirket yazılımlarına… vs. kadar) ürünün tasarımının herhangi bir aşamasında gerçek deneyimleri otaya koyan pratik bir yöntemdir. Kullanılabilirlik testlerinin çıktıları her ne kadar üzerinde çalışılan ürüne ve çalışmanın içeriğine göre değişse de asıl amaç kullanılabilirlik problemlerini ortaya çıkarmaktır. Kullanılabilirlik testlerinin çıktıları üzerinde etki eden birçok faktör bulunmaktadır. Sauer ve diğ. (2010) tarafından tasarlanan Dört Faktör Bağlamsal Uygunluk Modeline (the Four Factor Framework of Contextual Fidelity Model) göre, bu faktörler; sistem prototipi, kullanıcı özellikleri, test ortamı ve test senaryoları olarak gruplanmıştır. Son yıllarda, bazı araştırmacılar bütün bu faktörlerin etkilerinin ayrı ayrı incelendiği çalışmalar yapmışlardır. Prototip uygunluğu ve kullanıcı uzmanlığının kullanılabilirlik testlerine birlikte etkisi sadece fiziki bir ürün (yer temizleme makinesi) ile yapılan bir çalışmada incelenmiştir (Sauer ve diğ., 2010). İlgili çalışmanın sonuçları bu iki faktörün etkileri hakkında bazı anlayışlar sağlasa da, çalışmanın sonuçları bu iki faktörün özellikle dijital ara yüzler üzerindeki olası etkilerini tahmin etmek için yeterli değildir. Bu çalışmanın temel amacı prototip uygunluğunun ve kullanıcı uzmanlığının kullanıcı testleri çıktıları üzerindeki etkilerini ve birbirleri arasındaki ilişkiyi bir dijital ürün olan taşınabilir araç navigasyon cihazı üzerinden inceleyerek literatüre bu konuda katkı sağlamaktır. Bu çıktılar sayesinde kullanıcı testi hazırlayanlar için temel bir bilgi kılavuzu oluşturulması hedeflenmiştir. Kullanılabilirlik testleri genel olarak tasarım süreçlerinde, kullanıcıların geribildirimlerinden beslenerek ürünlerin problemli kısımlarının ortaya çıkarılması, değerlendirilmesi ve geliştirilmesinde aktif rol oynamaktadır. Bunun yanı sıra daha çok tasarım sürecinin tamamlanmasından sonra yapılan kullanılabilirlik değerlendirmelerinde karşımıza çıkan ürün performans değerlendirmesi de kullanılabilirlik testleri aracılığı ile yapılabilmektedir. Kullanılabilirlik problemlerinin tespiti için çalışmanın içeriğine ve amacına bağlı olarak çeşitli yöntemler kullanılmaktadır. Bu çalışmada, kullanıcılardan ürün kullanımıyla ilgili bilgi toplamak için hem uzman gözlemleri hem de kullanıcı yorumları değerlendirmeye alınmıştır. Özellikle kullanıcı yorumları için geçmişe yönelik yüksek sesli düşünme (retrospective think aloud) yöntemi kullanılmıştır. Bu yöntemde kullanıcılar ile her işlem sonrasında işlem sırasında karşılaşılan problemler detaylı olarak değerlendirilmiştir. Bunun yanı sıra performans ölçümü yöntemi de kullanılmıştır. Bu çalışmada kullanıcılara taşınabilir navigasyon cihazı ile daha çok sürüş öncesi süreçte yaptıkları 6 işlem verilmiştir. Bu işlemler, kayıtlı adrese rota hazırlama, ev adresini güncelleme; favori adres ekleme; mevcut rotaya ara adres ekleme; kısa yol menüsü oluşturma; harita ekranı bilgi okuma-güncelleme; hız limiti sesli uyarı ayarı gibi görevleri içermektedir. Toplamda 20 kişi her birinde 5 kişinin bulunduğu 4 gruba ayrılmıştır; 5 deneyimsiz ve 5 deneyimli kullanıcı düşük uygunluklu prototip (kağıt) ile; diğer 5 deneyimsiz ve 5 deneyimli kullanıcı ise yüksek uygunluklu prototip (ürünün kendisi) ile çalışmıştır. Her kullanıcı grubu aynı işlemleri gerçekleştirmiş olup yapılan testler ortalama otuz dakika sürmüştür ve daha sonra değerlendirilmek üzere kaydedilmiştir. Kullanılabilirlik problemleri, kullanıcı testlerinin en önemli çıktılarıdır. Bu çalışmada, bulunan kullanılabilirlik problemleri miktar, önem dereceleri ve tip çeşitliliklerine göre analiz edilmiştir. Problemlerin önem dereceleri, düşük, orta ve yüksek olmak üzere üç seviyede değerlendirilmiştir. Problem tip çeşitlilikleri için ise öncelikle bir kategori listesi hazırlanmıştır. Hazırlanan bu liste kullanılabilirlik testleri sonrasındaki problemlerin içerikleri temel alınarak tekrar revize edilmiştir ve problemler ilgili kategorilere ayrılmıştır. Bu problem kategorileri; "içerik, sayfa yapısı, kullanım akışı, menü kategorizasyonu, interaktif elemanlar, sistem durumu- geribildirimler ve estetik-görseldir. Ek olarak, kullanıcı ve prototip grupları arasındaki performans verileri (başarı oranı ve işlemler için harcanan süre) değerlendirilmiştir. Bu analizlerden sonra hangi kullanıcı grubunun hangi prototip tipinde daha çok data sağlayarak aktif rol aldığını belirtmek mümkün olabilmiştir. Literatürde, incelenen örneklem sayısının, her grup için 5 kişi, istatistiki olarak anlamlı sonuçlar elde etmek için yetersiz olduğu belirtilmektedir. Ancak bu çalışmanın sonucunda, kullanıcı uzmanlığı ve prototip uygunluğunun kullanılabilirlik testi çıktılarına etkilerini gözlemleyebildiğimiz istatistiki olarak anlamlı sonuçlar da elde edilmiştir. Çalışmanın en önemli bulgularından birisi, deneyimsiz kullanıcıların deneyimlilere göre toplamda istatistiki olarak önemli ölçüde daha çok kullanılabilirlik problemi ortaya çıkarmış olmasıdır. Bu iki grup arasındaki fark düşük uygunluklu prototipte daha fazladır. Kullanıcı grupları ve prototip tipleri arasındaki farkları daha iyi analiz edebilmek için, ortaya çıkarılan problemler sebepleri de dikkate alınarak yapılan gruplamaya göre ayrı ayrı değerlendirilmiştir. Bu gruplamanın sonuçları göstermektedir ki; ortalamalara bakıldığında en fazla içerik ile ilgili problem ortaya çıkarılmıştır. Özellikle düşük uygunluklu prototiple çalışan kullanıcılar içerik ile ilgili önemli ölçüde daha fazla problem ortaya çıkarırken, ortalama sayılar göz önünde bulundurulduğunda kullanım akışı ve sayfa yapısı ile ilgili problemler, bu prototipte daha fazla bulunmuştur. Yüksek uygunluklu prototip ile çalışanlar ise estetik- görsel kategorisinde önemli ölçüde daha fazla problem ortaya çıkarmıştır. Ek olarak, menü kategorizasyonu, interaktif elemanlar, sistem durumu-geribildirim kategorilerinde de ortalama problem sayıları göz önünde bulundurulduğunda yüksek uygunluklu prototipte daha fazla problem bulunmuştur. Kullanıcı uzmanlığı değerlendirmeye alındığında, deneyimsiz kullanıcıların deneyimlilere göre menü kategorizasyonu, interaktif elemanlar ve estetik-görsel kategorilerinde önemli ölçüde daha fazla problem buldukları gözlemlenmiştir. Bunun yanı sıra, deneyimli kullanıcılar, kullanım akışları kategorisinde deneyimsizlere göre önemli ölçüde daha fazla problem bulmuştur. Performans değerlendirme sonuçları ise deneyimli kullanıcıların deneyimsizlere göre işlemleri yaparken harcadıkları süre özelinde daha iyi performans sergilediğini göstermiştir. Bu sonuca ek olarak, ortalama değerler göz önünde bulundurulduğunda; deneyimli kullanıcıların genel olarak işlemleri tamamlarken daha başarılı oldukları gözlenirken, kullanıcı uzmanlığı ve prototip uygunluğunun kullanıcıların işlemleri tamamlama süreleri üzerinde daha az etkisi olduğu ortaya çıkmıştır. Son olarak, prototip uygunluğu ve kullanıcı uzmanlığı arasındaki etkileşim ise önemli ölçüde estetik- görsel kategorisindeki problemlerde gözlemlenmiştir. Bütün bu sonuçlar göstermektedir ki; temel amaç kullanılabilirlik problemlerini bulmak ise düşük uygunluklu prototipler yüksek uygunluklular kadar ve deneyimsiz kullanıcılar ise deneyimliler kadar efektiftir. Eğer temel amaç bir arayüzün yapısını değerlendirmek ise; çalışmanın kapsamı ve içeriği de göz önünde bulundurulduğunda kullanıcıların uzmanlık seviyeleri ve prototip uygunluk derecesi gözetilmeksizin kullanıcı ve prototip seçimi yapılabilir. Ek olarak performans ölçümünün temel amaç olarak belirlendiği çalışmalarda ise deneyimli kullanıcılar ve yüksek uygunluklu prototiplerle çalışmak daha uygundur.