Automated refinement of models for model-based testing

Model-bazlı test (MBT), test edilen sistemin modelleri ile otomatik olarak test senaryoları oluşturulmasını sağlamaktadır. MBT, her biri kendine has zorlukları beraberinde getiren çeşitli uygulama alanlarında kullanılmaktadır. Biz bu tezde, tüketici elektroniği alanındaki zorlukları adreslemek için metot ve araçlar öneriyoruz. Özellikle vaka çalışması olarak Dijital TV sistemlerinin testine odaklanmaktayız. Bu bağlamda 3 problem belirledik; i) sistem modelleri gereksinim analizleri baz alınarak oluşturulmuştur ve bu gereksinimler genellikle tam ve açık değildir. Bu sebeple, bu modellerde bazı sistem davranışlarının eksik olma ihtimali vardır. Sonuç olarak da oluşturulan test adımları ile kiritik hatalar bulunamayabilir. ii) tüketici elektroniği alanında kaynaklar çok kısıtlıdır. Test modellerinin kapsamını ve böylece oluşturulan test adımlarının sayısını sürekli arttırmak elverişli değildir. iii) tüketici elektroniği alanındaki bir ürün ailesi genellikle yüzlerce sistem içerir. Bu sistemlerin barındırdıkları özellikler birbirlerinden farklıdır. Bu sebeple, MBT süreci ve test modelleri, çeşitliliğin sistematik olarak yönetimini ve test modellerinin tekrar kullanılabilirliğini sağlayacak şekilde esnek olmalıdır. İlk problemin üstesinden gelebilmek için, test modellerini, toplanan çalıştırma izlerini baz alarak, otomatik olarak güncelleyecek bir yaklaşım ve araç öneriyoruz. Bu izler araştırmaya yönetilik test aktiviteleri sırasında toplanmaktadır. Yapılan 3 vaka çalışması ile, güncellenen modeller üzerinden üretilen test adımları ile birçok kritik hata bulunmuştur. Bu hatalar daha önce araştırmaya yönetilik test aktiviteleri sırasında bulunamamıştı. İkinci hataya çözüm olarak, test modellerini, hataya neden olabilecek yollara odaklanarak test adımı üretilebilecek şekilde, 3 adımda iteratif olarak güncelliyoruz. Test modelleri olarak, durumlar arası geçişlere olasılık bilgilerini işleyebileceğimiz Markov Zincirlerini kullanıyoruz. İlk olarak, modeldeki bu olasılık bilgilerini kullanıcı profiline göre güncelliyoruz. İkinci olarak, statik kod analizlerinden çıkartılan hata ihtimaline göre modeldeki olasılık bilgilerini güncelliyoruz. Üçüncü güncelleme işlemimizi ise dinamik analizlerinden çıkartılan hata ihtimallerine göre gerçekleştiriyoruz. Her bir güncelleme iterasyonu sonrası, güncellenen olasılık bilgilerine göre, test adımlarını tekrar üretip çalıştırıyoruz. Vaka çalışmalarında, bu yaklaşım ile her bir iterasyon sonrası yeni hatalar bulunmuştur. Çeşitlilik problemini adreslemek için ise, test edilen sistemdeki varyasyonları açıkça özellik modelleri ile kayıt altına alıyoruz. Test modelindeki durumların tümünü, özellik modellerinde opsiyonel ve alternatif olarak işaretliyoruz. Üretilen test adımlarının bu özelliklere odaklanabilmesi için, test modellerindeki geçiş olasılıklarını seçilen özelliklere göre güncelliyoruz. Bu yaklaşım sayesinde birçok sistem için test modellerinin tekrar kullanılabilmesi sağlanmıştır.