Prioritization and parallel execution of test cases for certification testing

Tüketici elektroniği alanında geliştirilen sistemler düzenli olarak sertifikasyon testinetabidir. Örneğin her Smart TV ürünü Netflix, YouTube ve Amazon gibi uygulama satıcıları tarafından düzenlenen bir sertifika sürecinden geçmelidir. Her bir uygulama ile ilgili sertifikasyon sürecinin bir parçası olarak kullanılacak ayrı bir test grubu vardır. Her test grubu yüzlerce test senaryosu içermektedir. Bu test senaryolarının çoğunun manuel olarak yürütülmesi gerekmektedir. Bu nedenle sertifika test gruplarının koşumunun tamamlanması birkaç gün sürebilmektedir. Ayrıca test senaryolarının yürütme süreleri ve test senaryolarının bulduğu hataların önem dereceleri arasında da büyük farklılıklar vardır. Bu nedenle test senaryolarının önceliklendirilmesi ve paralel olarak yürütülmesi, test yürütme sürecinin süresini ve etkinliğini önemli ölçüde etkileyebilmektedir. Tespit edilen hataların yüzdesinin ortalaması hesaplanarak test etkinliği ölçülmektedir. Bu tezde, paralel test yürütmeyi,değişen test yürütme sürelerini ve hata önem dereceleri sıralı ölçekte hesaba katacak şekilde mevcut metriklerin varyantları sunulmuştur. Ayrıca birden çok test istasyonunda paralel olarak yürütülebilecek bu tür test senaryolarının sıralanması için bir yaklaşım önerilmiştir. Bir dizi mevcut test istasyonunda test yürütme planlarının paylaşımını eniyilemek için tam sayı doğrusal programlama kullanılmıştır. Bu paylaşımın amacı, genel test yürütme süresini en aza indirmektir. Belirli bir test istasyonuna paylaştırılan test senaryolarının yürütme sürelerinin artan sırasına göre koşumu tamamlanmıştır. Smart TV yazılımı için sertifika testi bağlamında endüstriyel bir vaka çalışması gerçekleştirilmiştir. Sertifika test grupları, 3 TV yazılım projesinde kullanılan 3 farklı Smart TV uygulaması üzerinde gerçek deneysel nesneler olarak kullanılmıştır. Her proje için iki test döngüsü olarak ölçümlerimiz tekrarlanmıştır ve 3 test grubunun her biri için 6 test koşumu gerçekleştirilmiştir. Sonuç olarak değerlendirmemiz 18 test oturumu içermektedir. Bu oturumların her biri, mevcut test istasyonlarının sayısının 1, 3 ve 5 olduğu 3 senaryo ile değerlendirilmiştir. Yaklaşımımızın etkinliği temel olarak açgözlü yaklaşımla karşılaştırılmıştır. Yalnızca 3 test kurulumu mevcut olduğunda bile genel test yürütme süresinin %16'ya kadar azaltılabileceği gözlemlenmiştir. Test senaryolarının test istasyonlarına paylaşımının eniyilemesi sonucunda test etkinliği de iyileşmiştir.