Automated generation of mobile UI layout files via a custom GUI element detection model trained with YOLOv5

Mobil uygulama geliştirmede, tutarlı bir kullanıcı arabirimi (UI) oluşturmak maliyetli ve zaman alan bir süreç olabilir. Bu, özellikle bir kuruluşun iOS ve Android gibi her bir mobil platform için ayrı bir ekibi olması durumunda geçerlidir. Bu bağlamda, UI tasarım görevlerinin meşakkatli kısımlarından biri, bir grafik kullanıcı arayüzü (GUI) oluşturmaktır. Buna göre, bu çalışma YOLOv5'i belirli bir UI görüntüsündeki GUI öğelerini tanıyan özel bir nesne algılama modeli oluşturmak için kullanmayı amaçlamaktadır. Yeni eğitilen YOLOv5 GUI öğe algılama modelini karşılaştırmak için, literatürdeki mevcut çalışmalar ve bunların veri kümeleri dikkate alınır ve karşılaştırma amacıyla kullanılır. Bu nedenle, bu çalışma test için VINS veri setinin 450 UI örneğini, doğrulama için benzer bir miktarı ve model eğitimi için geri kalanını kullanır. Daha sonra bu çalışmanın bulguları, modelini eğitmek, doğrulamak ve test etmek için tek atış dedektörü (SSD) algoritmasını ve VINS veri setini kullanan başka bir çalışma ile karşılaştırıldı ve önerilen algoritmanın SSD'nin ortalama ortalama kesinliğini (mAP) %15,69 oranında geride bıraktığını gösterdi. Ayrıca, bu çalışma belirli bir mobil kullanıcı arayüzü tasarımının iOS ve Android kullanıcı arayüzü düzen dosyalarını oluşturmak için bu özel GUI öğe algılama modelini kullanan bir çerçeve önermektedir. Bu şekilde, bu çerçeve, algılanan GUI öğelerinin özniteliklerini keşfetmek ve çıkarmak için makine öğrenimi algoritmalarını kullanır. Ardından, çerçeve, iOS ve Android platformları için kullanıcı arabirimi düzen dosyaları oluşturmak üzere bu öznitelikleri kullanır. Bu çerçeveyi değerlendirmek için, VINS veri setinden 5 test görseli rastgele seçildi ve çerçeveye girdi olarak verildi. Çerçeve, her test görüntüsü için iOS ve Android UI düzen dosyaları oluşturdu. Daha sonra, kullanıcı arabirimi düzen dosyalarının önizlemesi ekran görüntüleri olarak yakalanmış ve görüntü benzerliği metrikleri kullanılarak giriş testi görüntüsüyle karşılaştırılmıştır. Test sonuçları, önerilen çerçevenin oluşturulan iOS ve Android UI tasarımlarında sırasıyla 0.731 ve 0.703 ortalama yapısal benzerlik (SSIM) puanı elde ettiğini ortaya koydu. Ayrıca çerçeve, verilen test görüntülerinde ortalama olarak iOS için %83.41 ve Android platformları için %81.29 piksel tabanlı benzerliğe sahip UI tasarımları sağlamıştır.