Image to music: Cross-modal melody generation through image captioning

Son yıllarda yapay öğrenmedeki ilerlemeler, hesaplama açısından yaratıcı sistemlerde de görülmüştür. Makine tarafından üretilen eserlere olan ilgi, yaratıcı modellerin bu şekilde gelişmesi için bir yol açmıştır. Ancak daha önceki yöntemler çoğunlukla tek modlu bir yaklaşımı araştırmış ve modlar arası öğrenme nispeten keşfedilmemiş kalmıştır. Bu nedenle, modlar arası yaratıcı modeller için modaliteler arasındaki doğrudan eşleme tam olarak araştırılmamıştır. Bu çalışma, görüntülerin özelliklerini doğrudan haritalandırarak, görüntüler aracılığıyla sembolik müzik üretmek için yeni bir metodoloji önermektedir. Önerilen yöntem iki alanın özelliklerini eşleştirmek için görüntü altyazısı yaklaşımını kullandığından, bir evrişimsel sinir ağları kodlayıcı ve derin yığınlı uzun-kısa süreli bellek kod çözücü temel modellerdir. Oluşturulan müzik, özel bir tür sınıflandırma modeli ve BLEU puanları hesaplamaları kullanılarak nicel olarak değerlendirilmiştir. Niteliksel değerlendirme, insan değerlendiricilerle bir melodi dinleme testini içerir. Sonuçlar, önerilen yöntemin müzik üretimi için iyi çalıştığını göstermektedir.