A revised approach to cryptocurrency portfolio optimization using advanced Q-learning and policy iteration frameworks

Yatırımcılar arasında volatilite ve merkezsizleşme gibi endişe yaratan tüm faktörlerine rağmen, kripto para birimlerinin popülaritesi istikrarlı bir şekilde artmaya devam etmektedir. Kripto para piyasası, geçmişte yaşadığı yüksek kar seviyeleri sebebiyle, birçok yatırımcı için hala cazibesini korumaktadır. Günlük olarak birçok alternatif kripto para biriminin piyasaya girmesiyle, portföy yönetimi çok daha zorlu hale gelmektedir. Literatürde, kripto portföylerini verimli bir şekilde yönetmek için önerilen bir çok çalışma görmekteyiz. Bu çalışma, Policy Iteration ve Q-learning algoritmalarından türetilen yeni model önerileri sunmaktadır. Q-learning altında Deep Q-Network (DQN), Double Deep Q-Network (DDQN) ve Double Dueling Q-Network (DDDQN) olmak üzere kırılımlı olarak üç alt model tanıtılmaktadır. Bu modellerin hepsi, 6 aylık eğitim dönemleri kullanılarak eğitilmiştir ve 10 farklı eğitim ve test dönemleri kullanılarak karşılaştırmalar yapılmıştır. Ayrıca, hem önerilen politika iterasyonu hem de önerilen Q-learning modellerini değerlendirebilmek için iki algoritma için de basit birer referans modelleri yaratılmış ve önerilen model değerlendirmeleri bu referans modelleri kullanılarak yapılmıştır.Sonuçlara göre önerilen Policy Iteration modeli Policy Iteration modelleri arasında %3 ortalama ROI değeri ile en iyi modeldir. Benzer şekilde, önerilen Q-learning modelleri arasında DQN modeli, hem referans modeli hem de diğer Q-learning modellerini %2 ortalama ROI değeri ile geride bırakmaktadır. Tüm modelleri dikkate aldığımızda, önerilen Politika İterasyonu modelinin en yüksek ortalama ROI değerine sahip olduğunu, önerilen DQN ve DDDQN modellerinin ise ROI standart sapması açısından en düşük volatiliteyi sahip olduğunu görmekteyiz.