Deep reinforcement learning approach for trading automation in the stock market

Deep Reinforcement Learning (DRL) algoritmaları, daha önceki zorlu sorunlara ölçeklenebilir.Hisse senedi piyasasında kâr üretiminin otomasyonu, finansal varlıkların fiyat "tahmin" adımı ve portföyün "tahsis" adımını tek bir birleşik süreçte birleştirerek, deneme yanılma yoluyla optimal kararlar almak için çevresiyle etkileşime girebilen tamamen özerk bir sistem üretmek için DRL kullanılarak mümkündür. Bu çalışmada, alım-satım aracısına portföyün pozisyonlarını her zaman adımı için kademeli olarak ayarlama (yatırımları dinamik olarak yeniden tahsis etme) özelliği vermek için sürekli bir eylem alanı yaklaşımı benimsenmiştir, bu da daha iyi aracı-ortam etkileşimi ve öğrenme sürecinin daha hızlı yakınsaması ile sonuçlanmıştır. Ayrıca yaklaşım, tek bir varlık yerine birkaç varlık içeren bir portföyün yönetilmesini destekler. Bu çalışma, denetimli öğrenme yaklaşımlarının sınırlamalarını etkin bir şekilde aşarak borsada karlı işlemler oluşturmak için yeni bir DRL modelini temsil etmektedir. Ticaret problemini, likidite ve işlem maliyetleri gibi hisse senedi piyasasının getirdiği kısıtlamaları dikkate alarak Partially Observed Markov Decision Process (POMDP) modeli olarak formüle ediyoruz. Daha spesifik olarak, her hisse senedi için on farklı teknik gösterge ve haber makalelerinin duygu analizi ile durum temsilini artırarak gerçek dünyadaki ticaret sürecini simüle eden bir ortam tasarlıyoruz. Daha sonra formüle edilmiş POMDP problemini Twin Delayed Deep Deterministic Policy Gradient (TD3) algoritmasını kullanarak çözdük ve test veri setinde 2.68 Sharpe oranı elde ettik. Hisse senedi piyasası tahmini ve akıllı karar verme mekanizması açısından bu makale, finansal piyasalarda derin pekiştirmeli öğrenmenin denetimli öğrenme gibi diğer makine öğrenimi türlerine göre üstünlüğünü göstermekte, aynı zamanda DRL yaklaşımının güvenilirliğini ve stratejik karar vermenin avantajlarını kanıtlamaktadır.