Finsentiment: Predicting financial sentiment and risk through transfer learning

Son zamanlarda, finansal metin madenciliğine ilgide artış bulunmaktadır. Derin öğrenmeye dayalı modellerle genel korpuslarda yapılan çalışmalarda hayli yol katedildi ki bu modellerle finansal metin madenciliği işi olan finansal duygu analizinde de mantıklı sonuçlar elde edildi. Ancak, finansal duygu analizi, finans alanında etiketlenmiş veri eksiliğinden ve özelleşmiş bir dili olmasına bağlı olarak hala zahmetli bir iştir. Finans kapsamındaki bu özelleşmiş dilden dolayı genel amaçlı derin öğrenme metotları çok verimli çalışmıyor. Bu çalışmada, halihazırda bulunan dil modellerini transfer öğrenmesi ile geliştirerek finansal metin madenciliği problemlerindeki performansı iyileştirmeye odaklandık. ¨ Onceden eğitilmiş dil modelleri daha az miktarda etiketlenmiş veri örneklemi talep eder ve alana özel bir korpora ile eğitildiğinde daha da büyük çapta performansa sahip olur. Biz, son dönemlerde üzerine çalışılmış olan BERT, XLNet ve RoBERTa modellerini içeren, iyileştirilmiş bir model olan FinSentiment 'i sunuyoruz. Bu modeller de doğal dil işleme problemlerinde daha iyi bir performans göstermeleri için finans alanında bir korpora ile eğitildiler. Sırasıyla finans alanı özelinde eğitilmiş FinSentiment modelleri: FinBERT, Fin-XLNet ve Fin-RoBERTa. Bu FinSentiment modelleri genel olarak 3 finansal duygu analizi verisetlerinde en iyi performansı gösterdiler ki bu modellerin bir parçası küçük bir set ile eğitilmişti. Test edilen veri setleri için baz aldığımız performans kriterine göre olan sonuçlarımızda iyileşme gözlemlendi. Daha detaylı sonuçlarda ise özellikle finans korporası ile eğitilmiş RoBERTa modelinin verimliliğini gösterdi. Nihayetinde, transfer öğrenmesi teknikleri duygu analizi çalışmalarında elverişli çözümler sunduğunu göstermiş olduk. Finansal risk ampirik olarak, varlık getirisi volatilitesi üzerinden ölçülür. Varlık getirisi volatilitesi, varlığın beklenen getirisinden ne kadar sapma olduğunun bir ölçütüdür. Finans'ta risk yönetimi altında, yatırım kararı vermekteki önemine binaen varlık volatilitesi tahmini en mühim problemlerden biridir. Doğal dil işleme yöntemlerini kullanarak volatilite tahminlemesinde verimliliğ arttırmaya yönelik birçok çalışma olmasına rağmen, derin öğrenme teknikleriyle volatilite tahminlemesi daha da iyile ştirilebilir. özellikle, risk tahminlemesinde BERT gibi transfer öğrenmesi yaklaşımını kullanarak metinlerden finansal anlam çıkaran yöntemler kullanılmamıştır. C， alışmamızda öncelikle, BERT'e dayalı transfer öğrenmesi metodu ile varlık volatilitesi tahminlemesi yapan RiskBERT 'i sunuyoruz. Dil veriseti olarak modelimizi eğitirken halka açık şirketlerin yıllık yayınlanan 10-K belgelerini kullandık. RiskBERT modeli, sözcüklere dayalı bağlamı modellerken bir "attention mekanizması" kullanır ve modern yöntemler ile dayanak noktası olan geçmiş volatilite değerine göre dikkate değer bir performans göstermiştir. Bu dikkate değer performans, çok küçük bir veri setiyle eğitilerek göstermiştir. özellikle 2002 yılında geçen Sarbanes-Oxley yasası sonrası raporların daha etkili bir şekilde yazılması zorunlu tutulduğundan, RiskBERT de bu yasa sonrası daha iyi bir performans sergilemiştir. Özetle, risk tahminlemesinde de transfer öğrenmesi teknikleri olumlu sonuçlar vermiştir.