Predicting and analyzing rna and protein modifications by combining deep protein language models with transformers

Dil modelleri üzerine yapılan son çalışmalar, çeşitli dil problemlerinde son derece iyi performans gösterdi. Örneğin, Transformatörler'de Çift Yönlü Kodlayıcı Gösterimleri (BERT), kelimelerin bağlamını ve anlamını çıkarma konusuna odaklanmıştır. ProtBERT gibi proteine özgü versiyonlar da, çeşitli biyoinformatik çalışmalarında çok iyi sonuçlar elde etmiştir. Bu çalışmaların yanısıra, transkripsiyon sonrası 2'-O-metilasyon (Nm) RNA modifikasyonu ve bir dizi farklı protein translasyon sonrası modifikasyonu, sadece hücresel görevlerde öne çıkmakla kalmayıp, canlılarda meydana gelen pekçok hastalıkla ilişkilendirilmiştir. Mevcut yüksek verimli deneysel tekniklerin bu değişiklikleri tespit etmesi hem uzun zaman almakta hem de çok fazla maaliyete gerektirmektedir. Bu alanlarda yapılacak ilgili biyolojik süreçleri daha hızlı hale getirmek ve ilgili konularda daha iyi sonuçlara ulaşmak için iki etkili model tasarladık; ilk olarak, RNA dizilerinden 2'-O-metilasyon RNA modifikasyon bölgelerini çıkarmak için kullanılacak olan BERT2OME ve ikinci olarak da protein dizilerinden protein translasyon sonrası modifikasyon (PTM) bölgelerini daha verimli bir şekilde tahmin etmek için DEEPPTM'dir. BERT2OME, modifikasyon bölgeleri ile RNA dizisi içeriği arasındaki ilişkiyi ortaya çıkarmak için BERT tabanlı modeli evrişimli sinir ağlarıyla (CNN) birleştirir. Şu ana kadar önerilen yöntemlerden farklı olarak BERT2OME, verilen her RNA dizisini bir metin olarak kabul eder ve önceden eğitilmiş derin öğrenme tabanlı dil modeli BERT'i entegre ederek modifikasyon tahmin performansını iyileştirmeye odaklanır. Transformatör tabanlı bu yaklaşımımız, birden fazla türün modifikasyon bölgelerini de ortaya çıkarabilmektedir. 5 katmanlı çapraz doğrulamaya göre insan ve farelerde doğru tahminleme başarısı sırasıyla 99.15% ve 94.35% olarak ölçüldü. Benzer şekilde ROC AUC skorları da aynı tür için 0.99 ve 0.94 olarak bulundu. Ayrıntılı sonuçlar, BERT2OME'nin biyolojik deneylerde harcanan süreyi azalttığını ve birden fazla ölçüm üzerinden farklı veri kümeleri ve türler genelinde mevcut yaklaşımlardan daha iyi performans gösterdiğini kanıtlamaktadır. Ek olarak, 2 boyutlu CNN'ler gibi derin öğrenme yaklaşımları, BERT özelliklerinin öğrenilmesinde daha geleneksel makine öğrenme yöntemlerine göre daha umut vericidir. Bir diğer modelimiz DEEPPTM, mevcut yöntemlerden farklı olarak, ProtBERT tabanlı protein yerleştirmelerini dikkat tabanlı görüntü transformatörleri (ViT) ile entegre ederek modifikasyon tahmin performansını arttırıp, farklı modifikasyon türleri ile protein dizisi içeriği arasındaki ilişkileri ortaya çıkarmıştır. Süksinilasyon modifikasyonlarını tahmin etmek için insan ve fare ROC AUC'leri, 10 katmanlı çapraz doğrulama uygulandığında sırasıyla 0.988 ve 0.965 sonuçlarını vermiştir. Benzer şekilde, ubikuitinasyon, krotonilasyon ve glikasyon bölgelerinin çıkarılmasında sırasıyla 0.982, 0.955 ve 0.953 ROC AUC skorları elde edilmiştir. DEEPPTM modelinin geliştirilmesinde, görüntü transformatörleri gibi dikkat odaklı derin öğrenme yöntemleri, ProtBERT özelliklerini öğrenme konusunda daha etkili olmuş ve daha geleneksel derin öğrenme ile makine öğrenme tekniklerine göre üstün bir performans sergilemiştir. Ek olarak proteine özgü ProtBERT modeli, PTM tahminlemesinde BERT modelinden daha etkili olmuştur.