Doğal dil işlemede bağlam odaklı derin öğrenme yöntemlerinin transfer kapasitesinin metin sınıflandırması problemi üzerinden incelenmesi

Bu çalışma ELMo ve DistilBERT adındaki bağlamsal ve derin doğal dil sistemlerini protesto haber metni ve kullanıcı yorumlarının ikili sınıflandırılması olmak üzere iki farklı senaryo üzerinden kıyaslamaktadır. Asıl amaç, bu modern sistemlerin birbirinden çok farklı girdileri modellemedeki başarısını ölçmek, bu sayede doğal dil işlemeyi hedef alan sistemlerin gerçek hayattaki kaynak çeşitliliğine ne kadar iyi adapte olabildiğine ışık tutmaktır. Bu amaçla, modeller eğitilirken ve başarımı ölçülürken bağlamca ayrışan veri kümeleri kullanılmıştır. Sözgelimi, ilk senaryo için Hindistan ve Çin'in yerel gazete haberlerinden, ikinci senaryo için ise sinema filmleri ve teknolojik cihazlara yapılan kullanıcı yorumlarından faydalanılmıştır. ELMo ve DistilBERT kullanılarak üretilen kelime vektörleri, biri ileriye doğru, diğeri özyineli olmak üzere iki farklı sinir ağına verilmiştir. Daha basit ve bağlamsal olmayan Çokterimli Naif Bayes Sınıflandırıcısı ve Doğrusal Destek Vektör Makinesinin sonuçları temel alınmıştır. Sonuçta, DistilBERT'in ELMo'ya kıyasla, bu iki senaryoda, farklı test ortamlarına daha dayanıklı olduğu, üstüne \%30 daha küçük ve \%83 daha hızlı olduğu görülmüştür. ELMo ise, yine, farklı bağlama geçişte, iki temel algoritmadan daha başarılı olmuştur. Buradan yola çıkarak, DistilBERT'in dilin genellenebilir anlamsal özelliklerini daha iyi öğrendiği ve gerçek-zamanlı dönüt gerektiren sistemlerde ve bellek kaynağı bakımından sınırlı bütçelerde ELMo'dan daha kullanışlı olduğu yargısına varılabilir. Öte yandan, genellenebilirliğin gözetilmediği, test verisinin eğitim verisine benzediği durumlarda Naif Bayes gibi daha basit ve ekonomik algoritmalar derin sinir ağlarına alternatifler olarak tercih edilebilir.