Yapay zeka yöntemlerinin doğal dil işlemede etkin kullanılması

Dilin soyut ve dinamik doğası, dili yapay zekâ ile modellememizde belli sınırlılıklara yol açmaktadır. Bu sınırlılıklarını en aza indirgemek için dili ve bağlamını çok boyutlu yapılar olarak ele almak ve modellemede veriye özgü yöntem stratejisi belirlemek gereklidir. Bu tez çalışmasında, yapay zekâların içerik üretme performansı, içeriklerin analizi ve içeriklerin sınıflandırılması ele alınmıştır. Yapay zekaların performansı eğitim bilimleri kapsamında ele alınmış ve içerik üretme kapasitelerinin etkili istem tasarımı ile nasıl geliştirilebileceği üzerine odaklanılmıştır. Eğitim bilimlerinde Bloom Taksonomisine uygun olarak soru tasarımı gerçekleştirilmiş ve taksonomiye uygun soru hazırlamada rehberlik eden referans noktalar özenle dikkate alınmıştır. İçeriklerin analizi için Sinema filmlerine ait içerikler film puanı ve türünün makine öğrenimi modelleriyle tahmini için kullanılmıştır. Bu bağlamda öznitelik seçimine ve girdi oluşturulmasına değinilmiş ve belirli özniteliklerle film puanı için regresyon modelleriyle tahmin yapılmıştır. film özetlerini içeren tür sınıflandırılması ele alınmıştır. Günümüz önemli mental sağlık sorunları arasında olan anksiyete, depresyon ve intihar eğilimlerinin ilgili sosyal medya gönderileri ile belirlenmesi mümkün hale gelmiştir. Sosyal medya gönderilerinin sınıflandırması için metin ön işleme tekniklerinin ve hiper parametre yöntemlerin başarıma etkileri ele alınmıştır. Diğer taraftan metin vektörel temsilleri için farklı yöntemler ele alınmış ve sınıflandırma performansı incelenmiştir. Sadece tekrarlayan ifadeleri kaldırarak uygulanan ön işlemden sonra yapılan Roberta modeli ile %87,2 başarım elde edilmiştir. Bi-LSTM modeli eğitiminde ön eğitimli Roberta, word2vec ve TF-IDF vektörlerinin birleştirilmesiyle oluşturulmuş hibrit vektör sınıflandırma başarımını %13 kadar artırdığı görülmüştür. Yapay zekâ yöntemlerinin doğal dil işlemede etkin kullanılması için üç farklı problem farklı yöntem ve tekniklerinin değerlendirilmesi yapılmıştır. Yapılan uygulamalarda görüldüğü üzere gerek metin içeriklerinin çeşitliliği gerek önişlemlerin sırası ve yapılması ve gerekse hiper parametre yöntemlerinin uygulanması başarımı ciddi şekilde etkilediği görülmüştür.