Derin öğrenme algoritmaları kullanılarak karakter tabanlı anlamlı kelime üretimi

Bu çalışmanın amacı derin öğrenme algoritmaları kullanılarak karakter tabanlı bir dil modeli geliştirmek ve Türkçe dil bilgisi kurallarına uygun anlamlı kelime üretmektir. Metin üretimi, bilgisayarların insanların iletişim kurma şeklini taklit ederek doğal dilde metin oluşturmak için kullanılmaktadır. Doğal dilde metin verileri yan yana olarak ve zaman sırasına göre sıralanmış birbiriyle ilişkili kelime veya kelime gruplarının oluşturduğu bütünsel bir düzen şeklinde bulunmaktadır. Metin içerisinde bulunan karakterlerin ve kelimelerin sırasının ve anlamının önemi çok büyüktür. Bu nedenle oluşturulacak kelime, cümle ve metin parçalarında karakterler veya kelimeler arasındaki ilişkilerin iyi öğrenilebilmesi için geçmiş bilgileri hatırlayarak öğrenen derin öğrenme algoritmalarının kullanılması gerekmektedir. Derin öğrenme algoritmalarından özyinelemeli yapay sinir ağları geçmiş bilgileri hatırlayarak sıralı örüntüler oluşturmada başarılı sonuçlar verdiği için bu alanda etkili bir şekilde kullanılmaktadır. Çalışmada LSTM, GRU, Kodlayıcı-Kod Çözücü ve dikkat mimarisi kullanılarak Türkçe dil bilgisi kurallarına uygun anlamlı kelimeler üretilmektedir. Çalışmada özellikle Kodlayıcı-Kod Çözücü ve dikkat modeline ağırlık verilmektedir. Nedeni ise diğer modellerin (LSTM/GRU) giriş ve çıkış verilerinin uzunluğu arttıkça karakterler arasındaki ilişkileri hatırlamakta yetersiz kalmalarıdır. Bu sorunların üstesinden gelebilmek için daha uzun girdi ve çıktı dizelerinde daha başarılı sonuçlar veren Kodlayıcı-Kod Çözücü ve Dikkat mimarisi kullanılmaktadır. Çalışmada her bir model 100, 300, 500 epoch değerlerinde sıcaklık örnek alma yönteminin farklı eşik değerlerinde çalıştırılmaktadır. LSTM modeli 100 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 91,3% başarı oranı ile en iyi sonucu, GRU modeli 300 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 93.8% başarı oranı ile en iyi sonucu, Kodlayıcı-Kod Çözücü ve Dikkat modeli 500 epoch ve sıcaklık örnek alma yönteminin 0.2 eşik değerinde 95.7 % başarı oranı ile en iyi sonucu vermektedir. Çalışma sonunda kodlayıcı-kod çözücü ve dikkat mimarisi kullanılarak oluşturulan dil modelinin anlamlı kelime üretiminde ve daha uzun kelime gruplarının oluşturulmasında diğer modellere (LSTM,GRU) göre daha yüksek başarı elde edildiği görülmektedir. Karakter tabanlı geliştirilen modellerin Türkçe dil bilgisi kurallarına uygun kelime ve kelime grubları üretmede başarılı olduğu görülmektedir.