Türkçe önerme veri tabanının oluşturulması ve Türkçenin anlamsal görev çözümlemesi

Doğal dili anlamak, uzun süredir insanlığın hayallerini süslemektedir. Eski bilim kurgu filmleri, bu rüyanın şimdiye kadar gerçekleşmiş olacağını öngörse de, henüz gerçeklememiştir. Doğal dili anlamanın halen çözülememiş sorunlar arasında olmasının temel nedenlerini şu şekilde sıralayabiliriz: dildeki belirsizlikler, bağlamdan kaynaklanan sorunlar, gerçek dünya ve sağduyu bilgisinin gerekliliği, sözcük ve tümce yapılarındaki farklılık. Dolayısıyla doğal dili anlama çalışmaları, bu sorunları çözmeyi amaçlayan ayrı araştırmalarla devam etmektedir. Bu tez çalışmasında yüzeysel anlam ayrıştırıcı ya da diğer adıyla anlamsal görev çözümlemesine (AGÇ) odaklanılmıştır. AGÇ, doğal dili anlama işini, tümcelerden eylem içeren birimlerin ve bunların ögelerinin çıkarılmasına indirgemektedir. Böylece tümcenin yapısından bağımsız olarak, farklı yapılardaki tümceler için aynı anlamsal gösterim biçimi elde edilecektir. Örneğin Ekonomi %5 oranında büyümüştür ve Ekonomideki büyüme %5'tir veya Cam taşla kırıldı ve Taş camı kırdı tümcelerinin anlamsal gösterim biçimleri aynı olacaktır. Anlamsal görev çözümlemesinin çıktıları, makine çevirisi, otomatik soru yanıtlama ve duygu analizi gibi değişik doğal dil işleme alanlarına girdi olarak verildiğinde sonuçları iyileştirildiği gözlemlenmiştir. Anlamsal görev çözümlemesini gerçekleyebilmek için, makine öğrenme yöntemlerini yönlendirmek üzere eylem içeren birimlerin (Türkçe için yüklemlerin) anlamlarını ve ögelerini içeren bir kaynak, diğer bir deyişle veri tabanı, gerekmektedir. Bu veri tabanına yayınlarda Önerme Veri Tabanı ya da PropBank adı verilmektedir. Böyle bir veri tabanı oluşturmak uzun zaman, büyük bütçe ve çok sayıda dil uzmanı gerektirmektedir. Bu nedenle Türkçe için önerme veri tabanları henüz oluşturulmamıştır. Bu tezde, yukarıda bahsedilen sorun, topluluk bilgisini önerme veri tabanının oluşturulması sürecine katılarak çözülmüştür. Uzman sayısını en az olacak şekilde tasarımı yapılan yeni iş modeli, uzmanlardan yalnızca şu durumlarda yararlanmaktadır: (1) Önerme Veri Tabanının ilk ve önemli adımı olan anlamsal görev çerçevelerinin oluşturulması, (2) kalite kontrol sürecinde belli miktarda soru ve yanıtın elle işaretleme ve (3) işaretleyicilerin üzerinde anlaşamadıkları yanıtların doğru olanlarına karar verme aşamasında. Önerme Veri Tabanının oluşturulmasında karşılaşılan diğer bir zorluk ise Türkçenin eklemeli dil olması, Türkçedeki eklerin çok sayıda olması ve Türkçe sözcüklerin peş peşe çok sayıda ek alması dolayısıyla, Türkçenin kuramsal olarak sonsuz sayıda eylem içeren sözcük üretebilmesidir. Bunun için tüm eylem içeren türetilmiş sözcüklerin, kök çerçevesi kullanılarak karşılanmasına karar verilmiştir. Bu yaklaşımla etiketlenen Önerme Veri Tabanının yüksek nitelikli olduğu çeşitli işaretleyici uzlaşması ölçme yöntemleri kullanılarak kanıtlanmıştır. Bu tezin ikinci bölümünde, Türkçe AGÇ'ye uygun makine öğrenme yöntemlerinin geliştirilmesi üzerinde durulmuştur. Bu amaçla sonucu kesin (deterministik) bir makine öğrenme modeli olan lojistik regresyon sınıflandırıcısı kullanılmıştır. İlk olarak, diğer dillerin anlamsal görev çözümlenmesi için tasarlanmış öznitelikler kullanılmış, fakat başarımlarının yetersiz olduğu gözlemlenmiştir. Bunun nedenleri şöyle açıklanabilir: (1) derlem dışı sözcüklerin çokluğu (2) eğitim kümesinin küçük olması, (3) eylem ve ögelerinin sözdizimsel farklılıklarının yüksek olması. Bu özellikler, çıkarılan özniteliklerin seyrek olması nedeniyle istatistiksel sistemin anlamsal görevler hakkındaki kalıpları öğrenememesine neden olmaktadır. Bu sorunları azaltmak amacıyla, (1) Türkçe diline daha uygun olan biçim bilimine dayalı öznitelikler (özellikle adın durumları), (2) büyük etiketsiz veri kümesinde eğitilmiş sözcük vektörlerine dayalı öznitelikler kullanılmış ve bu özniteliklerin AGÇ'nin başarımını artırdığı gözlemlenmiştir. Böylece ilk yüksek başarımlı (79.84 F1 puanlı) Türkçe AGÇ sistemi geliştirilmiştir. Deneylerimiz (1) biçim anlamsal özniteliklerin Türkçe AGÇ için önemini; (2) tasarlanan sistemin eğitim verisinin yalnızca %60'ını kullanarak, anlamlı sonuçlar üretilebileceğini; (3) bağlılık ağacı ve söz dizimsel sınıf bilgisine dayalı özniteliklerin yokluğunda performansın azımsanmayacak şekilde düştüğünü ve (4) sürekli özniteliklerin bilgi seviyeleri arasındaki etkileşimi modelleyerek başarıyı artırdığını göstermiştir. İstatistiksel sistemin, sözcüklerin gerçek etiketlerinin bilindiği durumda başarılı olduğu gösterilmişse de, bu etiketlerin bilinmediği durumda peş peşe kullanılan doğal dil araçlarının her birinden kaynaklanan hataların birikmesi dolayısıyla performansı düşmektedir. Bu nedenle, araçlara en az düzeyde ihtiyaç duyan, çift yönlü LSTM birimlerinin alt sözcükleri işlemesine dayanan bir yapay sinir ağı yöntemi önerilmiştir. Eğitilmiş sözcük vektörleri kullanan önceki yöntemlerin tersine, önerilen yöntem alt sözcükleri çeşitli fonksiyonlarla birleştirerek sözcük vektörü yaratmaktadır. Varolan birleştirme yöntemleri biçimbirimsel farklılıkları göz önüne almamaktadır. Bu nedenle yapım ve çekim eklerinin ayrı ayrı birleştirildiği farklı bir yöntem sunulmuştur. Alt sözcük birimleri ve birleştirme fonksiyonları sistematik olarak analiz edilerek, etkileri ölçülmüştür. (1) Yalnızca karakter bilgisi kullanan modellerin, zayıf üretme yetenekli diller için biçimbirimsel bilgi kullanan modellerle benzer sonuçlar verdiği fakat üretim bakımından zengin dillerde biçimbirimsel bilginin başarımı en az yüzde 3 puan artırdığı (2) önerilen birleştirme yönteminin öncekilerden daha başarılı olduğu gösterilmiştir. Alt sözcüklerin AGÇ için tamamlayıcı özellikler öğrenip öğrenmediğinin sınanması için birden çok alt sözcük tipi çeşitli tekniklerle birleştirilmiştir. Karakter ve karakter üçlülerinin birleştirilmesinin her durumda başarımı artırdığı gözlemlenmiş, fakat biçimbirimsel bilginin karakterle birleştirilmesinin, üretken diller birçok dile yardımcı olmadığı görülmüştür. Bu bulgu, karakter modellerinin, söz konusu diller için, zaten biçimbirimsel modellerde olmayan herhangi bir bilgiyi yakalayamadığını düşündürmektedir. Son olarak, araştırmacıların Türkçe dili üzerinde çalışmasını özendirmek amacıyla tüm kaynaklar erişilir biçimde tüm araştırmacılara sunulmuştur.