Türkçe sözcük anlam belirsizliği giderme

Doğal dillerde yaygın olarak gözlenen "Anlam Belirsizliği" kavramı bir sözcüğün birden fazla anlama sahip olması durumudur. Sözcük Anlam Belirsizliği Giderme (SABG) işlemi, birden fazla anlama sahip sözcüğün kullanıldığı bağlamda en uygun anlamının belirlenmesi olarak tanımlanmaktadır. İnsanlar arası iletişimde, önceki deneyimler ve karmaşık insan bilişsel süreçlerinin yardımıyla çözümlenen anlam belirsizliği, bilişim ve Doğal Dil İşleme (DDİ) alanlarında da ele alınmakta olan önemli ve güncel konular arasında yer almaktadır. Bir sözcüğün anlamının belirginleştirilmesi DDİ alanındaki uygulamaların tamamına yakınında başarıma katkı sağlayan ve gereksinim duyulan bir adımdır. Bu uygulamalar, Bilgiye Erişim (BE), Bilgisayarlı Çeviri (BÇ), Anlamsal İşaretleme (Aİ), Soru Cevaplama (SC) gibi pek çok alanı içine almaktadır. Günümüzde Bilgisayarlı Dilbilim (BD) çalışmalarına internet ve diğer alanlarda duyulan gereksinim büyük boyutlara ulaşmıştır. Bu gereksinim sonucunda, sözü edilen DDİ uygulamaları kapsamında çeşitli yöntem ve algoritmalar geliştirilmiştir. Bu çalışmalarda, dillerin yapısı, mevcut kaynak ve kısıtlar, uygulamanın gereklilikleri gibi unsurların önemli rolü olduğu ve yöntemlerin bu doğrultuda geliştirildiği bilinmektedir. SABG alanındaki çalışmalar göz önünde bulundurulduğunda, bilgi, derlem tabanlı ve melez yöntemler olmak üzere üç yaklaşımın öne çıktığı görülmektedir. Bilgi tabanlı yöntem ailesinde sözlük, eş anlamlılar sözlüğü ve ontolojiler kullanılan temel kaynakları oluşturmaktadır. Derlem tabanlı yaklaşımlarda bilgi derlemlerden öğrenilmektedir. Derlem tabanlı yöntemler kendi içinde denetimli, denetimsiz ve yarı denetimli alt sınıflarına ayrılmaktadır. SABG alanında yapılan ilk çalışmalarda ağırlıklı olarak anlam işaretli derlemlere gereksinim duyulan denetimli yöntemler üzerinde durulmuştur. Denetimli yöntemlerle anlam belirsizliği yüksek doğrulukla giderilse de Türkçe gibi kaynak ve derlemlerin kısıtlı olduğu dillerde yarı denetimli ve denetimsiz yöntemler yakın zamanda yapılan çalışmalarda önem kazanmıştır. Denetimsiz ve yarı denetimli yöntemleri tercih edilir kılan bir diğer sebep ise derlem anlam işaretlemelerinin emek yoğun bir süreç olmasıdır. İşaretli derlemlerin yetersiz olduğu ya da kullanılmadığı çalışmalarda sözlük anlamlarına bağımlılık ortadan kalkmakta ve derlemler sözcüğün anlamlarını kendi bulmaktadır. Melez yöntemlerde ise bilgi ve derlem tabanlı yöntemlerden birlikte faydalanılmaktadır. Kullanılan denetim seviyesinin yanında SABG alanı için yapılan bir diğer sınıflandırma, probleme olan yaklaşımın kapsamı ile ilgilidir. Sözü edilen sınıflandırma; 10 Seçilmiş Sözcük Yaklaşımı (SSY) ve 20 Tüm Sözcükler Yaklaşımlarını (TSY) içine almaktadır. İlk yaklaşımda, önceden saptanan bir hedef sözcüğe ilişkin örneklerdeki belirsizlik giderilmektedir. SSY yaklaşımında sözcük ve anlam kümeleri sınırlı olduğundan anlam belirsizliği giderilmesinde genellikle denetimli makine öğrenmesi yöntemlerinin kullanımı tercih edilmektedir. Anlam etiketli örnekler sınıflandırıcının eğitilmesinde kullanılmaktadır. Anlam belirsizliğine sahip bir sınama örneğinin anlam ataması eğitilen sınıflandırıcı ile gerçekleştirilmektedir. TSY yaklaşımında ise belirli bir metin içerisindeki tüm sözcüklerin belirsizliğinin giderilmesi hedeflenmektedir. TSY yaklaşımı ile sözcük türü etiketleme arasında benzerlik bulunmakla birlikte, TSY yaklaşımında gereksinim duyulan etiket kümesi diğerine göre çok daha büyük olmaktadır. Etiket kümesinin büyüklüğü ise her sözcük için yeterli miktarda örnek bulmadaki zorluktan ötürü veri seyrekliği sorununa yol açmaktadır. Sözlük ya da derlemlerden elde edilen bilgi, anlam belirsizliği gidermede en temel bileşendir. Bilgi kaynakları, görünüm bilgisi ya da öğrenilmiş bilgi sınıflarına ayrılmaktadır. İlk grup sözcük anlam sıklıkları, kavram ağaçları, seçimsel öncelikler, sözcük etiketleri gibi bilgi türlerini içine alırken, öğrenilmiş bilgi sınıfları ise belirtici sözcükler, sözdizimsel özellikler, alana özgü bilgiler ve paralel derlemler gibi alt sınıflardan oluşmaktadır. Yapılan çalışmalarda öğrenilmiş bilgi türlerinin daha çok denetimli yöntemlerde, görünüm bilgisinin ise denetimsiz yöntemler dahilinde kullanıldığı gözlenmiştir. Uygulamada ise bilgi kaynaklarının çeşitli kombinasyonları SABG çalışmalarında kullanılmaktadır. Makine öğrenmesi yöntemleri derlem tabanlı SABG yöntemleri dahilinde anlam belirsizliği giderme bilgisinin otomatik olarak çıkartılmasında kullanılmaktadır. Bir SABG uygulamasında genellikle kullanılan kaynaklar; anlam işaretli derlemler, çevrimiçi sözlükler ve doğal dillere ilişkin geniş ölçekli kaynaklardan oluşmaktadır. Bir SABG uygulamasında kullanılacak özellik kümeleri ve öğrenme aşamasında kullanılan algoritma seçimi iki önemli unsurdur. Bir çok DDİ uygulamasında makine öğrenmesi yöntemleri ile elde edilen bilgiden faydalanılmaktadır. SABG alanında kullanılan denetimli yöntemler model ya da kuralların oluşturulma biçimine göre sınıflara ayrılmaktadır. Bu yaklaşımlar istatistiksel yöntemler (Naïve Bayes), benzerlik tabanlı yöntemler (k- En Yakın Komşu algoritması), konuya özgü özellikler (Bir söz öbeği/bağlam için bir anlam), ayrıştırıcı kural yöntemleri (karar listeleri, karar ağaçları, kural birleşimine dayalı yöntemler), doğrusal sınıflandırıcılar ve Kernel yöntemlerinden oluşmaktadır. Sözcük etiketleme ve sözdizimsel analiz gibi DDİ alanındaki diğer çalışma konularına kıyasla SABG konusu bir takım zorlukları içermektedir. Her sözcük bir anlam ile eşleşeceğinden tam bir eğitim verisinin oluşturulabilmesi için çok büyük miktarda örnek gereksinimi ortaya çıkmaktadır. Dildeki veri seyrekliği problemini aşmanın bir yolu eğitim algoritmasında kullanılacak özelliklerin doğru seçilmesinden geçmektedir. Bu özellikler, yerel ya da geniş ölçekte bulunabilmektedir. Makine öğrenmesi yönteminin uygulanmasından önce tüm örneklerin öğrenme algoritması tarafından anlaşılacak şekilde kodlanması gerekmektedir. Konumsal Özellikler (KÖ) ve Sözcük Kesesi (SK) özellikleri SABG çalışmalarında ele alınan hedef sözcüğün komşularından elde edilen iki önemli özellik grubudur. Yapılan çalışmaların tamamına yakınında belirsizliği giderilmek istenen sözcüğün merkezde olduğu bir "n" pencere aralığından faydalanılmaktadır. Konumsal özellikler ile hedef sözcüğün sol ve sağ komşularına ilişkin bilgiler kullanılmaktadır. Kullanılan bilgiler, sözcük gövde biçimleri ve sözcük türleri gibi bileşenlerden oluşmaktadır. İkinci grup olan SK özelliklerinde ise sözcükler herhangi bir sıra ya da konum gözetilmeksizin ele alınmaktadır. Benzerlik ölçütü olarak seçili penceredeki sözcüklerin konum gözetmeksizin bulunup bulunmama durumlarına ve sıklıklarına bakılmaktadır. Doğal dillerdeki kısıtlı kaynaklar göz önünde bulundurulduğunda, faydalanılacak bilginin doğru seçilmesi ve etkin özelliklerin kullanılması derlemlerdeki doğru anlamların belirlenmesinde özellikle önemlidir. Bu çalışma kapsamında yapılan özgün çalışmalar ve katkılar aşağıda açıklanmıştır: • Hedef Sözcük Derlemi (HSD): Her bir paragrafı hedef sözcük içeren metinlerden oluşan bir derlem hazırlanmıştır. Derlemin hazırlanması sırasında önce Türkçede belirsizlik derecesi yüksek olan isim ve eylemler belirlenmiştir. Ardından seçilen sözcükler için dengeli olarak metinler toplanmıştır. Daha sonra bu sözcükler oylayıcılar tarafından Türk Dil Kurumu (TDK) sözlüğündeki anlamlar ile işaretlenmiştir. • Etkin Özelliklerin Bulunması: Etkin özelliklerin bulunmasında iki yöntem denenmiştir: 10 Konumsal Özellikler , 20 Sözcük Kesesi Özellikleri. • Bir sözcüğün belirsizliğinin giderilmesinde etkin özelliklerin ortaya çıkartılabilmesi için denetimli yöntemler üzerinde çalışılmıştır. Bu çalışmanın sonunda hedef sözcüğün öncesinde ve sonrasında yer alan sözcüklerin etkin özellikleri çıkartılmış ve bu özelliklerin belirsizlik gidermeye katkıları ortaya konulmuştur. Bu çalışmalar yapılırken pencere boyu sabit tutulmuştur. Çalışma kapsamında sözcük kök ve eklerinin oluşturduğu biçimbilimsel analiz çıktılarının hedef sözcük ve komşuları ile birlikte değerlendirmeye alındığı konumsal özellikler sınanmıştır. • Etkin özellikleri belirlemede sözcük kesesi yönteminin katkısı da incelenmiştir. Etkin özelliklerin bulunmasında en uygun kese boyu belirlenmiştir. Bu çalışma hedef isim ve eylemler için gerçekleştirilmiştir. Kese içinde bulunan sözcüklerin hedef sözcüğün ne kadar yakınında araştırılması gerektiği ortaya konmuştur. • Konumsal özellikler ile sözcük kesesi yöntemlerinin sonuçları karşılaştırılmış, konumsal özelliklerin anlam belirsizliği gidermedeki etkisinin daha yüksek olduğu gösterilmiştir. Her iki yöntem birlikte kullanıldığı takdirde daha iyi sonuç bulunmuştur. • Denetimli yöntemlerle belirsizlik giderme çalışmasını sürdürebilmemiz için Türkçeyi yetkin biçimde temsil eden ve sözcüklerin anlamları işaretlenmiş derlem gerekmektedir. Böyle bir derlemin Türkçe için olmadığı ve yapılmasının çok emek yoğun olacağı bilindiği için çalışmamızı denetimsiz yöntemlere yöneltmiş bulunmaktayız. • Denetimsiz yöntem olarak DDİ alanında çok az kullanıldığına tanık olduğumuz çizge tabanlı yöntem Türkçe için geliştirilmiştir. İlk aşamada yöntemi gerçekleştirmek üzere gerekli program hazırlanmıştır. İkinci aşamada yöntemi etkin kılmak için çizge parametrelerinin etkisi değerlendirilmiştir. Denetimsiz yöntemin çizgesini oluşturmak ve başarımı ölçmek için HSD kullanılmıştır. • Sonuç olarak geliştirdiğimiz denetimsiz yöntem ile Türkçe sözcüklerinin belirsizliğinin giderilebileceği ortaya konmuştur. Ancak yöntemimizin en son aşamasında merkez düğümlerin anlamları işaretlenmiş derlemden yararlanarak belirlenmiştir. Geliştirdiğimiz yöntemin başarımı denetimli yöntemlere yakın ölçülmüştür.