Lexical cohesion analysis for topic segmentation, summarization and keyphrase extraction

İnsanlar bir fikri veya hikayeyi anlatırken birbiriyle anlam olarak ilişkili kelimeleri kullanmaktan kaçamazlar. Bu fenomenden iki farklı bakış açısıyla faydalanmak mümkündür. Kelimeler açısından bakıldığında, anlam olarak ilişkili kelimelerin istatistiksel dağılımı ve anlatımda kullanımlarına bakarak anlam olarak ilişkili kelimeleri tanımlamak mümkün olabilir. Anlam bütünlüğüne anlatım açısından baktığımızda da kelimelerin anlam ilişkilerindeki değişime bakarak bir metnin yapısını modellemek ve bu modeli farklı doğal dil işleme problemlerinde kullanmak mümkündür. Bu araştırmada anlam bütünlüğü, bu iki açıdan da incelenmektedir. Önce kelimeler arası anlam ilişikliğinin ölçülmesi için anlam bütünlüğü kullanılmış daha sonra bu kelime ilişkileri konu bölümleme, özet çıkarma ve anahtar kelime çıkarma problemlerinde kullanılmıştır.Kelimelerin anlam ilişikliğinin ölçülmesi için bir bilgi dağarcığı gerekmektedir. Araştırma kapsamında iki farklı bilgi dağarcığından faydalanılmaya çalışılmıştır. Birinci kelime dağarcığı kelime ilişkilerinin elle girildiği bir anlam ağıdır. Ikinci yöntem ise kelimelerin düz metin derlemindeki kullanım dağılımlarını kullanmaktadır. Araştırma kapsamında bu yöntemlerin birbirine göre başarımı ölçülmekte ve kapsamlı bir analiz yapılmaktadır.Konu bölümleme probleminde kelime bütünlüğü kullanan farklı yöntemler literatürde kullanılmaktadır. Bunların bazıları sadece kelime tekrarlarından faydalanırken, bazıları da eş anlam gibi güçlü anlamsal ilişkilerden faydalanmaktadır. Fakat şu ana kadar ?çok daha kapsamlı olan kelime ilişikliği yöntemleri bu problemde kullanılmamıştır. Yapılan deneyler göstermektedir ki konu bölümleme probleminin başarımı kelime ilişikliği kullanılarak arttırılabilmektedir. Ayrıca deneyler farklı kelime ilişikliği ölçüm yöntemlerini karşılaştırmak için kullanılabilmektedir. Konulara göre bölümlenmiş metinler otomatik özet çıkarma probleminde kullanılmış ve kelime zinciri tabanlı yöntemlere göre daha başarılı sonuçlar elde etmiştir.Son olarak kelime bütünlüğü analizi anahtar kelime bulma probleminde araştırılmaktadır. Geçmiş araştırmalar anahtar kelimelerin belge getirme ve navigasyon için başarılı araçlar olduğunu göstermektedir. Her ne kadar bu araştırmalar anahtar kelime ve belge getirme arasında bir ilişki olduğunu gösterse de, başka bir çalışmada anahtar kelimeleri bulmak için onların belge getirme başarım tahmini kullanılmamıştır. Bu araştırmada sorgu başarım tahmini yöntemlerinin anahtar kelime bulmada kullanımı incelenmiştir. Bunun için sorgu başarı tahmininde kullanılan öznitelikler anahtar kelime bulma probleminde Naive Bayes sınıflandırıcı ile birlikte kullanılmıştır. Yapılan deneyler bu özniteliklerin farklı boyuttaki belgelerde başarımı arttırdığını göstermektedir. Daha da önemlisi bu özniteliklerin yaygın olarak kullanılan deyim geçme frekansı ve belgede ilk kullanım yeri özniteliklerinin tersine kısa belgelerde daha başarılı olduğunu göstermektedir.Anahtar s ozc ukler: Kelime b ut unl u~g u, Anlamsal ili siklilik, Konu B ol umleme,Ozetleme, Anahtar Kelime C karma.