Belirteç seçiminin Huffman kodlaması üzerine etkisi

Bu çalışmada, belirteç seçiminin istatistiksel veri sıkıştırma yöntemlerinden biri olan Huffman sıkıştırma algoritması üzerine etkisi ve verimliliği araştırılmıştır. Bu amaçla Huffman ağacı üretebilmek için düzgün deyimler kullanılarak tanımlanan farklı türdeki belirteçlerin sıkıştırmada sağladığı kazanç hesaplanmış ve sıkıştırma performansları karşılaştırılmıştır. Çalışma beş ana bölümden oluşmaktadır. Giriş bölümünde, veri sıkıştırma tanımından ve veri sıkıştırma yöntemlerinin sınıflandırılmasından bahsedilmiştir. İkinci bölümde veri sıkıştırma yöntemlerinden olan istatistiksel veri sıkıştırma incelenmiş ve bilgi teorisi kavramları açıklanmıştır. Çalışmanın üçüncü bölümünde, kullanılan belirteç türlerini açıklama adına n-gram, Türkçe heceleme algoritması ve düzgün deyim kavramlarından söz edilmiştir. Dördüncü bölümde ise n-gram, hece ve düzgün deyimlerin yanı sıra bunların birlikte kullanımları ile yaratılan belirteçler ile Huffman ağaçları oluşturulmuş ve sıkıştırma işlemleri gerçekleştirilmiştir. Sıkıştırma işlemi yedi farklı doküman üzerinde test edilmiştir ve her bir dokümanın kullanılan tüm belirteç türlerine ait sonuçları elde edilmiştir. Çalışmanın son bölümünde elde edilen sonuçlar tartışılmıştır.