Entropi kavramının istatistikteki bazı uygulamaları

İstatistiksel entropi, bir istatistiksel deneydeki belirsizliğin ölçüsüdür. Deneyin sonucu ne ölçüde öngörülebilir ise entropi o kadar düşük, deney sonucunun öngörülebilirliği ne ölçüde yüksekse entropi o kadar yüksek olmaktadır. Bunun dışında istatistiksel entropinin bazı ilginç uygulama alanları vardır. İlk olarak, olasılık (ya da frekans) dağılımının nitel olması durumunda dağılma ölçüsü için istatistiksel entropiden yararlanılabilir. Bilindiği gibi nitel dağılımlarda merkezi toplanma ölçüsü olarak aritmetik ortalama kullanılamadığından, dağılma ölçüsü olarak varyans, standart sapma gibi istatistikler de hesaplanamamaktadır. Buna ek olarak değişkenler nitel olduğu zaman, klasik korelasyon ölçüleri de kullanılamamaktadır. Bu nedenle entropi ve karşılıklı bilgi ölçülerinin; değişkenler arasındaki bağımlılıkların analizinde kullanılması yerinde olacaktır. İkinci olarak entropi kavramından türeyen göreli entropi, olabilirlik fonksiyonu ile ilgilidir. Genel olarak göreli entropi (Kullback-Leibler sapması) ve göreli entropiden türeyen bazı uyum iyiliğini ölçmeye yarayan istatistikler ki-kare dağılımları ile yakından ilişkilidir. Tezde bu konular detaylıca tartışıldıktan sonra yapılacak bazı uygulamalarla entropi ve entropiden türeyen bazı istatistiklerin yukarıda sözü edilen temel istatistik problemlerine uygulanabilirliği tartışılmaktadır. Anahtar Kelimeler: Shannon entropi, Rényi entropi, Tsallis entropi, Havrda-Charvat entropi, Kullback-Leibler mesafesi, Nitel Değişim, Karşılıklı Bilgi Ölçüsü