Categorization in a hierarchically structured text database

ÖZET Hiyerarşik Yapıda Olan Bir Veritabanının Kategorizasyonu Ferhat Kutlu Bilgisayar Mühendisliği, Yüksek Lisans Programı Tez Yöneticisi: Doç. Dr. H. Altay Güvenir Şubat 2001 Son yirmi yıldır İnternet alanındaki gelişmelerin etkisiyle veritabanlarında saklanan verinin boyutunda ve on-line veri akışında büyük bir artış oldu. Bu artış beraberinde, bu büyüklükteki veri yığınını ve akışını yönetebilecek araçlara olan ihtiyaçları açığa çıkardı. Hiyerarşik yaklaşım, bu ihtiyaçları tat min için en iyi yoldur ve Internet ve veritabanlarıyla uğraşanlar arasında da çok yaygındır. Usenet haber grupları sistemi, içinde yapısal bir hiyerarşi bu lunduran on-line veritabanlarından biridir. Bizim hareket noktamız da katego- rizasyon işlerini daha kolay ve hızlı hale sokan bu hiyerarşik yapıdır. Aslında İnternetteki arama motorlarının çoğu İnternetin yapısal hiyerarşisinden fay dalanmaktadır. Verilerin artan boyutu birçok geleneksel kategorizasyon algo ritmasını kullanılmaz hale sokmuştur. Bu sebeple Usenet haberlerinden oluşan bir veri tabanından indeks çıkartan ve daha sonra bu indeks üzerinden katego rizasyon yaparak yeni bir haberin ilgili haber gruplarını belirleyen yeni bir kate- grizasyon öğrenme algoritması geliştirdik. Bu algoritma öğrenme safhasında birleştirici ve aşağıdan yukarıya hiyerarşik bir yaklaşıma sahiptir. Katego rizasyon safhasında ise örtüşümlü ve denetlemeli bir kategorizasyon yapmak tadır. Algoritmamızın kompleksite ölçütünü ve doğruluğunu kıyaslamak için k En Yakın Komşu kategorizasyon algoritması kullanılmıştır. Bu kıyaslama sadece iki algoritmanın kıyaslanması demek değil, hiyerarşik yaklaşımın düz yaklaşımla, benzerlik ölçütünün mesafe ölçütüyle ve doğruluğun öneminin hızın önemiyle kıyaslanmasıdır. Algoritmamız hiyerarşik yaklaşımı ve benzerlik ölçü tünü benimsemekte ve küçük bir doğruluk kaybıyla k En Yakin Komşu algo ritmasından çok daha hızlı çalışmaktadır. Anahtar sözcükler: öğrenme, kategorizasyon, bölümleme, hiyerarşi, Usenet, haber grubu, üst seviye, başlık satırı, postalama, frekans, norm ölçekleme, benzerlik ölçütü, mesafe ölçütü, birleştirici, aşağıdan yukarı, eklerinden ayırma, yaygın kelime, indeks iv