Arama motoru mimarisi ve uygulaması

Arama motorları internet üzerindeki büyük boyuttaki veri ile insanlar arasında köprü kuran ve insanların istedikleri bilgiye ulaşmasını sağlayan bir teknolojidir. Diğer bir deyişle arama motorları web üzerindeki internet sitelerini bot aracılığı ile kaydedip, ardından bu sayfaları indeksleyip, insanlar tarafından gönderilen sorgulara göre anlamlı veri elde edip, insanlara istedikleri bilgiyi içeren web sayfalarını gösteren bir sistemdir. Kullanıcılar çoğunlukla arama motorlarının çalışma mekanizmalarını bilmezler. Bu tez'de ilk olarak arama motorlarının kullandıkları bot yazılımı olan Crawler programlarının çalışma mimarisi anlatılarak ve paralel çalışan bir Web Crawler uygulaması yapılarak detaylı bir anlatım yapılmıştır. Ardından arama motorlarının indeksleme mimarisi anlatılmış ve paralel şekilde çalışan bir indeksleme uygulaması geliştirilmiştir. Ardından arama motorlarının indeksleme alt yapısında nasıl arama yapıldığına değinilmiş ve web arayüzüne sahip bir arama uygulaması geliştirilmiştir.