Page-to-processor assignment techniques for parallel crawlers

üOZETğ ˙şË™PARALEL AG TARAYICILARI ICIN SAYFA ATAMAü ˙YONTEMLERIAta Tü rkuBilgisayar Mü hendisliği, Yü ksek Lisansu g uTez Yüneticisi: Prof. Dr. Cevdet AykanatoEylü l, 2004uOn yıldan kısa bir sü re işerisinde, Web (World Wide Web), bir araştırma pro-uc sjesinden, toplumumuzun her yü zü nde etkili, kü ltü rel bir fenomene dünüşmüştü r.uu uu o us us u˙ s˙Internetin popü laritesindeki ve kullanımındaki artış, Internette bilgi aramayıusağlayan tekniklerin etkinliklerinde de bir artışa neden olmuştur. Ağ taramag s s gbu tü r tekniklerden birisidir. Bir ağ tarayıcı, genellikle arama motorlarını veu gağ depolarını beslemek işin Web sayfalarını indiren ve kaydeden bir programdır.g cBir ağ tarayıcısının faydalı olabilmesi işin, kısa bir sü re işerisinde yü ksek miktar-g c uc ularda bilgiyi tarayabilmesi gerekmektedir. Genellikle, etkin bir tarama işin gereklicolan yü ksek indirme hızlarına tek işlemcili sistemlerde erişilinemez. Bu yü zden,u s s ugü nü mü zdeki bü yü k caplı uygulamalar, ağ tarama problemini cozmek işin cokuu u uu ş g şü cşişlemcili paralel sistemleri kullanırlar. Paralel ağ tarama, eşit yü k dağıtımı ves g s u ghaberleşme hacminin ya da mesaj sayısının azaltılması gibi bilinen problemlerinsyanında, cakışmaların onlenmesi ve yü ksek kalitedeki sayfaların erken taranmasışs ü ugibi problemlerin de cozü mü nü gerektirir. Bu tez, ağ tarama işleminin par-şü u u u g salelleştirilmesi konuludur ve temel olarak ana katkısı paralel ağ tarayıcılarındas gsayfaların işlemcilere atanması işlemindedir. Bu tezde, cizge ve hiper-şizges s ş cmodellerini bülü mlemeye dayanan, iki yeni sayfa atama yüntemi onermekteyiz.ou o üYüntemlerimiz, toplam haberleşme hacmini ve toplam mesaj sayısını azaltırken,o sişlemci başına düşen depolama yü kü nü ve taranması gereken sayfa miktarını den-s s us uuugelemektedir. Tez sırasında onerdiğimiz modeller uygulamaya dünüştü rü lmüş veü g o us u u usteorik yaklaşımlarımızın doğruluğu deneysel sonuşlarla kanıtlanmıştır. Ayrıcas g g c sonerilen yüntemleri kullanan etkin bir ağ tarama programı yazılmıştır.ü o g sAnahtar süzcükler : Paralel ağ tarama, cizge bülü mleme, hiper-şizge bülü mleme,ou g ş ou c ousayfa atama.iv