Eticarette web kazıma ve web kazıma için engellemeden kaçınan bir yöntem tasarlanması

Modern dünyada yeni teknolojilerin gelişmesi, internet ve büyük veri ortamında çok sayıda alanın gelişmesi için önemli sonuçlar doğurmaktadır. Bu etki ile e-ticaret, yaygın olarak kullanılan ve gelecekteki kararlar için analiz edilebilecek büyük miktarda büyük veriye sahip bir çevrimiçi kaynak haline gelmektedir. Web kazıma teknolojisi, verileri çevrimiçi platformlardan edinmek için kullanılır. Bu çalışmada bir web kazıyıcı oluşturulmuştur. Türkiye'nin en popüler ve önde gelen e-ticaret web sitelerinden birisi, bu çalışmada önerilen web veri kazıma yönteminin testi için kullanılmıştır. Web veri kazıma yardımıyla iş süreçleri, müşteri davranışları, tercihleri ve ürünlere olan talepleri takip edilebilir. Bununla birlikte, çevrimiçi platformlar, web kazıma uygulamalarını engelleyen mekanizmalara sahiptir. Bu nedenle, oluşturulan web kazıyıcılar engellenmekle karşı karşıya kalmaktadır. Bu araştırma çalışmasının katkısı, aşamalı olarak üç algoritmadan oluşan ve "Hibrit insansı kazıyıcı" olarak adlandırılan blokajı önlemek için bir yöntem oluşturmaktır. Öncelikle, engellenmeyen ancak inceleme kısmı olmayan ilk algoritma tanıtılmıştır. Ardından düşük ve yüksek frekans algoritması inceleme bölümü ile tanıtılmıştır. Düşük frekansı kullanarak, web kazıyıcı verileri başarıyla alınmıştır. Ancak yüksek frekanslı kazıyıcı bloke edilmiştir. Son olarak, üçüncü algoritma eklenerek yüksek frekans kullanmak ve e-ticaret platformunda IP adreslerini değiştirerek web veri kazıma engellemesi ile karşılaşmamak mümkün olmuştur. Web Veri Kazıma ve algoritmalar kullanılarak etik ve yasal standartlara da uygun şekilde web platformunda web veri kazıma blokajının önüne geçilmiştir.