reklam
Web scraping
Diğer bütün işlerin türediği durum. Sorunların çoğu baştaki iki karardan çıkıyor: tempo ve adreslerin dağılımı.
Havuzu tempoya göre ölçün
Platform bir adresten dakikada gelen istekleri sayıyor. İş parçacığı sayınız onun için görünmez.
Toplam tempoyu adres başına izin verilen tempoya bölün ve ikiyle çarpın.
Neden yarıda kalıyor
Temiz başlayıp ortada ölen bir tur neredeyse her zaman biriken bir limite çarpıyor: günlük tavan ya da ölçmediğiniz bir saatte sıfırlanan sayaç.
İlk retin saatini birkaç turda not edin. Saat tekrar ediyorsa sebep pencere.
Ayrıştırıcıyı sabitleyin
Sınıf adları sayfa yenilenince değişiyor. Yapılandırılmış veri çok daha seyrek değişiyor.
Satın almadan önce
Alt ağ dağılımı, trafik koşulları ve ölü adreslerin değişim hızı.
toplam tempo = istek / dakika adres başına = izin verilen tempo havuz = (toplam / adres başına) x 2