reklam
Python
Kütüphane yeterince hoşgörülü, o yüzden hatalar ancak veri kümesi yarı boş çıkınca fark ediliyor.
Tur başına tek oturum
Oturumu bir kez kurun ve tekrar kullanın. Her istekte yeni oturum bağlantı kurmaya zaman harcıyor.
Adresi oturuma bağlayın, böylece her çağrı devralıyor.
Artan duraklamayla tekrar
İki saniye, sonra dört, sonra sekiz. Üç deneme yetiyor; ötesinde sorun bağlantı değil.
Başarı kodu veri değil
Sayfa 200 dönüp içinde işinize yarayan hiçbir şey olmayabilir. Cevabın boyutunu ve zorunlu bir işaret parçasını kontrol edin.
Toplu yazın
Bin satır biriktirip bir kerede yazın.
s = requests.Session()
s.proxies = {"http": PROXY, "https": PROXY}
r = s.get(url, timeout=20)
if len(r.content) < 500: tekrarla()