Anzeige
Proxy für Python
Die Bibliothek ist nachsichtig genug, dass Fehler erst auffallen, wenn der Datensatz halb leer ist.
Eine Sitzung je Durchlauf
Die Sitzung einmal anlegen und wiederverwenden. Eine neue je Anfrage kostet jedes Mal den Verbindungsaufbau.
Binden Sie die Adresse an die Sitzung, dann erbt jeder Aufruf sie.
Wiederholungen mit wachsender Pause
Zwei Sekunden, dann vier, dann acht. Drei Versuche genügen; danach liegt es nicht an der Verbindung.
Erfolgscode ist keine Antwort
Eine Seite kann 200 liefern und nichts Brauchbares enthalten. Prüfen Sie Größe und ein Pflichtfragment im Markup.
Stapelweise schreiben
Tausend Zeilen sammeln und auf einmal schreiben.
s = requests.Session()
s.proxies = {"http": PROXY, "https": PROXY}
r = s.get(url, timeout=20)
if len(r.content) < 500: wiederholen()