Proxy für Web Scraping
Der Fall, von dem alle anderen Abwandlungen sind. Fast jedes Problem stammt aus zwei Entscheidungen zu Beginn: dem Takt und der Streuung der Adressen.
Den Pool nach dem Takt auslegen
Die Plattform zählt Anfragen, die je Minute von einer Adresse eintreffen. Ihre Threadzahl ist für sie unsichtbar.
Gesamttakt durch erlaubten Takt je Adresse teilen und verdoppeln.
Warum es auf halber Strecke stockt
Ein Durchlauf, der sauber startet und in der Mitte stirbt, stößt fast immer an ein aufsummiertes Limit: eine Tagesgrenze oder einen Zähler, der zu einer ungemessenen Uhrzeit zurückspringt.
Notieren Sie den Zeitpunkt der ersten Ablehnung über mehrere Läufe. Wiederholt sich die Uhrzeit, liegt es am Fenster.
Den Parser verankern
Klassennamen ändern sich beim Neugestalten. Strukturierte Daten ändern sich weit seltener.
Vor dem Kauf prüfen
Subnetz-Streuung, Traffic-Bedingungen und Tempo beim Tausch toter Adressen.
Gesamttakt = Anfragen / Minuten je Adresse = erlaubter Takt Pool = (gesamt / je Adresse) x 2