Прокси для Scrapy: настройка и расчёт адресов

Встроенная очередь умеет продолжать с места обрыва. Включите сохранение состояния до первого большого прогона. После обрыва это уже не поможет.

Ротация делается промежуточным слоем: он подставляет адрес на каждый запрос и выводит из работы тот, что ответил отказом.

CONCURRENT_REQUESTS = 64
DOWNLOAD_DELAY = 0.4
RETRY_TIMES = 3
DOWNLOAD_TIMEOUT = 30

Встроенные повторы стоит настроить на растущую паузу. Три попытки достаточно, дальше проблема не в связи.

Число одновременных запросов подбирается замером. Обычно кривая выходит на полку, и дальше растёт только доля отказов.