patrocinado
Proxy para Python
A biblioteca é tolerante o bastante para que os erros só apareçam quando o conjunto de dados sai pela metade.
Uma sessão por rodada
Crie a sessão uma vez e reaproveite. Sessão nova a cada requisição gasta tempo refazendo a conexão.
Prenda o endereço na sessão para que toda chamada herde e você não esqueça nenhuma.
Repetições com pausa crescente
Dois segundos, depois quatro, depois oito. Três tentativas bastam; além disso o problema não é a conexão.
Código de sucesso não é dado
Uma página pode devolver 200 e não conter nada do que você precisa. Confira o tamanho da resposta e a presença de um trecho obrigatório.
Escreva em lotes
Junte mil linhas e grave de uma vez.
s = requests.Session()
s.proxies = {"http": PROXY, "https": PROXY}
r = s.get(url, timeout=20)
if len(r.content) < 500: repetir()