Proxy para scraping
O caso do qual todos os outros são variação. Quase todo problema vem de duas decisões tomadas no começo: o ritmo e a dispersão dos endereços.
Dimensione pelo ritmo
A plataforma conta requisições que chegam de um endereço por minuto. A sua contagem de threads é invisível para ela.
Divida o ritmo total pelo ritmo permitido por endereço e dobre o resultado. Esse é o pool de trabalho.
Por que trava no meio
Rodada que começa limpa e morre na metade quase sempre bate num limite acumulado: teto diário ou contador que zera num horário que você não mediu.
Registre o momento da primeira recusa em várias rodadas. Se o horário se repete, a causa é uma janela e a correção é o ritmo.
Ancore o parser
Nomes de classe mudam quando o site é redesenhado. Dados estruturados mudam bem menos, e as grandes plataformas publicam.
O que conferir antes de comprar
Dispersão por sub-redes, condições de tráfego e rapidez na troca de endereços mortos.
ritmo total = requisições / minutos por endereço = ritmo permitido pool = (total / por endereço) x 2