patrocinado
Proxy rotativo ou endereço fixo
A rotação parece solução universal até aparecer uma tela de login. A partir daí ela vira o problema.
Onde a rotação ajuda
Em coleta sem login, trocar o endereço distribui a carga e mantém a rodada dentro dos limites por endereço.
É o caso da maior parte das varreduras de catálogo e de busca.
Onde ela quebra tudo
A plataforma amarra a sessão ao lugar de onde ela foi aberta. Um endereço diferente na requisição seguinte parece uso indevido da sessão.
A reação nem sempre é um erro. Às vezes vem uma resposta reduzida que parece válida e contém menos dados, e o script conta como sucesso.
A regra prática
Qualquer cenário com login roda em um endereço só, do primeiro passo ao último. Sem exceção.
Combinando os dois
Separe as partes do trabalho: coleta aberta com rotação, cenários autenticados em endereços fixos e permanentes.
coleta aberta rotação por rodada com login um endereço do início ao fim