Proxy para scraping web
El caso del que todos los demás son una variación. Casi todo problema sale de dos decisiones tomadas al principio: el ritmo y el reparto de las direcciones.
Dimensione por el ritmo
La plataforma cuenta peticiones que llegan desde una dirección por minuto. Su número de hilos le resulta invisible.
Divida el ritmo total por el permitido por dirección y doble el resultado.
Por qué se atasca a mitad
Una tirada que empieza limpia y muere a mitad casi siempre topa con un límite acumulado: tope diario o contador que se reinicia a una hora que no ha medido.
Registre el momento del primer rechazo en varias tiradas. Si la hora se repite, la causa es una ventana.
Ancle el analizador
Los nombres de clase cambian cuando el sitio se rediseña. Los datos estructurados cambian mucho menos.
Qué comprobar antes de comprar
Reparto por subredes, condiciones de tráfico y rapidez en el cambio de direcciones muertas.
ritmo total = peticiones / minutos por dirección = ritmo permitido pool = (total / por dirección) x 2