Прокси для Screaming Frog: настройка и расчёт адресов
Программа обходит сайт целиком, и на больших каталогах упирается в память раньше, чем в адреса.
Разбиение большого сайта
Каталог на четыреста тысяч адресов удобно резать по разделам и обходить по очереди. Так падение одной части не роняет весь аудит.
Результаты потом сводятся в одну таблицу, и полнота проверяется по карте сайта.
Где задаётся адрес
Настройки прокси лежат в разделе конфигурации, отдельно от списка. Программа берёт один адрес на весь обход, ротации внутри нет.
Для смены адресов приходится разбивать обход на части и запускать их по очереди с разными настройками.
страниц 400 000 хранение на диске темп 8 запросов в секунду частей 8 по 50 000
Хранение на диск снимает потолок в сто тысяч страниц
Память ест хранение результата целиком. Переключите хранение на диск, и потолок в сто тысяч страниц пропадёт.
Не больше десяти запросов в секунду к чужому сайту
Ограничение ставится в запросах в секунду. Для чужого сайта разумный ориентир это не больше десяти к сайту целиком.