Скорость и пинг: что из этого важно на прогоне
Скорость канала и отклик обсуждают чаще всего, а решают они меньше, чем принято думать.
Что на что влияет
Ширина канала важна там, где вы качаете тяжёлые страницы целиком. На сборе выдачи она почти не влияет на общее время.
Отклик влияет на каждый запрос, но в масштабах прогона теряется в паузах между запросами.
Считаем на цифрах
Разница в отклике между сорока и двумястами миллисекундами на миллионе запросов даёт около сорока четырёх часов. Звучит много.
Но если между запросами стоит пауза в две секунды, прогон и так занимает недели, и эти сорок часов теряются в общем времени.
Что решает на длинном прогоне
Темп, который вам позволяет площадка. В него прогон и упирается, канал с откликом остаются в стороне.
Поэтому при выборе смотрите сначала на разброс подсетей и условия по трафику, потом на скорость.
Когда отклик всё же важен
Когда сборщик стоит на другом континенте относительно площадки и пауз между запросами почти нет. Тогда сборщик проще перенести ближе, чем менять адреса.
запросов 1 000 000 отклик 40 мс ~11 часов чистого ожидания отклик 200 мс ~55 часов пауза 2 секунды ~555 часов, и она решает всё