Прокси для Key Collector: настройка и расчёт адресов

Каждый регион это отдельный проход по тому же ядру. Пять регионов умножают время на пять, и это надо закладывать в расписание.

Собирать все регионы одним заданием неудобно: при обрыве непонятно, что уже собрано.

Источник частотностей отдаёт данные с ограничением по частоте. Добавление потоков ускоряет прогон только до этого предела.

Ускорение даёт увеличение числа адресов и аккуратные паузы, всё остальное упирается в ту же стену.

фраз в ядре      214 880
адресов          40
пауза            2 - 4 секунды
сбор занимает    около 9 часов

Она собирается отдельным запросом и идёт втрое медленнее обычной. Гонять её по всему ядру дорого, отбирайте фразы заранее.

Пустые значения при живых адресах означают заглушку вместо ответа. Заведите проверку на размер ответа, иначе ядро наполнится нулями.