реклама
Прокси для Node.js: настройка и расчёт адресов
Асинхронный сбор с высокой плотностью запросов, узкое место обычно в числе одновременных задач.
Куда уходит время
Если время на запрос растёт при неизменном темпе, узкое место в разборе ответов. Сеть тут держит. Разбор стоит вынести отдельно.
Сколько задач держать
Замерьте кривую: при росте числа задач время на запрос сначала не меняется, потом резко растёт. Рабочая точка перед изломом.
одновременно 200 задач таймаут 30 секунд повторов 3 запись пачками по 1000
Переиспользование соединений должно быть включено
Держите переиспользование соединений включённым. Без него каждый запрос заново устанавливает соединение, и выигрыш от асинхронности теряется.
Пишите пачками по тысяче строк
Пишите пачками по тысяче строк. Построчная запись на больших объёмах становится узким местом.