Самый простой путь: сессия, словарь с адресом и повторы своими руками.
Синхронный сбор упирается в потолок около пятидесяти запросов в секунду на машину. Дальше нужен асинхронный подход.
Сессию создавайте один раз на прогон. Новая сессия на каждый запрос тратит время на установку соединения и путает настройки.
proxies = {"http": adres, "https": adres}
r = s.get(url, proxies=proxies, timeout=(10, 30))Первая попытка через две секунды, вторая через четыре, третья через восемь. Больше трёх смысла не имеет.
Код успеха ещё не означает данные. Проверяйте размер ответа и наличие обязательного куска разметки.
Сервис не оплатил переходы с площадки, поэтому кнопка перехода к нему закрыта. Место в рейтинге от оплаты не зависит и считается по общей формуле.
Карточка сервиса с характеристиками остаётся открытой, её видно на странице сервиса.