Обход блокировки по ip при парсинге
Как обойти блокировку сайта по ip при парсинге на python?
Ответы (3 шт):
Единственный выход - использовать прокси сервера. В интернете можете найти много бесплатных прокси
Нет не единственный. Можно использовать VPN. Погуглите на этy тему. Впрочем эффект и принцип работы будет примерно таким же как прокси ;) Спасибо @Вадим Александру за этот коммент.
Способ 1
Самый правильный способ при проектировании системы парсинга -- это сделать подсистему, которая отвечает за прокси-сервера. Это может быть микросервис или компонент (класс, например) в Вашем приложении.
В себе он может сочетать ранжирование проксей по степени устойчивости или агрегировать любой другой рейтинг, скрывая эту кухню от всех остальных систем.
На картинке Выше Вы можете видеть пример организации модулей. Я преднамеренно не стал связывать прокси-сервис с интернетом, поскольку часто список проксей хардкодится. Но в более продвинутых системах, они регулярно пополняются и валидируются.
Способ 2
Ещё один способом является использование виртуальных машин из yandex.cloud или google.cloud. Вы можете запускать их с помощью АПИ этих платформ когда Вам нужно, а затем гасить. При этом, здесь потребуются некоторые хитрости в плане автоматизации развёртывания и масштабирования. Но при качественной подготовке, Вы выиграете в цене.
