Обход блокировки по ip при парсинге

Как обойти блокировку сайта по ip при парсинге на python?


Ответы (3 шт):

Автор решения: Вадим Александру

Единственный выход - использовать прокси сервера. В интернете можете найти много бесплатных прокси

→ Ссылка
Автор решения: Victor VosMottor

Нет не единственный. Можно использовать VPN. Погуглите на этy тему. Впрочем эффект и принцип работы будет примерно таким же как прокси ;) Спасибо @Вадим Александру за этот коммент.

→ Ссылка
Автор решения: hedgehogues

Способ 1

Самый правильный способ при проектировании системы парсинга -- это сделать подсистему, которая отвечает за прокси-сервера. Это может быть микросервис или компонент (класс, например) в Вашем приложении.

В себе он может сочетать ранжирование проксей по степени устойчивости или агрегировать любой другой рейтинг, скрывая эту кухню от всех остальных систем.

введите сюда описание изображения

На картинке Выше Вы можете видеть пример организации модулей. Я преднамеренно не стал связывать прокси-сервис с интернетом, поскольку часто список проксей хардкодится. Но в более продвинутых системах, они регулярно пополняются и валидируются.

Способ 2

Ещё один способом является использование виртуальных машин из yandex.cloud или google.cloud. Вы можете запускать их с помощью АПИ этих платформ когда Вам нужно, а затем гасить. При этом, здесь потребуются некоторые хитрости в плане автоматизации развёртывания и масштабирования. Но при качественной подготовке, Вы выиграете в цене.

→ Ссылка