Как изменить ip адрес в java, чтобы при парсинге html сайты меня не блокировали?
Парсим сайт https://bankrot.fedresurs.ru/ArbitrManagersList.aspx. При частом обращении к сайту, меня блокируют, а данные мне нужны большие. Т. е. более 40000 запросов в день. Возникла потребность каким-то образом каждые 1000 запросов изменять ip адрес, чтобы сайт думал, что к нему обращается другой сервис. Пробовал гуглить, но конкретного ответа для себя не нашёл.
Ответы (1 шт):
Тут вопрос не совсем по теме Java или спринга, проблема в том, что на сайте стоит что-то наподобие анти-флуд защиты, поэтому они блокируют аномально большое количество запросов с одного IP адреса. Ваше Java приложение запускается на машине, которая подключена к интернету и имеет какой-то ip адрес в сети, а значит от джавы это не зависит, JVM использует соединение из системы. Если прям очень хочется сделать, то можно загнать в приложение несколько проксей и переподключаться через новую проксю, если сайт перестал обслуживать ip. Базу по прокси в джавке можно почитать тут: Гайд оракла baeldung