Телеграмм бот авито парсер: "org.jsoup.HttpStatusException:HTTP error fetching URL. status = 403"

Question

Написал простенького бота на java jsoup, который парсит авито, запускаю на локально все ок. Выложил его на vps с первого же коннекта выдает ошибку, очень редко все таки получается законектиться. В чем проблема, в ip? Коннект не частый, раз в 3 сек.

org.jsoup.HttpStatusException:HTTP error fetching URL. status = 403

Answer 1

Я много раз пытался соединиться с указанным хостом используя Curl (php) с опцией включенного прокси. И заголовки разные и прочее, ничего не помогало. Однако, простейшая конструкция решила вопрос (уж не знаю, что они там проверяют)

    $aContext = array(
         'http' => array(
             'proxy' => 'tcp://'.PROXY_ADR,
             'request_fulluri' => true,
          ),
    );
    $cxContext = stream_context_create($aContext);
    $sFile = file_get_contents("https://avito.ru", False, $cxContext);
    echo $sFile;

БЛОГ НА HUSL

Телеграмм бот авито парсер: "org.jsoup.HttpStatusException:HTTP error fetching URL. status = 403"

Ответы (1 шт):