Парсинг страницы https://www.ebay-kleinanzeigen.de/m-einloggen.html
Не могу программно получить страницу https://www.ebay-kleinanzeigen.de/m-einloggen.html
Тут явно стоит какая-то защита, потому что все остальные страницы сайта нормально получаются в случае передачи хотя бы адекватного User-Agent, а эта возвращает большой кусок js-кода, вот его начальный кусочек:
function i700(){}i700.F20=function (){return typeof i700.O20.p60==='function'?i700.O20.p60.apply(i700.O20,arguments):i700.O20.p60;};i700.X70=function (){return typeof i700.v70.p60==='function'?i700.v70.p60.apply(i700.v70,arguments):i700.v70.p60;}
Я подумал, что оно хочет, чтоб я обработал js, но когда я в браузере его отключил, то страница всё так же отдалась нормально, только вывела сообщение о том, что нужен js для полноценной работы сайта.
Может у кого-то есть понимание или идея каким именно образом они защитили страницу и как это обойти?
Для получения страницы использую php и в нём Goutte и Guzzle.
Ответы (2 шт):
Попробуйте полностью скопировать заголовки из запроса в барузере. Если он с ними работает, то результат должен быть такой же
иногда сайт может банить тебя по ip если ты выполняешь слишком много запросов с минимальными таймаутами между ними. возможно в твоем случае может помочь подмена твоего ip адреса. сделать это можно разными способами например: использовать прокси сервера или браузер tor