Как сайты, и сервисы определяют что ты робот?
Написал я парсер сайта, на Node JS, сижу вот сейчас отлаживаю вроде работает, спарсил 67 объявлений. Проблема в другом, я начел числиться в Ddos защитах у других сайтов, как робот. Причем некоторые так и говорят из вашей сети идет подозрительный трафик, давай типа капчу проходи. Я паршу вроде, не гугл а обычный сайт, причем у меня тайминги(время между запросами) аж 11 секунд, node сервер стоит на виртуальной машине.
И все равно меня как то вычислили. Как так господа? Как они это делают? Как мне тогда маскироваться, я ведь не ddos-ер?
Я использую got, и puppeteer для сложных моментов.
Ответы (2 шт):
- Вы можете использовать
User-Agentпо умолчанию (Что-то вродеnode.js v1.2.3 - Needle v4.5.6) или не использовать совсем. - Так же вы можете не применять
Cookieотправляемые сайтом и получается что при нескольких запросах подряд на один сайт у вас будут приходить "чистые" запросы несколько раз подряд что смотрится крайне странно. - У вас может быть крайне странное поведение. Например человек на доске объявлений, даже если применил фильтры, всё равно не будет открывать и просматривать более пятидесяти объявлений да ещё, и выделяя на каждое объявление 11 секунд.
- На сайте стоит защита от какого-нибудь CloudFlare, который достаточно быстро определяет "неправильных" клиентов и соответственно, везде где стоит он же, вы автоматически персоной нон грата.
Дополню ответ Ein. Скорее всего сайты смотрят на ваш ip и видят, что с этого ip идёт много запросов и поведение этого ip не соответствует поведению человека. Вы можете использовать прокси и каждый раз менять свой ip адрес, чтобы сайты не знали, что это вы