Яндекс Маркет блокирует парсинг

Question

Что делатбь, если Яндекс Маркет блокирует парсинг. Пытаюсь спарсить данные выдает вот это:

<!DOCTYPE html>
<html><head><title>403</title><meta content="text/html; charset=utf-8" http-equiv="Content-Type"/>
<style>body{font-family:Arial,sans-serif;margin:0;padding:0;color:#000;background-color:#fff}.header{height:48px}.header__logo{display:inline-block;overflow:hidden;width:130px;height:48px;white-space:nowrap;text-indent:100%;background-repeat:no-repeat;background-position:center bottom}.header__code{font-size:32px;display:inline-block;overflow:hidden;width:76px;height:48px;text-align:center;color:#fff;background-color:#999}.header__logo_lang_ru{background-image:url(//yastatic.net/islands/_/5vJOTgN-leXxtlxIFPiM-vfC24o.png)}.header__logo_lang_en{background-image:url(//yastatic.net/islands/_/fGdVzvAAq7J8px5LpiysN6M_sy8.png)}.content{font-size:15px;line-height:20px;margin:20px 0 30px;padding-left:25px}.content__h1{font-size:21px;font-weight:400}.footer{line-height:30px;height:30px;padding:0 25px;border-top:1px solid #eee}.footer__copyright{font-size:13px}.link{color:#44b}.link:hover{color:#e00}</style>
<!--[if gt IE 8]><!--><link href="captcha.min.css" rel="stylesheet"/><!--<![endif]--><!--[if lte IE 8]><link rel="stylesheet" href="captcha.ie.min.css"/><![endif]-->
</head><body><div class="header">
<a class="header__logo header__logo_lang_ru" href="https://www.yandex.ru/">Яндекс</a>
<div class="header__code">403</div></div><div class="content">
<h1 class="content__h1">Доступ к нашему сервису временно запрещён!</h1><p>Возможно, ваш компьютер заражён вредоносной программой, которая автоматически обращается к Яндексу.<br/>Рекомендуем вам проверить компьютер на вирусы или обратиться к администратору ваш

headers={'User-Agent':'Mozilla/5.0(Windows NT 5.1; rv:47.0) Gecko/20100101 Firefox/47.0',
          'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'}
url='https://market.yandex.ru/catalog--mobilnye-telefony/54726/list?hid=91491&local-offers-first=0&onstock=1'
def request(url):
    session=requests.Session()
    request=session.get(url,headers=headers)
    soup=bs(request.content,'lxml')
    return soup


def main():
    print(request(url))

if __name__=="__main__":
    main()

Answer 1

Для автоматической подмены юзерагента я использую fake_useragent, а перед request запросом я парсю сайты бесплатных прокси серверов, подставляю эти адреса, проверяю их на работоспособность, потом в request, ибо только при таком порядке можно парсить сложные сайты, а еще проставляйте таймауты при каждой итерации цикла.

Процесс через прокси будет долгим, что бы ускорить сбор данных, попробуйте в асинхронном режиме все запустить.

БЛОГ НА HUSL

Яндекс Маркет блокирует парсинг

Ответы (1 шт):