Не отображается весь код страницы html через requests get
Пытаюсь спарсить страницу с помощью Python. После метода requests.get применяю text к переменной, в итоге получаю не весь код html страницы (нету div, class и т.д.).
Из-за этого beautiful-soup не может найти через div/class нужное мне значение.Каким образом можно получить весь код страницы?
Ответы (1 шт):
Автор решения: Mus1k
→ Ссылка
Есть вероятность, что вы получаете мобильную версию сайта или версию сайта для ботов. Дабы избежать этого, нужно притвориться браузером. Для этого нужно зименить заголовки на заголовки браузеров Chrome/Mozilla и т.д. при парсинге.
Так же стоит снизить скорость запросов.
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36"
}
r = requests.get('url', timeout=30, headers=headers)
print(r.text)
Однако, если стоит какая-то "защита" на сайте, то это может не помочь.