Заставить chrome сохранить html тот который обработанный по F12
Новичок в python: Есть задача распарсить один сайт. Но сайт вероятно защищен от парсинга. Так как код возвращаем не содержит нужной стурктуры. Зато задача работает если на странице нажать F12 скопировать этот код в файл и его распарсить, то все работает. Нужно сохранить то что выдает chrome по F12.
как вообще это сделать? Заставить Chrome сохранить страницу которую он отображает в отладчике.
спасибо.
Ответы (2 шт):
Автор решения: Manul74
→ Ссылка
Разобрался сам
import requests
from selenium import webdriver
from bs4 import BeautifulSoup
driver = webdriver.Chrome()
driver.get('xxxxxx')
with open('page.html', 'w+',encoding='utf-8') as f:
f.write(driver.page_source)
f.close()
driver.close()
а потом читаем из файла
Автор решения: Code Is my life
→ Ссылка
Используйте Selenium или request-html модули для парсинга, сайт, который Вы парсите, скорее всего сгенерирован javascript'ом