получить код html страницы

Question

я хочу скачать код html страницы но не знаю как ниже приведен код который мне не подходит ведь он скачивает саму страницу , а мне нужен код как при нажатии CTRL + U в Гугл Хром

def down():
    resp = req.get(site)
    soup = BeautifulSoup(resp.text, 'lxml')
    with open('site.html', 'w', encoding='utf-8') as file:
        file.write(str(soup))

Answer 1

Можно использовать библиотеку requests_html, чтобы выполнить js-код на странице.

Пример:

# pip install requests-html
from requests_html import HTMLSession

session = HTMLSession()
rs = session.get('https://coronavirus-monitor.ru/statistika/')
with open('rs_before_js.html', 'w', encoding='utf-8') as f:
    f.write(rs.html.html)

rs.html.render()  # Без этого не будет выполнения js кода

with open('rs_after_js.html', 'w', encoding='utf-8') as f:
    f.write(rs.html.html)

БЛОГ НА HUSL

получить код html страницы

Ответы (1 шт):