Парсинг пайтона, как скачать всю страницу
Есть многие сайты где что бы посмотреть весь контент нужно пролистать в низ, и он сгенерируется. Как сделать так на пайтоне что бы можно было бы скачать всю страницу с подгружаемом контентом. Пример такой страницы, все записи сообщества в вк
Ответы (1 шт):
Автор решения: Oleg Aleksandrov
→ Ссылка
Самый простой способ это имитировать работу обычного браузера. Сделать это можно посредством любого headless browser. И затем, обратившись к объекту windows страницы проскролить вниз. Как headless browser можно использовать Selenium WebDriver для Python. Код будет выглядеть примерно так (я его не проверял)
from selenium import webdriver
driver=webdriver.Firefox()
driver.get("https://ru.stackoverflow.com");
driver.execute_script('window.scrollBy(0, 10000000);')
Подробнее, читайте доки по библиотеке тут