beautifulsoup и page-buttons
Как переключать кнопки страниц для парсинга контента через beautifulsoup, если они изменяют html код, а не атрибуты ссылки (по типу 'site.com/news?page=1').
Вот так выглядят элементы на первой странице:
А вот так на второй:
Ответы (1 шт):
Автор решения: Jack_oS
→ Ссылка
На первой странице найдите в paginator номер последней (так, например):
last_page = soup.find_all('div', class_='page-button')[-1].text
и делайте поочередно запросы к страницам:
for page in range(1, int(last_page)):
r = request.get(f'site.com/news?page={last_page}')