Как спарсить скрытые страницы на питоне
<nav class="paginator cf"> <ul> <li class="current"><a href="/ru/list/transport/cars?page=1" data-pjax="">1</a></li> <li><a href="/ru/list/transport/cars?page=2" data-pjax="">2</a></li> <li><a href="/ru/list/transport/cars?page=3" data-pjax="">3</a></li> <li><a href="/ru/list/transport/cars?page=4" data-pjax="">4</a></li> <li><a href="/ru/list/transport/cars?page=5" data-pjax="">5</a></li> <li><a href="/ru/list/transport/cars?page=6" data-pjax="">6</a></li> <li><a href="/ru/list/transport/cars?page=7" data-pjax="">7</a></li> <li><a href="/ru/list/transport/cars?page=8" data-pjax="">8</a></li> <li><a href="/ru/list/transport/cars?page=9" data-pjax="">9</a></li> <li><a href="/ru/list/transport/cars?page=10" data-pjax="">10</a></li> <li><a href="/ru/list/transport/cars?page=11" data-pjax="">11</a></li> <li class="is-next-page"><a href="/ru/list/transport/cars?page=12" data-pjax="">»</a></li> <li class="is-last-page"><a href="/ru/list/transport/cars?page=752" data-pjax="">последняя</a></li> </ul> </nav>
def get_pages_count(html):
soup = BeautifulSoup(html, 'lxml')
pagination = soup.find_all('li', class_='is-next-page')
if pagination:
return (pagination[-1].get_text())
else:
1
Этим кодом не получается, с помощью range вроде как парсится только 10 страниц из 700, авторизация не требуется что бы посмотреть все, кто может подскажите пожалуйста. Этот сайт пытаюсь спарсить https://999.md/ru/list/transport/cars