Как спарсить скрытые страницы на питоне

<nav class="paginator cf"> <ul>   <li class="current"><a href="/ru/list/transport/cars?page=1" data-pjax="">1</a></li>  <li><a href="/ru/list/transport/cars?page=2" data-pjax="">2</a></li>  <li><a href="/ru/list/transport/cars?page=3" data-pjax="">3</a></li>  <li><a href="/ru/list/transport/cars?page=4" data-pjax="">4</a></li>  <li><a href="/ru/list/transport/cars?page=5" data-pjax="">5</a></li>  <li><a href="/ru/list/transport/cars?page=6" data-pjax="">6</a></li>  <li><a href="/ru/list/transport/cars?page=7" data-pjax="">7</a></li>  <li><a href="/ru/list/transport/cars?page=8" data-pjax="">8</a></li>  <li><a href="/ru/list/transport/cars?page=9" data-pjax="">9</a></li>  <li><a href="/ru/list/transport/cars?page=10" data-pjax="">10</a></li>  <li><a href="/ru/list/transport/cars?page=11" data-pjax="">11</a></li>   <li class="is-next-page"><a href="/ru/list/transport/cars?page=12" data-pjax="">»</a></li> <li class="is-last-page"><a href="/ru/list/transport/cars?page=752" data-pjax="">последняя</a></li>  </ul> </nav>


def get_pages_count(html):
    soup = BeautifulSoup(html, 'lxml')
    pagination = soup.find_all('li', class_='is-next-page')
    if pagination:
        return (pagination[-1].get_text())
    else:
        1

Этим кодом не получается, с помощью range вроде как парсится только 10 страниц из 700, авторизация не требуется что бы посмотреть все, кто может подскажите пожалуйста. Этот сайт пытаюсь спарсить https://999.md/ru/list/transport/cars


Ответы (0 шт):