Как парсить сайт, где есть пагинация и при переходе по страница не меняется url в строке браузера
Делаю парсер сайта на Python, но столкнулся с проблемой. Когда я нажимаю кнопку перехода на следующую станицу каталога, url никаким образом не изменяется. Прочитал в гугле и понял, что это реализовано через ajax-запросы (надеюсь не перепутал). Вопрос в том, как мне переходить на другие страницы сайта через url? Нашёл статью, в которой следуя инструкции я понял, что при нажатии кнопки перехода на следующую страницу, приходит XHR-запрос с словарём. Буду благодарен если кто-то хоть натолкнёт на мысль, как это реализовать. Спасибо
Ответы (1 шт):
Загрузка контента происходит не только по url, который вы видите в адресной строке браузера, контент так же может загружаться с помощью XHR. Чтобы увидеть как именно это происходит откройте инструменты разработчика в браузере и перейдите во вкладку Network. Далее переходите по страницам и смотрите какие запросы и куда выполняются.
Посмотрим на пример из комментария к вопросу (https://steamcommunity.com/market/listings/730/Glock-18%20%7C%20High%20Beam%20%28Factory%20New%29).
Видно что получение контента на страницах происходит по адресу: https://steamcommunity.com/market/listings/730/Glock-18%20%7C%20High%20Beam%20%28Factory%20New%29/render/?query=&start=0&count=10&country=RU&language=russian¤cy=1
В query запросе этого URL меняются параметры start и count, которые указывают с какого элемента начать и сколько элементов получить соответственно