Парсинг сайта с кнопкой "загрузить еще"
Я пытаюсь собрать информацию с определенного веб ресурса с помощью Python и библиотек BeautifulSoup и requests. Все хорошо, если бы не одно но! Когда долистываешь страницу до конца есть кнопка "загрузить еще" и все что ниже (то, что подгружается) не парсится.
Читал документацию к либам - не помогло (возможно плохо читал). Пробовал решить проблему с помощью автоматического клика - не помогло
Как можно было бы решить эту проблему?
Ответы (2 шт):
Если вы хотите по-простому, то можно использовать selenium, а если вам не нужно открывать браузер, то отправьте точно такой же запрос, что и кнопка 'загрузить ещё'
Всем спасибо за ответы. Я использовал selenium и драйвер для хрома (chromedriver). Вот мой код:
from selenium import webdriver
driver = webdriver.Chrome(executable_path="path to driver")
driver.get('https://example.com')
button = driver.find_element_by_xpath('xpath of the li you are trying to access')
button.click()
я использовал поиск элемента по xPath, так как до кнопки надо было еще долистать