Парсер не собирает все данные с страницы из-за AJAX Python
Я создал парсер который собирает названия продуктов со страницы магазина "ВкусВилл", однако он собирает только 18 названий из-за AJAX. Я попробовал использовать Selenium для погрузки всей страницы, но к сожалению это не помогло.
Код парсера:
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
driver = webdriver.Chrome(executable_path=r'Path to driver')
r = requests.get('https://vkusvill.ru/goods/molochnye_produkty_yaytso/')
soup = BeautifulSoup(r.text, 'html.parser')
driver.execute_script("window.scrollTo(0, 0)")
element = soup.find_all('a', class_='ProductCard__link js-datalayer-catalog-list-name')
for index in range(len(element)):
elem_soup = BeautifulSoup(str(element[index]), 'html.parser')
title = elem_soup.find_all('a')[0].text
title = ' '.join(title.split())
print(title)