Как загрузить полную html страницу, вместе с генерируемым контентом, с помощь selenium
Мне необходимо спарсить виртуальную школу, но контент формируется динамически, с помощью javascript. Когда я скачиваю страницу, то код генерируемый javascript не загружается (для загрузки использую driver.page_source.encode('utf-8') ) Искал информацию в гугле, но везде предлагают подождать полной загрузки страницы, но и это мне не помогает.
Так вот помогите, как я могу загрузить полный HTML с генерируемым контентом?
Мой код
from selenium import webdriver
import time
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
driver = webdriver.Chrome(
executable_path=r'C:\Users\Администратор\.wdm\drivers\chromedriver\win32\90.0.4430.24\chromedriver.exe',
options=options)
url = "https://www.vsopen.ru/app/login"
driver.get(url)
loginForm = driver.find_element_by_class_name("login_form")
login = loginForm.find_element_by_name("login")
login.clear()
login.send_keys(login)
# Enter pass
pswd = loginForm.find_element_by_name("password")
pswd.clear()
pswd.send_keys(pswd)
# Click login
loginForm.find_element_by_class_name("login_submit-btn").click()
driver.get("https://www.vsopen.ru/app/add/studentReport")
time.sleep(5)
with open("hh_success.html", "wb") as f:
f.write(driver.page_source.encode('utf-8'))
UPD
В файле с HTML кодом есть вот такой фрагмент
<script type="text/javascript">
GRADES_LIST.init({
baseUrl: 'api/1',
prefix: 'wx1',
widget: 'studentReport',
startDate: 1619038800000,
stopDate: 1620766800000,
eduYear: {
id: 1844934,
description: 2020-2021,
startDate: 1598907600000,
stopDate: 1630357200000
},
personId: 241773
});
</script>
По сути он мне и нужен, но как мне получить информацию которую генерирует этот скрипт на странице