Как в selenium добавлять в массив новые динамически прогруженные элементы и тут же их обрабатывать в цикле

Мне нужно спарсить фото с сайта. Там динамическая прогрузка фото при скролле вниз и фото очень много (около 15 000). Проблема в том, что мне нужно ждать очень много времени, чтобы оно всё прогрузилось таким способом:

SCROLL_PAUSE_TIME = 3
# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

А потом я парсю все теги img и беру с них ссылку, там уже качаю фото через urllib. Я хочу сделать так, чтобы новые фото прогрузились и тут же скачались и так далее. Как мне реализовать такую прогрузку?


Ответы (0 шт):