Как в selenium добавлять в массив новые динамически прогруженные элементы и тут же их обрабатывать в цикле
Мне нужно спарсить фото с сайта. Там динамическая прогрузка фото при скролле вниз и фото очень много (около 15 000). Проблема в том, что мне нужно ждать очень много времени, чтобы оно всё прогрузилось таким способом:
SCROLL_PAUSE_TIME = 3
# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
# Scroll down to bottom
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
# Wait to load page
time.sleep(SCROLL_PAUSE_TIME)
# Calculate new scroll height and compare with last scroll height
new_height = driver.execute_script("return document.body.scrollHeight")
if new_height == last_height:
break
last_height = new_height
А потом я парсю все теги img и беру с них ссылку, там уже качаю фото через urllib. Я хочу сделать так, чтобы новые фото прогрузились и тут же скачались и так далее. Как мне реализовать такую прогрузку?