Python, Как при парсинге сайта сделать задержку, чтобы взять информацию?
В сайте постоянно обновляется число, но с задержкой, и мне нужно, чтобы код типо подождал и уже вывел нужную информацию. Я использую модули, но как мне сказали, модуль requests не обновляет страницу, а тупо копирую всю инфу не меняя после (надеюсь поняли)
Данные беру с кол-во участников!
Не спрашивайте зачем именно на этом сайте, просто учусь это делать:
#Цвет текста
from rich.console import Console
from rich.theme import Theme
from colorama import Fore, Back, Style, init
console = Console()
console.print("[bold blue]Parser nav[/] [green]v1.O[/]", justify="center")
#Чтобы было ожидание перед дальнейшими действиями
import time
import random
#Работа с сайтом
import requests
import fake_useragent
from bs4 import BeautifulSoup
from selenium import webdriver
import lxml
list_yes = ["yes", "y", "да", "д", "YES", "Yes", "Y", "ДА", "Д", "Да" "+", "++", "+++", "++++", "++++", "конечно", "КОНЕЧНО", "Конечно"]
link = ("https://free.navalny.com")
#Фейк посещение
user = fake_useragent.UserAgent().random
header = {'user-agent': user}
def parser_naval():
#работа с ссылкой
response = requests.get(link, headers = header).text
soup = BeautifulSoup(response, 'lxml')
time.sleep(3) #Работать не будет, тупо пример, как я делал
block = soup.find('div', class_="big-digit") #Перед загрузкой там big-digit loader
print(block)
parser_naval()
while True:
returns = console.input('Ещё раз? [[green]Да[/]/[red]Нет[/]]: ')
if returns in list_yes:
parser_naval()
else:
break
console.input("Чтобы закрыть программу нажмите клавишу [green]ENTER[/] ")
ВЫВОД
Parser nav v1.O
<div class="big-digit loader"> … </div>
Ещё раз? [Да/Нет]:
Вроде всё объяснил