beautifulsoup разное поведение работы при обработке страницы на сайте и на локальном диске
пытаюсь парсить:
from bs4 import BeautifulSoup
import requests
URL = 'https://auto.ru/cars/honda/jazz/all/?transmission=AUTO&transmission=AUTOMATIC&transmission=ROBOT&transmission=VARIATOR'
HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}
r = requests.get(URL, headers=HEADERS)
r.encoding = 'utf-8'
soup = BeautifulSoup(r.text, 'html5lib')
cards = soup.find_all('div', class_='ListingItem-module__container ListingCars-module__listingItem')
print(cards)
выдает пустой список. Хотя если сохранить эту же самую страницу и снова прогнать:
from bs4 import BeautifulSoup
jazz = open('jazz.html', encoding='utf-8')
soup = BeautifulSoup(jazz, 'html5lib')
cards = soup.find_all('div', class_='ListingItem-module__container ListingCars-module__listingItem')
print(cards)
то выдает заполненный список для дальнейшего разбора.
В чем причина такого отличия в работе?