Как парсить по очереди каждую ссылку?
хочу извлечь характеристики автомобилей из auto.ru это я извлёк данные и какого-то конкретного автомобиля
response = urlopen('https://auto.ru/cars/used/sale/kia/k900/1104714924-db4dfe3d/')
html_soup = BeautifulSoup(response.read(), 'html.parser')
chars = html_soup.find_all('span', class_='CardInfoRow__cell')
как написать, чтобы шарился по https://auto.ru/cars/all/ и извлекал данные каждого авто?
Ответы (1 шт):
Автор решения: Argo7
→ Ссылка
Получить макс кол-во страниц пагинации. Получить все страницы (подставлять номер страницы) https://auto.ru/moskovskaya_oblast/cars/all/?cookiesync=true&page=1
Проходиться по каждой страницы, там по каждому элементу и дальше ваш код.
Пример: https://github.com/Argo3V5A/HDD_SSD_Analayze/blob/main/src/etl/extract.py