Как спарсить эту страницу?
Подскажите пожалуйста, как спарсить эту страницу: https://www.re-store.ru/catalog/MYD82RU-A/. Мой парсер в теге body вместо кода html выводит js скрипты. Код парсера:
from bs4 import BeautifulSoup
import requests
url = 'https://www.re-store.ru/catalog/MYD82RU-A/'
page = requests.get(url)
print(page.status_code)
soup = BeautifulSoup(page.text, "html.parser")
print(soup)
И еще, можно ли парсить комментарии?
Ответы (1 шт):
Автор решения: Cowboyserg
→ Ссылка
В таких ситуациях (когда страница в Просмотреть код страницы отличается от того, что выводит python) лучше использовать selenium, как и подсказал gil9red. Он сымитирует ваш браузер. Подобный код я применял в своем проекте.
from bs4 import BeautifulSoup
from selenium import webdriver
import time
url = r'https://www.re-store.ru/catalog/MYD82RU-A/'
def get_html_new(url=None):
browser = webdriver.Chrome()
browser.get(str(url))
html = browser.page_source
time.sleep(2)
return html
html = get_html_new(url=url)
soup = BeautifulSoup(html, 'lxml')
teg = soup.find("body")
print(teg)