Как спарсить ссылки?
import requests
from bs4 import BeautifulSoup
URL = 'https://stopgame.ru/news'
HEADERS = {'ll'}
def get_html(url, params=None):
r = requests.get(url, headers = HEADERS, params = params ) #float == 0.1, int == 0
return r
def get_content(html):
soup = BeautifulSoup(html, 'html.parser')
for x in soup.select('.article-summary .caption'):
print(x.get_text(strip=True)
def parse():
html = get_html(URL)
print (html)
get_content (html.text)
parse()
Как можно спарсить href ссылки?
Я пробовал через soup.find_all с указанием тега и с указанием класса, но не получается...
Ответы (1 шт):
Автор решения: Jack_oS
→ Ссылка
Через soup.find_all с указанием тега и с указанием класса
Работает, если правильно указать теги и классы:
def stop_game():
URL = 'https://stopgame.ru/news'
r = requests.get(URL)
soup = BeautifulSoup(r.content, 'html.parser')
articles = soup.find_all('div', class_='caption caption-bold')
for a in articles:
print(a.find('a')['href'])
Выведет:
/newsdata/46231
/newsdata/46230
/newsdata/46229
...
...
/newsdata/46213
/newsdata/46212
/newsdata/46211
