Парсер не выводит заголовок статьи

Question

import requests 
from bs4 import BeautifulSoup

URL = 'https://stopgame.ru/news'
HEADERS = {'Тут что-то было.'}


def get_html(url, params=None):
    r = requests.get(url, headers = HEADERS, params = params )
    return r



def get_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all('a', class_ = 'caption caption-bold')
    print (items)




def parse():

    html = get_html(URL)    
    print (html)
    get_content (html.text)


parse()

Я делаю парсер stopgame, но при поиске класса 'caption caption-bold' консоль выдает вот это:

Браузер (class):

Answer 1

Вы ищите тег a с class = "caption caption-bold", а тот класс у div, как видно по скриншоту

Вариант парсера через css-селектор:

import requests
from bs4 import BeautifulSoup

rs = requests.get('https://stopgame.ru/news')
root = BeautifulSoup(rs.content, 'html.parser')

for x in root.select('.article-summary .caption'):
    print(x.get_text(strip=True))

БЛОГ НА HUSL

Парсер не выводит заголовок статьи

Ответы (1 шт):