Парсинг stackoverflow.com с помощью beautiful soup

Пытаюсь получить ответ по ссылке на вопрос с помощью функции:

QURL = 'https://stackoverflow.com/questions/tagged/web-scraping?sort=votes&page=1pa' \
   '/questions/8286352/how-to-save-an-image-locally-using-python-whose-url-address-i-already-know'

def get_answer(q_url=QURL):
    """
    Extracting answer by url of question
    """
    answ_url = q_url
    answ_page = requests.get(answ_url)
    answ_soup = bs(answ_page.text, 'html.parser')
    table = answ_soup.findAll('div', attrs={"class": "s-prose js-post-body"})
    for par in table:
        print(par.find('p').text)

но она не возвращает ничего. Где-то ошибка?

Все понял, ошибка в ссылке, прошу прощения за глупый вопрос


Ответы (1 шт):

Автор решения: S. Nick

Попробуйте так:

import requests
from bs4 import BeautifulSoup as bs


QURL = 'https://stackoverflow.com/questions/8286352/how-to-save-an-image-locally-using-python-whose-url-address-i-already-know'

#'https://stackoverflow.com/questions/tagged/web-scraping?sort=votes&page=1pa' \
#'/questions/8286352/how-to-save-an-image-locally-using-python-whose-url-address-i-already-know'

def get_answer(q_url=QURL):
    """ Extracting answer by url of question
    """
    answ_url = q_url
    answ_page = requests.get(answ_url)
    answ_soup = bs(answ_page.text, 'html.parser')
    table = answ_soup.findAll('div', attrs={"class": "s-prose js-post-body"})

    for par in table:
        try:
            print(par.find('p').text)
        except:
            pass
            

get_answer(QURL)

введите сюда описание изображения

→ Ссылка