Проблема при парсинге сайта

я решил парсить сайт ( https://www.livejournal.com/rsearch?tags=%D0%BC%D0%B0%D1%81%D0%BE%D0%BD%D1%8B&searchArea=post ) хотел доставать все статьи ( заголовки, картинки, текст ) и далее заносить в базу данных, но на этапе парсинга возникла проблема

у нас есть тэг на сайте

<a class="rsearch-note__caption ng-binding" href="https://fuchik2.livejournal.com/289985.html" target="_blank" ng-bind-html="vm.getItemSubject(match.subject)">COVID-19 - 7</a>

когда сайт парсится эта ссылка превращается в это

<a class="rsearch-note__caption" href="{{match.url}}" ng-bind-html="vm.getItemSubject(match.subject)" target="_blank"></a>

в итоге я не могу вообще ничего достать с сайта, никакой контент не отображается, помогите

вот исходный код если что

import requests
from bs4 import BeautifulSoup as BS


    r = requests.get('https://www.livejournal.com/rsearch?tags=%D0%BC%D0%B0%D1%81%D0%BE%D0%BD%D1%8B&searchArea=post')
    html = BS(r.content, 'html.parser')

    title = html.select('.rsearch-note__caption')
    article = title[0].attrs['href']

P.s. если что с отступами в коде все нормально, тут просто что то барахлит. Заранее спасибо!


Ответы (0 шт):