Как извлечь информацию из страниц по списку url с помощью python?

У меня есть список urls. Список состоит из нескольких сотен urls. Каждый из urls относится к отдельной странице со своей структурой, соответственно структура страниц по каждому из urls разная.

Я хочу написать алгоритм, который будет идти по списку страниц, витаскивать текстовую информацию со страницы и сохранять в какой-то файл. При чем, я не хочу, чтобы в файл сохранялись хедеры сайтов, футеры и другая вспомогательная информация.

Вот примеры url-ов:

Проблема в том, что структура страниц разная и я не знаю, как извлечь текстовую информацию со страниц с разной структурой. Если бы структура страниц была одинаковой, решить задачу было бы просто, скажем с помощью Beautiful-soup.

Можно ли создать алгоритм, который будет извлекать информацию со страниц с разной структурой?
Какие библиотеки для этого можно использовать?


Ответы (1 шт):

Автор решения: Jack_oS
  • возьмите selenium;
  • скормите ему свой список из нескольких сотен urls;
  • копируйте на каждой странице текст (ctrl+A);
  • сохраняйте буфер обмена в текстовый файл для дальнейшего использования...
→ Ссылка