Помогите написать функцию на Python для парсера

Question

Тренируюсь в написании парсера на Python. Есть список url. Хочу разобраться, как написать функцию, которая будет

Последовательно предавать один из url в переменную
С помощью requests передавать в soup
Собирает, картинки, заголовки и контент
Записывать все в file.svc

Процесс понимаю, а вот знаний методов работы нет. Кому не трудно сделайте болванку, чтобы я разобрался и почитал, что нужно.

Answer 1

import re

import requests
from bs4 import BeautifulSoup

list_url = ['https://mail.ru', 'https://vk.com', 'https://rambler.ru']

# Перебор ссылок из списка
for url in list_url:
    response = requests.get(url)
    print(url, response)

# Получить все заголовки H[1-6]
for url in list_url:
    response = requests.get(url)
    soup = BeautifulSoup(response.text, features="html.parser")
    headers = soup.find_all(re.compile('^h[1-6]$'))
    print(headers)


# Ссылки на картинки
for url in list_url:
    response = requests.get(url)
    soup = BeautifulSoup(response.text, features="html.parser")
    images = []
    for img in soup.findAll('img'):
        images.append(img.get('src'))

    print(images)

БЛОГ НА HUSL

Помогите написать функцию на Python для парсера

Ответы (1 шт):