Как получить title и сохранить в файл с помощью python?

Question

Только начинаю изучать python и не могу разобраться Есть текстовый файл, который содержит ссылки, каждая строка это отдельная ссылка. Необходимо получить заголовок страницы, так называемый title. И сохранить результаты в текстовый файл в формате URL,title

import requests
from bs4 import BeautifulSoup as bs

f = open(r'url.txt','r+')
a=[]
for i in f:
    a.append(i.lower().replace('\n',''))
    a[-1]='https://'+a[-1]
f.close()
title_list=[]
for url in a:
    r=requests.get(url)
    page=bs(r.content,'html.parser')
    title=page.find('title')
    title_list.append(url)
    title_list.append(title.text.replace('\n',''))

print(title_list)

Answer 1

ну если у вас проблема не с получением url с файла, то вот пример

import requests
from bs4 import BeautifulSoup as Soup
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}


response = requests.get('https://habr.com/ru/top/daily/',headers=headers)
soup = Soup(response.content, 'html.parser')
title = soup.find("title")

print(title.text)

с записью нового файла надеюсь тоже нет проблем.

БЛОГ НА HUSL

Как получить title и сохранить в файл с помощью python?

Ответы (1 шт):