Вопрос по Python и threading

Код, скрипт парсера, парсит оочень большое колличество ссылок, и выполняется оочень долго, минут 40. Я решил залезть в многопоточность, чтоб все это работало побыстрее,но так я ничего и не понял. Помогите, как ускорить данный код с помощью библиотеки threading. Может нужно первую функцию запускать, и что бы вторая функция не ждала полного завершения работы первой. Ну или как, объясните пожалуйста. Ниже код, но он выдает ошибку (

from bs4 import BeautifulSoup
import requests 
import csv
import threading

urls_list = []

def pars_url(url):
    html = requests.get(url)
    soup = BeautifulSoup(html.text, 'lxml')
    urls = soup.select('loc')
    for url in urls:
        url_list = url.text.split('/')
        if len(url_list) > 5:
            urls_list.append(url.text)      
        else:
            pass

t = threading.Thread(target=pars_url, name='Thread1', args=('https://xn----8sbatmpykxep.xn--p1ai/sitemap.xml'))


def all_pars(list):
    for url in list:
        html = requests.get(url)
        soup = BeautifulSoup(html.text, 'lxml')
        artikul = soup.select('#product_model')
        application = soup.select('#tab-methoduse > p')
        contraindications = soup.select('#tab-contraindications > p')
        
t.start()
all_pars(urls_list)

Скинте ссылку на обучение или разъяснение для чайников по threading


Ответы (0 шт):