Собрать все внутренние url в список ресурса со всех страниц каталога

Изучаю фреймворк Scrapy. Собирать данные со страниц указанных в списке start_urls[] получается. НО! хочу автоматизировать. т.е. Создать список URL внутренних. Чтобы паук прошелся по сайту, взял все ссылки внутренние на группы/подгруппы каталога товаров и создал список.

Вот существующий код:

class QuotesSpider(scrapy.Spider):
    name = "tovar"
    allowed_domains = ['tovar.ru']
    page = ['group1/tovar_group1','group2/tovar_group2',]
    start_urls = []
    for x in page:
        start_urls.append('https://www.tovar.ru/catalog/' + f'{str(x)}',) 

Ответы (0 шт):