Собрать все внутренние url в список ресурса со всех страниц каталога
Изучаю фреймворк Scrapy. Собирать данные со страниц указанных в списке start_urls[] получается. НО! хочу автоматизировать. т.е. Создать список URL внутренних. Чтобы паук прошелся по сайту, взял все ссылки внутренние на группы/подгруппы каталога товаров и создал список.
Вот существующий код:
class QuotesSpider(scrapy.Spider):
name = "tovar"
allowed_domains = ['tovar.ru']
page = ['group1/tovar_group1','group2/tovar_group2',]
start_urls = []
for x in page:
start_urls.append('https://www.tovar.ru/catalog/' + f'{str(x)}',)