Scrapyd настройка запуска пауков с последующей отправкой e-mail

Всем привет!

Прошу помощи/совета как настроить циклическую работу парсинга сайтов с генерацией одного отчета. Используется фреймворк Scrapy, на данный момент парсятся 4 источника, в будущем их количество будет увеличиваться. Пауки запускаются с одинаковой периодичностью.

В Scrapy можно воспользоваться pipeline-методом close_spider, который вызывается после завершения работы паука, но в данном варианте будут формироваться отчеты для каждого отдельного паука.

Возможно ли каким-нибудь образом настроить один job в Scrapyd, который будет запускать несколько пауков и после них .py скрипт по формированию и отправке одного отчета?

В данный момент используется скрипт с последовательностью запуска на cron`е (без Scrapyd):

from project.reports import send_report
import os


def start():
    os.system("scrapy crawl spider1")
    os.system("scrapy crawl spider2")
    os.system("scrapy crawl spider3")
    os.system("scrapy crawl spider4")

    send_report()


start()

Проект крутится на докерах с лютыми костылями. Хочу навести порядок, но что-то подсказывает, что одного Scrapyd будет недостаточно.


Ответы (0 шт):