Ruby on Rails: фоновые задачи: какой стек технологий выбрать
Нужно с разных серверов выполнять фоновые задачи, и результаты выполнения возвращать в центральную БД.
"Накидыватель задач" чтобы принять решение, о том, какому воркеру какую задачу отдать, должен иметь возможность получить от воркера информацию о его состоянии (сколько задач сделал, сколько еще в пуле, текущая задача..)
Безопасность: К сети между серверами доверия нет (интернет).
Надежность решения: обрывы связи, зависания воркера ..
Что у нас сейчас есть:
RoR + Postgres + Delayed Job
все крутится на 1м сервере, dj хранит все в pg, redis-а нет