Elasticsearch + сообщения из ВК

Написал воркер, который при запуске собирает все диалоги из ВК и кладет их в elasticsearch.

Также он в реальном времени собирает все сообщения и кладет в все тот же elastic.

Следовательно, нужно предусмотреть ту ситуацию, когда у нас упал сервер или упал воркер и сбор данных не ведется.

При следующем старте нужно каким-то образом обновлять базу данных.

Встает вопрос - как лучше это делать?

У меня в голове только один реальный метод: это перед каждым добавлением очередного сообщения проверять есть ли ID сообщения в базе, но это сильно замедлит работу, что недопустимо.

Слаб в эластике.