Как правильно организовать приём и обработку данных, полученных через webhook?
Сервер, отправляющий webhook, ждет ответ в течении 5 секунд. За это время обработчик на php не успевает закончить работу и принять новое уведомление, поэтому данные с webhook нужно где-то хранить.
Сейчас работа с данными реализована следующим образом: скрипт, получающий webhook, записывает его содержимое в файл. Каждые 5 минут по крону запускается обработчик, он считывает все содержимое файла и выполняет необходимые действия, затем считывает файл заново и переписывает, оставляя лишь необработанные строки(те, что были записаны пока обработчик выполнялся).
Когда запросы поступают постепенно, все работает хорошо. Но если в файле накапливается много запросов, они начинают выполняться очень медленно.
Можно ли без кардинальных изменений улучшить существующие скрипты и как в принципе правильно работать с данными webhook?