Как хранить много динамических данных в БД
Подскажите, пожалуйста, как организовать хранение данных или в каком направлении гуглить. Есть парсер 24\7 анализирует сайт, по каждой позиции есть постоянно изменения(например положение в выдаче), как правильно организовать хранение этих данных, чтобы потом выводить эту инфу в график и т.п. Использовать запись в файл, а ссылку на файл хранить в БД
Ответы (1 шт):
Это как то очень похоже на поисковую систему. Можете посмотреть на что-то типа ClickHouse от Яндекса, специально предназначенную для подобных задач.
Либо попробуйте time-series БД, например в связке Prometheus / Grafana можно хранить метрики и показывать их в разнообразных графиках. Метрики это видимо ваши данные, которые меняются время от времени и важно знать в какой момент времени было какое значение. Я может не до конца понял тонкости задачи вашей, но вполне может оказаться что этого вам хватит, экспортера данных с парсера несложносвоего написать под формат Prometheus, а может вообще готовое будет уже