Ускорение выгрузки данных из mysql для высоконагруженных приложений
Столкнулся с проблемой: необходимо выгружать за приемлемое время в csv большой объем данных из базы MySQL (десятки миллионов записей). Запрос содержит большое количество колонок для выгрузки с кучей джойнов и преобразований данных. Что было уже сделано для ускорения:
- Расставлены все индексы
- Запрос переведен на небуферизированный
- Выбрана наиболее быстрая библиотека для выгрузки в csv
Все равно на больших объемах данных выгрузка происходит очень долго (со стороны БД). Хотелось бы узнать, что еще можно сделать для ускорения? В какую сторону можно покопать?
Думал в сторону разработки ETL, которая бы взяла на себя часть преобразования данных и записывала их в удобный для последующей выгрузки формат (сокращая в том числе кол-во join). Но с ходу не нашел полезных статей и подходящего формата (бд) для хранения