django-import-export импорт xlsx
Пытаюсь импортировать большой объём данных (порядка 100000 строк) из .xlsx. Сервер сваливается в ошибку 500 при этом долго крутит и думает. Импорт малых данных проходит без проблем.
База: mysql внешнняя, доступ к базе по локалке Плагин: django-import-export
Подскажите как можно организовать очередь или что типа чтобы импортировать такой большой объём.
Ответы (1 шт):
Автор решения: Dima
→ Ссылка
Скорее всего, отваливается nginx/gunicorn по тайм-ауту (или какая там у вас связка). Можно подкрутить тайм-аут у самого сервере (воркера), но это максимально костыльное и бредовое решение.
Зачастую берут какую-то асинхронную либу (celery, dramatiq etc) и туда выносят такие задачи.
Главная суть в том, что всё это должно работать в другом, фоновом процессе.