Оптимизация полей с Foreign Key в Django

У меня есть 12 тысяч объектов, у каждого есть модель друг через ForeignKey поле. Каждый раз при выводе мне нужно выдавать данные по этим дружественным полям. Использую prefetch_related, работает более менее быстро, но хотелось бы еще быстрее, т.к когда пользователей много и они забирают эти объекты процессор конкретно нагружается и некоторым выдает ошибки. Думал сделать через кеш, но что-то не понятно как связать его с более менее быстрым prefetch_related, т.к если брать и первый раз прогружать через get, затянется на несколько минут. ( сейчас запрос выполняется за 3 секунды, хотелось бы как можно быстрее )