Обход большого количества директорий на Python

Есть такая проблема - нужно собрать определенные директории с определенными файлами среди огромного количества этих директорий и файлов. В конечный список попадают не все папки и файлы, но обход нужно совершить по всем, так как ищутся конкретные. Количество папок где то 40к, файлов более 30кк. Пробовал делать через os.walk() но такой поиск почему то с определенного момента захлебывается. Все эти манипуляции делаются на сервере с хорошей начинкой. Есть ли какие то решения для такой задачи?