.exe из .py = большой вес и долгий запуск

Создаю оконное приложение на PyQT. Берутся данные из одного экселя, производится довольно простой расчет с использованием только нампая, и его результат сохраняется в другой эксель с помощью ДатаФрейма. Файлы ввода и вывода выбираются с помощью диалогового окна.

Собираю .exe через: pyinstaller -F -w (отключаю вручную все не нужные модули через --exclude-module). Но в итоге этот .exe весит 300 мб и запускается по 50 секунд. Ну это же не серьезно.

.py весит 9 кб, а экзешник 300 мб. Да если его папкой собирать, там .dll весят сами по себе около 300 мб все вместе взятые, всякие mkl_core и прочие. Хотелось бы создать невесомый и быстрый экзешник, а на выходе какая-то жесть.

Может кто-то подсобит советом? Это вообще возможно? И как тогда все это урезать? UPX пробовал - не помогает, срезает максимум до 250 мб и "ломает" .dll.