Как сделать программу независимой от установленных библиотек?

Как вариант программу можно собрать при помощи pyinstaller

Так как вы сказали что pyinstaller не совсем подходит вам из-за отсутствия кроссплатформенности, можете попробовать cx_Freeze. Делает примерно то же самое что и pyinstaller, но можно запускать на любой OS

Решил данную проблему тем, что скопировал нужные библиотеки в папку с программой, и в коде изменил путь, откуда будет происходить импорт библиотек:

import sys
sys.path.insert(0, 'modules/')
import name #Импорт библиотек из папки modules

в sys.path находится стандартный адрес, откуда делается импорт библиотек, но 0-ой элемент пустой как-раз для такого случая, если нужно изменить путь.