Как отменить загрузку файлов на гит?

В папке сервера, есть директория с загрузками, забыл поставить ее в гитигнор, сделал

git add ./server

ну и сделал коммит.Дальше пытался запушить(еще не увидел своей ошибки), но там есть файлы свыше 100 мб и конечно словил предупреждение и отмену загрузки. Дальше пробовал git reset и git reset HEAD~, и после того как поставил в гитигнор папку с загрузками и удаляю не нужную директорию вручную, наново добавляю сервер в гит, он пытается загрузить дальше уже не существующий большой файл. Важно сохранить изменения в коде и убрать из гита файлы которые он пытается грузить?

При загрузке получаю в консоль:

Директории локально уже не существует, да, ошибся и не удалил из индекса изначально. Команда: git rm ./server/uploads уже не видит директории