Как использовать сторонние библиотеки (например nuget), что бы не оставлять их в папке с exe

У меня есть приложение которое использует библиотеку из nuget, при компиляции эта библиотека помещается в папку сборки проекта, и если вытащить библиотеку от туда приложение начинает работать не корректно. Можно ли каким то образом использовать эту библиотеку, при том что она не будет лежать в папке с исполняемым файлом?

Если нельзя, то объясните как действовать в таких случаях, и как это делают в больших проектах.