Можно ли в add_library cmake указать в какой файл поместить бинарники библиотеки?

Вы имеете ввиду какое имя файла должно быть у библиотеки? Это можно сделать с помощью команды :

set_target_properties( target1 target2
                  PROPERTIES prop1 value1
                  prop2 value2 ...)

указав в качестве PROPERTY OUTPUT_NAME.

Если вы все-таки имели ввиду в какую директорию поместить бинарники, то это можно сделать выставив переменным: ARCHIVE_OUTPUT_DIRECTORY для статических либ, RUNTIME_OUTPUT_DIRECTORY для динамических библиотек и исполняемых файлов, необходимые значения.