Отфильтровать все не int значения

let str = '{"f", 3, 5, 1}';

Есть такая вот строка я пытаюсь отфильтровать все значения кроме int делаю это таким образом

console.log(str.replace(/[^}{,\d]/g, ''));

На выходе я получаю

"{,3,5,1}" 

Как можно переписать регулярное выражение, что бы если находилось не int значение оно убирало еще и лишнюю запятую Т.е. надо получить на выходе "{3,5,1}"

Думаю заменить все ,,, на , {, на { и так далее но это похоже на костыль + это не надежно, так же думал разделить по , и откинуть пустые значения и составить новую строку, но может быть это можно сделать регуляркой?