С чем устанавливается компилятор/интерпретатор?

С чем на компьютер устанавливается компилятор/интерпретатор? Типо вместе с ОС есть сколько-то поддерживаемых для компиляции/интерпретации языков или все они устанавливаются с самим языком программирования? В случае, если с языком программирования, то как при развертывании(изменено) программы ее удается запустить на компе и без языка программирования?