Можно ли удалить первую ветку в гит-репозитории? Или хотя бы переименовать ее?

ветка («branch») в программе git — это плавающий указатель на коммит (есть и другой тип указателя — фиксированный — это метка («tag»)).

у данного типа указателя имеется три основных характеристики:

1. имя
2. коммит, на который он в данный момент указывает
3. (опциональная) привязка к указателю в одном из удалённых хранилищ

имя можно в любой момент поменять с помощью команды branch программы git. пример:

команда branch без параметров покажет имеющиеся локальные указатели (звёздочкой отмечен текущий):

$ git branch
* first
  second

переименуем first в bad:

$ git branch -m first bad

и посмотрим результат:

$ git branch 
* bad
  second

ну а second переименуем в good:

$ git branch -m second good

и посмотрим результат:

$ git branch 
* bad
  good

две остальные характеристики (коммит и привязка) при этом не изменились.

являлся ли указатель текущим на момент переименования, никак не повлияло на процедуру (и результат) изменения его имени.

и точно так же никак не повлиял и порядок, в котором когда-то были созданы эти указатели.

удалить указатель можно с помощью той же команды branch:

$ git branch -d good 
Deleted branch good (was c0f165b).

главное: нельзя удалить текущий указатель. сначала надо сделать текущим какой-нибудь другой указатель (с помощью команды checkout). а порядок создания указателей, опять-таки, никак не повлияет на возможность их удаления.