etckeeper и разграничение доступа

У меня есть установленный etckeeper на десяти серверах с Centos 6 и Centos 7. Он выгружает /etc с сервера в индивидуальный гит-репозиторий (для каждого сервера он свой). Мой гит развернут на основе Gitea. Так как ssh-ключ etckeeper установлен в git (для доступа к репозиториям и загрузки туда /etc), то с любого сервера, где установлен etckeeper, можно получить доступ по SSH ко всем репозиториям серверов (это просмотр репозиториев и его содержимого, выполнение разных манипуляций с репозиториями и так далее). Тем самым нарушается безопасность, так как владелец любого сервера с установленным etckeeper может получить доступ к репозиториям других серверов, которые ему не принадлежат.

Вопрос: как я могу ограничить доступ к репозиториям «чужих» серверов? Нужно ограничить доступ как через CLI, так и через web-интерфейс Gitea