Проблема после удаления файлов из списка отслеживаемых (git)

Кратка история:

• сперва отслеживал гитом изменения в директории image и коммитил их
• позже решил, что хочу исключить директорию из списка отслеживаемых
• добавил правило /image/* в .gitignоre и вызвал команду git rm --cached -r image/

Все работает отлично до тех пор, пока я не переключусь на один из предыдущих коммитов, где image ещё отслеживалась. После checkout на старый коммит, git восстанавливает прежнее состояние файловой системы (в том числе и директорию image). Но после возвращения на рабочую ветку, полностью чистит директорию image, за исключением тех файлов, которые я добавлял после git rm --cached -r image/.