Как запретить в robots ссылки у которых на конце .html?
Собственно вопрос в заголовке. В интернете не смог найти примера-решения.
Есть сайт который раньше был статическим, теперь он динамический на php и в конце ссылок отсутствует расширение .html, но в индекс то попадают то выпадают старые ссылки с этим расширением. Хочу запретить это в роботсе, кто знает как это сделать?
Ответы (2 шт):
Автор решения: 69 420 1970
→ Ссылка
User-agent: *
Disallow: /~user/site/
или...
каждый .html выборочно:
User-agent: *
Disallow: /~user/site/foo.html
Источник: https://www.robotstxt.org/robotstxt.html
Автор решения: Kers
→ Ссылка
Поскольку в тегах указан .htaccess рискнуть предложить такой вариант:
RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^\.]+)$ $1.html [NC,L]
Так будут работать старые ссылки, а робот постепенно перенесет все в новый формат. В варианте robot.txt старые ссылки останутся не рабочими.
Есть еще вариант: Убрать .html во всех файлах статичного сайта