1000 дублей страниц. Как решить?
Есть сайт на php. Страница типа site.com/page.html
Проблема вот в чем:
Если добавить хоть один символ в конце урла, например site.com/page.html5 то создается дубль страницы вот так: site.com/page.html5.html
Обнаружил что в индексе есть одна и та же страница по сотням адресов типа: site.com/page.html.html.html.html.html или site.com/page.html.html.html.html.html.html.html.html.html.html и до бесконечности.
в htaccess есть вот что
RewriteCond %{REQUEST_URI} !^(.+)\.(html|php)$
RewriteRule . %{REQUEST_URI}.html [R=301,L]
без него страницы доступны по другим вариантам, например вот так: site.com/page.345 или site.com/page.teghfhjghjkk, вобщем с любым набором символов и любым их количеством. но тогда нет вышеперечисленных дублей с html
404 отдает только если в урле страницы есть ошибка, но не после точки.
site.com/page - вот так 200
site.com/pagrd - вот так 404
Голову сломал уже. Кто может сталкивался с подобным