Шаблон файла robots.txt
Мне нужно сделать файл robots.txt для сайта компании. Есть ли robots.txt вместе с подсказками по оформлению или всё придётся по отдельности искать?
Ответы (1 шт):
Автор решения: Vadim Voskresensky
→ Ссылка
Файл robots.txt это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем, и выглядит он так:
User-agent: * #указываем, для каких роботов установлены директивы
Disallow: /bin/ # запрещает ссылки из "Корзины с товарами".
Disallow: /search/ # запрещает ссылки страниц встроенного на сайте поиска
Disallow: /admin/ # запрещает ссылки из панели администратора
Sitemap: http://example.com/sitemap # указываем роботу на файл sitemap для сайта
Clean-param: ref /some_dir/get_book.pl
Для успешного индексирования сайта необходимо задать нужные параметры директивам из таблицы выше!)