Нужно ли закрывать от поисковиков файлы и архивы?
На сайте есть ссылки на скачиваемые файлы, например документ PDF и архив ZIP. Поисковики их определяют как отдельные страницы и индексируют (например "/files/example.pdf"). Нужно ли закрывать их от поиска, а также как и когда?
У меня на сайте один файл (.txt) яндекс удалил из поиска как малозначимую страницу, еще один подобный пока в поиске. Боюсь они будут расцениваться как НКС, поэтому закрою их в robots.txt. На будущее хочется разобраться как будет правильнее поступать с разными файлами.
Ответы (2 шт):
Если вы не хотите что бы данные файлы были доступны(каким либо образом) в поиске, то необходимо скрывать. Не факт что боты смогут проанализировать эти документы и показывать их содержимое в запросе, но обычно скрывают. А в странице где эти файлы можно прочитать четко описывают данные файлы
Вам лучше отдавать файл на скачивание.
После заголовков страницы, нужно дописать readfile($file);
Пример, кода:
function file_force_download($file) {
if (file_exists($file)) {
if (ob_get_level()) {
ob_end_clean();
}
// заставляем браузер показать окно сохранения файла
header('Content-Description: File Transfer');
header('Content-Type: application/octet-stream');
header('Content-Disposition: attachment; filename=' . basename($file));
header('Content-Transfer-Encoding: binary');
header('Expires: 0');
header('Cache-Control: must-revalidate');
header('Pragma: public');
header('Content-Length: ' . filesize($file));
// читаем файл и отправляем его пользователю
readfile($file);
exit;
}
}