Как убрать (скрыть) определенные файлы с результатов поиска?

O
На сайте с 24.10.2013
Offline
48
572

Всем привет!

Вопрос следующий.

Есть сайт, на котором доступ к определенным файлам закрыт баннером (пример - https://uadvokata.com.ua/vstuplenie-v-nasledstvo/). Посетитель для получения доступу к ссылке для скачивания такого файла должен указать свой электронный адрес.

При стандартных настройках Гугл часто в результатах поиска выдает не статью на сайте, а сам файл, доступ к которому посетителям ограничен.

В файле роботс доступ поисковика к таким файлам был ограничен.

Недавно наткнулся на статью, в которой говориться о том, что такой способ блокировки с точки зрения поисковика не приемлем (/ru/news/2034841).

Подскажите, каким образом я еще могу предотвратить попадание в результаты поиска определённых файлов .doc, .pdf ?

Заранее всех благодарю за представленные ответы.

W
На сайте с 08.02.2017
Offline
167
#1

1. закрыть папку с файлами от индекса

2. сложить файлы на другой домен и закрыть его от индекса

Комплексный аудит ИМ. Формирование УТП, анализ юзабилити, каналов продвижения. Контекстная реклама, настройка систем аналитики. Консультация - бесплатно, в ЛС
Станислав Романенко
На сайте с 05.09.2007
Offline
325
#2

Через HTTP-заголовок - https://developers.google.com/search/reference/robots_meta_tag#использование-http-заголовка-x-robots-tag

Ещё вариант - генерировать уникальный URL для скачивания файла только после указания электронного адреса (и автоматом удалять этот URL после скачивания).

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
O
На сайте с 24.10.2013
Offline
48
#3

Здравствуйте!

Если на старице я закрою ссылку на файл для скачивания тегом nofollow, то страница будет попадать в индекс, а файл для скачивания нет.

Я правильно понимаю?

С уважением, Павел

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#4

Файл может быть найден и другими способами. Но если вы поставите ссылке атрибут rel="nofollow" и удалите URL файла из карты сайта, то можно понадеяться, что ПС его не найдёт. Но это только при условии, что он ещё не проиндексирован. Если он уже проиндексирован, то ему нужно поменять URL, чтобы старый URL отдавал 404.

Snake800
На сайте с 02.02.2011
Offline
175
#5
Ingref:
Через HTTP-заголовок - https://developers.google.com/search/reference/robots_meta_tag

В данном случае самый простой и правильный вариант. Т.к. при любом закрытии в robots нет гарантии, что url не будет проиндексирован (может быть НПС, однако содержимое документа вежливый бот не откроет при запрете в robots.txt, следовательно и в реальной выдаче он будет плохо искаться).

Ingref:
Ещё вариант - генерировать уникальный URL для скачивания файла только после указания электронного адреса (и автоматом удалять этот URL после скачивания).

Либо можно отдавать только "авторизованным" - при вводе e-mail ставится кука, при скачивании документа проверяется эта кука - если она есть, отдаётся контент документа. Нет - редирект на ввод емэйла.

Как-то так...
O
На сайте с 24.10.2013
Offline
48
#6

Спасибо всем за ответы.

А как на конкретном примере я могу применить этот тег к файлу .doc на сайте WordPress?

С уважением, Павел

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#7

В файле .htaccess:

<Files ~ "\.(doc|pdf)$">

Header set X-Robots-Tag "noindex"

</Files>

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий