Удаление из индекса Google файлов DOC и PDF

Закрывайте ветку с файлами, например:

Disallow: /files/

Чего? Сначала закройте, потом будете подчищать урлы.

---------- Добавлено 30.05.2019 в 17:04 ----------

P.S. А для надежной защиты нужно убирать из паблика, т.е. давать доступ только авторизованным пользователям.

---------- Добавлено 30.05.2019 в 17:10 ----------

P.P.S. Чтобы не подчищать урлы, можно перенести файлы (изменить адреса) в др. закрытую ветку. При условии, что есть возможность сообщить интересующимся об изменениях.

достаточно добавить Disallow: *.pdf в роботс и ничего не подчищать, со временем само пропадет. файлы не трогать, урлы нигде не удалять. на гугл этот метод работает

EvilBabayka, добавить в .htaccess:

Ingref, спасибо за дельный совет

Поскольку мне надо закрывать только от Гугл, то привожу здесь свой полный код, авось кому пригодиться

Только вот теперь не пойму, при отправке на переобход в GSC получаю ошибку

так и должно быть? Это реакция на тег или я что-то неправильно сделал?

У вас там ещё указано "txt" - тогда он не сможет получить доступ к robots.txt.

Для Гугла по идее вот так можно:

Вы чертовски правы! Не учел.

Ваш код мне кажется более элегантным, но у меня почему то выдает ошибку. Пока не могу понять в чем дело

Слушайте, ну не могу победить никак

Есть такая проблема:

Через .htaccess пытаюсь выдавать

X-Robots-Tag: googlebot: noindex

Однако, используя конструкцию

<FilesMatch "\.(doc|pdf|xls)$">

Header set X-Robots-Tag “googlebot: noindex”

</FilesMatch>

Удаётся вывести только тег без пробела межу googlebot и noindex:

X-Robots-Tag: googlebot:noindex

Если оставлять пробел то сервер выдаёт ошибку .htaccess

Вопросы:

1. Гугл воспримет тег без пробела или проигнорирует?

2. Если проигнорирует, то как вписать в .htaccess с пробелом?

Спасибо

Может в кавычках проблема? Попробуйте кавычки сделать не фигурными “ ”, а обычными " ". Ну и потом проверьте, какой реально HTTP-ответ отдаётся сервером.

Кто бы знал что двойные кавычки тоже бывают разными

Вроде получилось, отправил на переобход, теперь будем ждать реакцию Гугла

You're right, removing pages from the index while keeping the files accessible requires different approaches than traditional deletion methods. Here's how to handle your situation:

1. Prevent Indexing with Robots Meta Tag:

While robots.txt might not be ideal, robots meta tags within the documents themselves can be effective for this purpose. Here's what you need to do:

• Open each DOC and PDF file.
• Edit the file properties or metadata (depending on the software).
• Look for a section related to "robots" or "indexing."
• Add the following meta tag:

<meta name="robots" content="noindex">

This tag instructs search engines not to index the specific page containing the meta tag.

2. Use "noindex" in HTTP Headers (if applicable):

For server-side control, if your web server allows, you can also add the X-Robots-Tag: noindex header to the HTTP response for each DOC and PDF file. This approach might be more efficient if you have numerous files.

3. Password Protect Sensitive Files (optional):

If specific files contain sensitive information and you want to restrict access beyond search engines, consider password-protecting them using your web server's functionalities or the software you use to create these files.

4. Submit Removal Requests for Already Indexed Files:

While preventing future indexing is crucial, you also need to handle already indexed files. Use Google Search Console's URL removal tool to request removal of specific URLs (DOC and PDF file links) from the search index. This process might take some time, but it will eventually remove the pages from search results.

Important Note:

• Implementing these methods doesn't guarantee immediate removal from search results. Search engines revisit and re-index content periodically, so it might take some time for the changes to take effect.   
• Remember, these methods prevent indexing, not access. Users can still access the files directly if they know the specific URLs.

By combining these techniques, you can effectively prevent DOC and PDF files from appearing in search results while maintaining access for authorized users.

However, if you want to edit or delete pdf pages - here is the free tool you can check- https://pdfup.com/ru/delete-pdf-pages/file