Задать HTTP заголовок X Robots - Google

S7
На сайте с 11.08.2015
Offline
24
1361

Добрый день, друзья.

Расскажите, пожалуйста, как добавить для страниц с параметром "page_id", "feed" и "view" в урле http-заголовок X-Robots-Tag для исключения их из индекса.

Считаю , что нужно прописывать в файл .htaccess, но только делаю все как в https://developers.google.com/webmas...meta_tag?hl=ru, вставляю код (просто что бы проверить или header будет отдаваться)


<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>

Захожу по адресу фотки, а нужного заголовка нет. Подскажите, что сделать. Сайт на WP

http://prntscr.com/83b7bb

http://prntscr.com/83b6qd

AR
На сайте с 01.04.2012
Offline
78
#1

чего-чего😕

Блокируйте всё что не нужно индексировать в фале robots.txt, зачем запрет на индексацию ставить в "htaccess" ?

Disallow: /*page_id

Disallow: *feed

Disallow: */feed

Disallow: /?feed=

Disallow: */*/feed

IBakalov
На сайте с 05.10.2011
Offline
208
#2
Ты SEOшник/Дорвейщик/Вебмастер из Нижнего Новгорода? Вступай в группу на facebook.com (https://www.facebook.com/groups/1541112245943308/), будем устраивать offline-сходки.
S7
На сайте с 11.08.2015
Offline
24
#3
And-rey:
чего-чего😕

Блокируйте всё что не нужно индексировать в фале robots.txt, зачем запрет на индексацию ставить в "htaccess" ?

Disallow: /*page_id
Disallow: *feed
Disallow: */feed
Disallow: /?feed=
Disallow: */*/feed

Эти команды и так прописаны в моем robots.txt, но страницы, которые уже попали в индекс гугл роботсом не выгонишь. Для этого есть X Robots Tag. Но вот что-то не складывается

---------- Добавлено 13.08.2015 в 10:33 ----------

Спасибо, конечно, но я читал и этот пост и что советует гугл, но заголовок то не отдается (

S
На сайте с 05.01.2013
Offline
40
#4

Header в Apache core не входит - mod_headers точно подгружается?

A
На сайте с 25.10.2014
Offline
69
#5

Как настроите x-robots, не забудьте открыть в robots.txt доступ к тому, что решили удалить из индекса.

AR
На сайте с 01.04.2012
Offline
78
#6
Эти команды и так прописаны в моем robots.txt, но страницы, которые уже попали в индекс гугл роботсом не выгонишь. Для этого есть X Robots Tag. Но вот что-то не складывается

Понятное дело, что из индекса тяжело вытравить то, что подолгу сканировалось и добавлялось в индекс. В таких случаях надо делать, чтобы бот зачастил на сайте. Добавлять новые материалы, изменения в перелинковке, сигналы из соцсетей (твитер на 1 месте) и постоянно скармливать гугла свежим сайтом "sitemap.xml"

Не понимаю, зачем такие замудренные обходы функционала/возможностей файла "robots.txt" - делать запреты вообще на стороне сервера, используя X-Robots-Tag... тем самым надеясь ,что с помощью данного метода - мигом всё удалится из индекса. Где гарантии или проверка на то, что заголовок отдается нужный от htaccess? Как-то рисковано )

по идеи, у вас там типчный сайт/блог на вордпресс(наверное). Многие с таким сталкиваются, что ошибочно настроен был роботс, полезли дубли в индекс... Как оживите сайт, так всё и поменяется там с индексацией.

И как дела обстоят на сегодня с Яндексом, когда применяется X-Robots-Tag? Тот самый момент из статьи, что по ссылке тут в комментах топика выше:

Но тут есть существенная печалька — Яндекс до сих пор не поддерживает данный метод, хотя народ давно уже просит. Так что полностью без robots.txt все же не обойтись, но можно использовать User-agent: Yandex, чтобы не затрагивать Google.
siv1987
На сайте с 02.04.2009
Offline
427
#7
Seyon7:
как добавить для страниц с параметром "page_id", "feed" и "view" в урле http-заголовок X-Robots-Tag для исключения их из индекса.

Apache 2.4+


<If "%{QUERY_STRING} =~ /(^|&)(page_id|feed|view)=/">
Header set X-Robots-Tag "noindex"
</If>
Seyon7:
Захожу по адресу фотки, а нужного заголовка нет. Подскажите, что сделать. Сайт на WP

Статические файлы (фотки) могут отдаваться непосредственно из nginx если он стоит как прокси сервер перед апач.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий