Форум Поисковые системы Google

Задать HTTP заголовок X Robots - Google

S7
На сайте с 11.08.2015
Offline
24
Seyon7
1403

Добрый день, друзья.

Расскажите, пожалуйста, как добавить для страниц с параметром "page_id", "feed" и "view" в урле http-заголовок X-Robots-Tag для исключения их из индекса.

Считаю , что нужно прописывать в файл .htaccess, но только делаю все как в https://developers.google.com/webmas...meta_tag?hl=ru, вставляю код (просто что бы проверить или header будет отдаваться) 


<Files ~ "\.(png|jpe?g|gif)$">

  Header set X-Robots-Tag "noindex"

</Files>

Захожу по адресу фотки, а нужного заголовка нет. Подскажите, что сделать. Сайт на WP

http://prntscr.com/83b7bb

http://prntscr.com/83b6qd

AR
На сайте с 01.04.2012
Offline
78
And-rey
#1

чего-чего😕

Блокируйте всё что не нужно индексировать в фале robots.txt, зачем запрет на индексацию ставить в "htaccess" ?

Disallow: /*page_id

Disallow: *feed

Disallow: */feed

Disallow: /?feed=

Disallow: */*/feed

IBakalov
На сайте с 05.10.2011
Offline
218
IBakalov
#2

http://alaev.info/blog/post/4751

S7
На сайте с 11.08.2015
Offline
24
Seyon7
#3
And-rey:
чего-чего😕

Блокируйте всё что не нужно индексировать в фале robots.txt, зачем запрет на индексацию ставить в "htaccess" ?

Disallow: /*page_id
Disallow: *feed
Disallow: */feed
Disallow: /?feed=
Disallow: */*/feed

Эти команды и так прописаны в моем robots.txt, но страницы, которые уже попали в индекс гугл роботсом не выгонишь. Для этого есть X Robots Tag. Но вот что-то не складывается

---------- Добавлено 13.08.2015 в 10:33 ----------

IBakalov:
http://alaev.info/blog/post/4751

Спасибо, конечно, но я читал и этот пост и что советует гугл, но заголовок то не отдается (

Robots для Гугла Спрашиваем и отвечаем по Как быстро убрать страницы
S
На сайте с 05.01.2013
Offline
40
seogearbox
#4

Header в Apache core не входит - mod_headers точно подгружается?

A
На сайте с 25.10.2014
Offline
109
aldous
#5

Как настроите x-robots, не забудьте открыть в robots.txt доступ к тому, что решили удалить из индекса.

AR
На сайте с 01.04.2012
Offline
78
And-rey
#6
Эти команды и так прописаны в моем robots.txt, но страницы, которые уже попали в индекс гугл роботсом не выгонишь. Для этого есть X Robots Tag. Но вот что-то не складывается

Понятное дело, что из индекса тяжело вытравить то, что подолгу сканировалось и добавлялось в индекс. В таких случаях надо делать, чтобы бот зачастил на сайте. Добавлять новые материалы, изменения в перелинковке, сигналы из соцсетей (твитер на 1 месте) и постоянно скармливать гугла свежим сайтом "sitemap.xml"

Не понимаю, зачем такие замудренные обходы функционала/возможностей файла "robots.txt" - делать запреты вообще на стороне сервера, используя X-Robots-Tag... тем самым надеясь ,что с помощью данного метода - мигом всё удалится из индекса. Где гарантии или проверка на то, что заголовок отдается нужный от htaccess? Как-то рисковано )

по идеи, у вас там типчный сайт/блог на вордпресс(наверное). Многие с таким сталкиваются, что ошибочно настроен был роботс, полезли дубли в индекс... Как оживите сайт, так всё и поменяется там с индексацией.

И как дела обстоят на сегодня с Яндексом, когда применяется X-Robots-Tag? Тот самый момент из статьи, что по ссылке тут в комментах топика выше:

Но тут есть существенная печалька — Яндекс до сих пор не поддерживает данный метод, хотя народ давно уже просит. Так что полностью без robots.txt все же не обойтись, но можно использовать User-agent: Yandex, чтобы не затрагивать Google.
Как быстро удалить из Важные страницы блокируются в Помощь по robots.txt на
siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#7
Seyon7:
как добавить для страниц с параметром "page_id", "feed" и "view" в урле http-заголовок X-Robots-Tag для исключения их из индекса.

Apache 2.4+ 


<If "%{QUERY_STRING} =~ /(^|&)(page_id|feed|view)=/">

    Header set X-Robots-Tag "noindex"

</If>
Seyon7:
Захожу по адресу фотки, а нужного заголовка нет. Подскажите, что сделать. Сайт на WP

Статические файлы (фотки) могут отдаваться непосредственно из nginx если он стоит как прокси сервер перед апач.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий