Гугл игнорирует robots?

Для нее сформирован нормальный сниппет или "описание веб-страницы недоступно бла бла бла"?

Если второе - так это нормальная ситуация для гугла, эти страницы не участвуют в выдаче по общим запросам.

Если первое - сколько времени прошло? Время лечит.

Ну, и плюс нельзя исключать капризы гугла, роботс - всего лишь рекомендация для него. :)

Да, верно, пишет:

A description for this result is not available because of this site's robots.txt – learn more.

Но гугл показывает что "такое-то" страниц в индексе

Хотя в реальности, их гораздо меньше. Число сформировалось за счет обилия тегов.

Просто где-то читал, желательно, чтобы кол-во страниц в яндексе и гугле совпадало.

Так вот у гугла их всегда больше, за счет таких вот вариантов...

Всё игнорирует, на всё ему плевать.

Что делать?

1. Не создавать мусорные страницы.

2. https://www.google.com/webmasters/tools/home?hl=ru - тут есть инструмент удаления урлов.

3. https://www.google.com/webmasters/tools/home?hl=ru - тут есть инструмент для управления URL с параметрами.

4. Использовать:

<meta name="robots" content="noindex,nofollow" />

X-Robots-Tag: noindex, nofollow

5. Сделать сайтмэп.

6. Поискать советов тут: http://goo.gl/kw0Uj2

Ну и сейчас я Вас спасу. Читайте:

Количество страниц в индексе Яндекс и Гугл не должно совпадать.

Теперь Вы прочитали совершенно иное и страшное сеошное заклятие снято. Теперь Вы опять будете спокойно засыпать и хорошо кушать. С Вас 100$.

overnight, дело в том, что специально мусорные страницы не создаются.

Например страницы типа "Контакты", "Правила" и т.д. - закрыты в robots, но ведь и без них никуда.

А что касается тегов - так это вообще чуть ли не ключевой инструмент фильтрации по материалам.

Но тут по подробнее.

Как ведет себя гугл с этой директивой Disallow: /*tag* - я описал.

Если я добавлю на страницы тегов это

<meta name="robots" content="noindex,nofollow" />

X-Robots-Tag: noindex, nofollow

Что-то поменяется?

Выкинет.

..

Отлично, спасибо.

А можно как-то в роботс задать для конкретной страницы

<meta name="robots" content="noindex,nofollow" />

X-Robots-Tag: noindex, nofollow

Объясню почему спрашиваю. Многие страницы выводятся шаблоном. Если для шаблонов страниц тегов еще можно указать прямо в шаблоне, то для других страниц (материалов) нет.

И не только для Гугла. У меня уже три месяца для всего сайта висит disallow/ - а по НЧ в Яндексе сайт на первом месте. Хотя и без сниппета.

оно должно совпадать. или быть примерно одинаковым. если есть большая разница - значит или где-то наиндексировалось говна или где-то что-то не индексируется и нужно принимать меры.

Я же вот тоже про такое читал, поэтому и спрашиваю.

Не так составили правило, нужно так:

Disallow: */tag/*

С Вас 99$ ))