Гугл игнорирует robots?

12
overnight
На сайте с 23.05.2008
Offline
262
#11
foxi:
оно должно совпадать. или быть примерно одинаковым. если есть большая разница - значит или где-то наиндексировалось говна или где-то что-то не индексируется и нужно принимать меры.

В сегодняшних реалиях это не так. Гугл индексирует больше почти всегда и кучу страниц запихивает например с пометкой «A description for this result is not available because of this site's robots.txt».

Частично решает проблему:

<meta name="robots" content="noindex">

или

<meta name="googlebot" content="noindex">

Но по сути, большой проблемы нет, т.к. эти страницы в дополнительных результатах.

А что там показывает плагин RDS — кого это вообще волнует?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий