Форум Сайтостроение Веб-строительство

Гугл не обращает внимание на robots.txt

[Удален]
558

Короче такая тема: добавил в робот Disallow: /tags/ Подождал пока гугл обновит робота и после уже добавил к новостям теги и создал карту(/tags/ там нет). И что в итоге? Гугл просканировал всё в /tags/ и отправил его в дополнительный индекс. Оно то конечно в поиске отображаться не будет, но не приятно всё равно. Никаких плохих последствий не будет потом?? Мало ли, вдруг кол-во ссылок в соплях влияет на выдачу всего сайта в пс??

И что еще интересно, гугл то просканировал , но к каждой ссылке дал описание: "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..." . К чему он вообще это сделал???

dlepro_com
На сайте с 16.12.2009
Offline
39
dlepro_com
#1
Slogg:
Короче такая тема: добавил в робот Disallow: /tags/ Подождал пока гугл обновит робота и после уже добавил к новостям теги и создал карту(/tags/ там нет). И что в итоге? Гугл просканировал всё в /tags/ и отправил его в дополнительный индекс. Оно то конечно в поиске отображаться не будет, но не приятно всё равно. Никаких плохих последствий не будет потом?? Мало ли, вдруг кол-во ссылок в соплях влияет на выдачу всего сайта в пс??
И что еще интересно, гугл то просканировал , но к каждой ссылке дал описание: "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..." . К чему он вообще это сделал???

В мануале гугла сказано что robots.txt имеет для него рекомендательное значение, пользуйтесь мета-тегом robots: http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).

Используйте хак Алаева или мой для подключения мета-тега

[Удален]
#2
dlepro_com:
Используйте хак Алаева или мой для подключения мета-тега

Спс, ссылки вылетают из индекса долго потом будут???

S3
На сайте с 18.04.2011
Offline
109
sok3535
#3

robots.txt боту гугла запрещает сканирование, но не индексирование, поэтому ты видишь - "к каждой ссылке дал описание: "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..." , а вот метатег как раз запрещает индексирование, поэтому когда добавишь метатег не забудь убрать строчку из robots.txt запрещающие боту сканирование этих страниц Disallow: /tags/ иначе он не считает метатег и стр так и будут висеть в индексе

Почему Гугл индексирует страницы как убрать страницы из robots.txt для сайта в

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий