Форум Поисковые системы Google

Отвадить бота

S
На сайте с 12.11.2006
Offline
99
Schoolly
769

На сайте есть раздел, закрытый от индексации.

Закрыт роботсом, и <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> в шаблоне всех страниц раздела.

Страницы не индексируются.

Тем не менее, бот периодически к ним стучится, и в случае проблем с их доступностью выдает ошибки в WMT.

Есть ли способ отучить его даже обращаться к ним?

В предвкушении сарказма, прошу по делу отвечать :)

спасибо

Здесь могла бы быть Ваша реклама.
Нямкин
На сайте с 02.12.2010
Offline
65
Нямкин
#1
Обратите внимание: чтобы увидеть тег noindex, мы должны просканировать вашу страницу, поэтому существует небольшая вероятность, что поисковый робот Googlebot не увидит метатег noindex и не отреагирует на него. Если ваша страница продолжает появляться в результатах, вероятно, мы еще не просканировали ваш сайт после добавления тега. (Кроме того, если вы заблокировали эту страницу с помощью файла robots.txt, мы также не сможем увидеть этот тег.)

ссылка

У гугла есть такое понятие, как "обнаружение страницы". Собственно, так в WMT обозначаются заблоченные в роботсе. Он всё-равно ходит и щупает. Выход - зобанить.

S
На сайте с 12.11.2006
Offline
99
Schoolly
#2
Нямкин:

Выход - зобанить.

Так и сделаю - зобаню домен ).

Visuall
На сайте с 13.12.2007
Offline
340
Visuall
#3
Нямкин:
Выход - зобанить.

Нямкин, вы гений! зОбанить домен, чтобы отвадить гугл бота от раздела на сайте - это гениальное решение! 😂

Над родною над отчизной бесноватый снег шёл... Моя машина на собачьем ходу! В стираных карманах. Паспорта и пальцы. Всё как у людей.
Нямкин
На сайте с 02.12.2010
Offline
65
Нямкин
#4

Не ну полностью же. Имел в виду в htaccess закрыть доступ гуглоботу по маске.

E
На сайте с 21.09.2009
Offline
283
easywind
#5
Schoolly:
На сайте есть раздел, закрытый от индексации.
Есть ли способ отучить его даже обращаться к ним?
В предвкушении сарказма, прошу по делу отвечать :)
спасибо

Поставьте в коде ссылки на раздел nofollow. В сайтмапе ссылки нет на раздел? Если есть то он ее и находит.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий