Поисковый бот Google - крайне тупорылое создание, или я что то делаю не так?

VA
На сайте с 17.08.2008
Offline
10
1061

Сайта в индексе не было, чтобы он там не появился, я разместил запрещающий robots.txt

User-agent: *
Disallow: /

И на всякий случай во всех страницах разместил мета-теги

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Так прошло несколько дней и сайт появился в индексе Google, причем проиндексировался полностью несмотря на все вышенаписанное. Почему такое может быть?

MR
На сайте с 21.11.2007
Offline
33
#1

Возможно робот успел скушать ваши странички до того как вы запретили индексировать сайт ?

T
На сайте с 30.01.2006
Offline
109
#2
MasterRico:
Возможно робот успел скушать ваши странички до того как вы запретили индексировать сайт ?

скорей так и есть, другого варианта быть не должно

Гугл учит терпению!
G
На сайте с 10.08.2007
Offline
34
#3

прошло несколько дней и сайт в среднем, по сайту с большим и частым наполнением вижу следующее:

сегодня 16.09.08

Последний успешный доступ робота Google к главной странице выполнен 09.09.2008

при этом, следующий Последний успешный доступ появится ~ 20-21.09, и будет датирован 14-15 числом.

Сайт +100-150 страниц ежедневно

SS
На сайте с 29.08.2008
Offline
20
#4
Vlasov Alexey:
Так прошло несколько дней и сайт появился в индексе Google, причем проиндексировался полностью несмотря на все вышенаписанное. Почему такое может быть?

В случае "уникального" и "интересного" контента робот может игнорировать запрещение, хотя скорее всего

MasterRico:
Возможно робот успел скушать ваши странички до того как вы запретили индексировать сайт ?
G
На сайте с 10.08.2007
Offline
34
#5

С форумом совсем что-то плохо. Пропускает целые абзацы написанного текста.

прошло несколько дней и сайт появился в индексе Google потому что индексация прошла раньше появления запретов.

пример:

по сайту с большим и частым наполнением вижу следующее:

сегодня 16.09.08

Последний успешный доступ робота Google к главной странице выполнен 09.09.2008

при этом, следующий Последний успешный доступ появится ~ 20-21.09, и будет датирован 14-15 числом.

Сайт + 100-150 страниц ежедневно.

Могу посоветовать посмотреть дату cache и все станет понятно. Когда проиндексировал, и когда лёг запрет.

SubAqua
На сайте с 21.10.2005
Offline
199
#6

Vlasov Alexey, не стоит так резко. В дополнение MasterRico скажу только - что напишите в суппорт Google, аргументировано и обстоятельно, и Вам ответят :)

Утка-робот
На сайте с 08.07.2008
Offline
222
#7

ТС, а вы пробовали смотреть логи?

neznaika
На сайте с 28.06.2006
Offline
356
#8

Дык баньте по юзерагенту, и отдавайте страничку с надписью — мол, прочь бот, без тебя тошно.

Дорого покупаю настоящие сайты. Не инвестирую деньги и не беру кредиты.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий