Google игнорирует robots.txt!?

IrokezV
На сайте с 05.03.2006
Offline
153
622

есть http://www.rembook.ru/robots.txt

Смотрим http://www.google.ru/search?q=allinurl:www.rembook.ru+site:www.rembook.ru&hl=ru&lr=&start=10&sa=N&filter=0

и видим страницу astra.php, хотя она явно запрещена.

Причем Google показывает эту страницу только при &filter=0.

Никогда раньше с этим не сталкивался, кто объяснит, что происходит?

Вся жилая недвижимость на Avaho.ru ( http://avaho.ru/?utm_source=searchguru )
neznaika
На сайте с 28.06.2006
Offline
356
#1
IrokezV:
Никогда раньше с этим не сталкивался, кто объяснит, что происходит

Вы ответили на свой вопрос, давно уже индексирует и редиректные ссылки тож...

Дорого покупаю настоящие сайты. Не инвестирую деньги и не беру кредиты.
AR
На сайте с 28.05.2006
Offline
86
#2

/ru/forum/59018

/ru/forum/45559

Смотрите на даты тем. Не поленился, нашёл.

Лёлик
На сайте с 28.04.2006
Offline
54
#3

Вы давно добавили запись Disallow: /astra.php ?

C
На сайте с 19.09.2001
Offline
120
#4

Этот эффект возникает в том случае, когда Google находит ссылку на такую страницу, но саму страницу еще не проиндексировал или не имеет права индексировать. Тем не менее в результатах поиска он будет отображать ссылку, но без заголовка, сниппета и прочих "обвесов", только адрес. Робот эту страницу с сервера не запрашивал.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
ZanderXML
На сайте с 27.08.2004
Offline
68
#5

Страница http://www.rembook.ru/astra.php на самом деле не проиндексирована Google. Она отображается в поиске потому, что она найдена по ссылке и Google еще не успел зайти на сайт и не видел еще /robots.txt

По этому она и отображается без Title и снипета

--

www.rembook.ru/astra.php

Похожие страницы

---

WebVisor.ru (http://webvisor.ru/) — уникальный сервис записи действий посетителей вашего сайта с целью последующей оценки качества сайта и эффективности интернет-рекламы, анализа поискового продвижения!
Unlock
На сайте с 01.08.2004
Offline
758
#6

Имхо, но гугл давно уже кладет на robots.txt Если и удаляет страницы закрытые, то ооооочень не быстро.

Есть желание, - тысяча способов; нет желания, - тысяча поводов! /Петр-I/.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий