Форум Поисковые системы Google

google & robots.txt - или я чего-то не понимаю

А
На сайте с 29.07.2003
Offline
58
Альен
1071

Складывается впечатление что роботу google на disallow положить.

Чтоб себя не рекламировать - пару ссылок:

http://www.google.com/search?q=+site:bs.yandex.ru&hl=ru&lr=&ie=UTF-8&oe=UTF-8&as_qdr=all&start=10&sa=N

приблизительно 42,900 из домена bs.yandex.ru

http://www.google.com/search?q=+site:ad.rambler.ru&hl=ru&lr=&ie=UTF-8&oe=UTF-8&as_qdr=all&start=0&sa=N

приблизительно 11,500 из домена ad.rambler.ru

(и тот и тот, естественно, запрещен)

И складывается впечатление что это не только мои кривые руки ...

Есть мысли что происходит и как с этим жить?

[Удален]
#1
И складывается впечатление что это не только мои кривые руки ...

Ни одна из страниц не проиндексирована (нету сниппета, нету ссылки "Cache"). Гугль всего лишь знает ссылки на них. Которые набрал со страниц, не запрещенных. (А как иначе на морде напишешь Searching 4,285,199,774 web pages).

Deoden
На сайте с 26.03.2004
Offline
122
Deoden
#2

Хм теперь понятно, откуда он все знает...

А
На сайте с 29.07.2003
Offline
58
Альен
#3
Ни одна из страниц не проиндексирована (нету сниппета, нету ссылки "Cache").

Чему ж там кешироваться и снипатся - там редирект по жизни.

Тогда еще одна загадка :)

Берем, скажем, http://www.opel.auto.ru/

и смотрим "кто ссылается".

http://www.google.com/search?as_lq=http%3A%2F%2Fwww.opel.auto.ru%2F&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA

Второе место - ссылка с

http://top100.rambler.ru/top100/Automotive/rate10.200.shtml.ru

Как гугл узнал куда идет ссылка ежели он на нее не "нажимал"?

http://top100.rambler.ru/robots.txt - доступ к /click запрещен.

[Удален]
#4

Ну в Гуглевском кеше страницы http://top100.rambler.ru/top100/Automotive/rate10.200.shtml.ru нету ссылки на http://www.opel.auto.ru/. А когда она там была (когда гугль проиндексировал) - неизвестно как именно шли ссылки и какое было на тот момент содержимое robots.txt. А может и из урла выковыривает адрес.

V
На сайте с 13.01.2003
Offline
41
vga
#5

Я в бекворд линксах тоже рамблер топ100 вижу. там точно всегда дисалов стоит.

---------------- Порталостроитель. новости (http://news.qs.kiev.ua/), каталог сайтов и поиск (http://search.qs.kiev.ua/), Мобильные телефоны (http://mobile.qs.kiev.ua/) Цифровая техника (http://digital.qs.kiev.ua/) CD/DVD диски (http://cd.qs.kiev.ua/) Прайс-листы магазинов Украины (http://wheretobuy.com.ua)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий