Слабо Яндекс роботов отловить? Всех!

12
OG
На сайте с 14.12.2003
Offline
78
1537

Ну сплетен на счет количество роботов Яндексовых много всяких. Шли они как и от самого яндекса, так и от его пользователей.

А вот разобраться было бы полезно в этом вопросе.

Предлагаю высказаться всем кто эксперементировал в этом направлении.

Я выяснил одно, по дииапазону Ip можно отловить Гугль, МСН, Апорт, Мейл (как следствие гугля). А вот с яндексом пока что очень много вопросов. Вроде диапазон Ip у него один и тот же, да и User-agent представляется одинаково, только вот не индексирует он. Индексирует видимо другой робот. А вот какой, с какого диапазона Ip, как представляется!????

SS
На сайте с 03.09.2004
Offline
141
#1

FAQ Яндекса: http://webmaster.yandex.ru/faq.xml?id=502499#user-agent

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.

Вопрос: зачем?

«Клянусь своей жизнью и любовью к ней, что никогда не буду жить ради другого человека и никогда не попрошу и не заставлю другого человека жить ради меня» (с) Джон Галт
Yaroslav_Adv
На сайте с 27.09.2005
Offline
199
#2

Seventh Son, а как же клоакинг по IP? ;)

С уважением, Ярослав Деревягин Веб-агентство "Found (http://found-it.ru)"
SS
На сайте с 03.09.2004
Offline
141
#3
Yaroslav_Adv:
а как же клоакинг по IP?

Бессмысленно.

Отлавливается seo-специалистами, работающими на конкурентов, очень быстро, банится по стуку еще быстрее. Благо саппорт сейчас очень резво реагирует.

Резюме: выйдет себе дороже.

Yaroslav_Adv
На сайте с 27.09.2005
Offline
199
#4

Seventh Son, это Вы не мне рассказывайте, а топикстартеру... Я этим не пользуюсь ;)

Serg_Kotov
На сайте с 23.11.2005
Offline
113
#5

Я не могу понять одного - у меня нет записей в логах о заходе ботов Яндекса, индексирующих ТЕКСТ. Тех, кто исследует картинки (Yandex/1.01.001 (compatible; Win16; I)) -куча.

Тем не менее все страницы проиндексированы.

Замечены частые обращения к страницам с

sfront23.yandex.ru - но там нет идентификатора агента:

sfront23.yandex.ru - - [23/Dec/2005:21:21:11 +0300] "GET /index.html

HTTP/1.1" 200 15192

Что посоветуете, чтобы отслеживать user-agent паучка?

Обзоры компьютерных железок (http://www.device-review.ru/)
Yaroslav_Adv
На сайте с 27.09.2005
Offline
199
#6

Serg_Kotov, индексатор картинок - это

Yandex/1.01.001 (compatible; Win16; P)

А (Yandex/1.01.001 (compatible; Win16; I) - это как раз основной индексатор.

OG
На сайте с 14.12.2003
Offline
78
#7
Seventh Son:
Бессмысленно.
Отлавливается seo-специалистами, работающими на конкурентов, очень быстро, банится по стуку еще быстрее. Благо саппорт сейчас очень резво реагирует.
Резюме: выйдет себе дороже.

Я с Вами не согласен. Если, конечно, это грамотно организовать.

Я этим не спикулирую за ненадобностью- вопрос интереса, но Гугл, Мейл, Апорт, МСН, Алтависта пробиваются запросто!

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#8

OSTG, вы, вообще-то, в разделе о Яндексе.

Serg_Kotov:
но там нет идентификатора агента:

sfront23.yandex.ru - - [23/Dec/2005:21:21:11 +0300] "GET /index.html
HTTP/1.1" 200 15192

А вообще User-agent пишется в логи?

SS
На сайте с 03.09.2004
Offline
141
#9
ostg:
Я с Вами не согласен. Если, конечно, это грамотно организовать.

Ваше право.

Доказывать ничего не собираюсь.

beroot
На сайте с 08.06.2004
Offline
124
#10

эх, если бы все так - знал бы прикуп, жил бы в сочи...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий