Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Быстроробот - как поймать?

P
На сайте с 24.12.2006
Offline
30
pyros
1389

Как определить, заходил ли быстроробот на сайт и что он собственно там делал? Может существует какая-нибудь удобная тулза или инструмент:

Спасибо

[Удален]
#1

Ни кто не отвечает

pyros, посмотри может наведет на мысль

_han_
На сайте с 17.08.2006
Offline
247
_han_
#2

смотрите Логи в сервере

Важно: GoGetLinks - размещение вечных ссылок | Достойный доход для вебмастера (http://gogetlinks.net/?inv=cf45iq) доход от 1К руб. в день. (http://trustlink.ru/registration/117003)
A
На сайте с 25.10.2005
Offline
219
alut
#3

pyros,

Раньше можно было в выдаче увидеть, теперь только в логах.

Но, по-моему, он внешне от основного не отличается. Хотя могу ошибаться.

Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
john2007
На сайте с 26.03.2007
Offline
173
john2007
#4

Сейчас тоже в выдаче видать:

http://www.yandex.ru/yandsearch?text=&site=www.mail.ru&ras=1&site_manually=true&how=tm

Совершая ошибки, мы не только учимся их не повторять, но и учимся прощать такие же ошибки другим... (с)
A
На сайте с 25.10.2005
Offline
219
alut
#5

john2007,

Опа, в расширенной осталось.

В основной-то выдаче нет.

B
На сайте с 08.02.2007
Offline
25
Brandy
#6
alut:
john2007,
Опа, в расширенной осталось.
В основной-то выдаче нет.

alut, Это не из-за расширенной выдачи (ras=1) показываются даты, а из-за сортировки по дате (how=tm). Как пример, можно посмотреть здесь.

Конечно, если обращаться к Яндексу по запросу, который изначально возвращает меньше десяти результатов (пример), то дата все равно не отдается.

Другой вопрос "Для чего это надо?". Если определить быстроробота, то для этого и дата рядом с урлом не нужна ;), а если требуется получить именно дату, то в таком частном случае нужно пользоваться какими-то другими методами.

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий