Закономерность обхода бота Яши

12
nort
На сайте с 10.02.2009
Offline
11
1309

Заметил такую закономерность на дорах(смотрел логи по более 10 дорам)

Яша заходит на новый дор, жрет 10 страниц и проверяет роботс.тхт


/robots.txt
Http Code: 404 Date: Mar 22 23:53:58 Http Version: HTTP/1.0 Size in Bytes: -
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
/страница.html
Http Code: 200 Date: Mar 22 23:53:58 Http Version: HTTP/1.0 Size in Bytes: 2636
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
/страница.html
Http Code: 200 Date: Mar 22 23:54:00 Http Version: HTTP/1.0 Size in Bytes: 2848
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
/страница.html
Http Code: 200 Date: Mar 22 23:54:02 Http Version: HTTP/1.0 Size in Bytes: 2303
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
/страница.html
Http Code: 200 Date: Mar 22 23:54:04 Http Version: HTTP/1.0 Size in Bytes: 2831
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
/страница.html
Http Code: 200 Date: Mar 22 23:54:07 Http Version: HTTP/1.0 Size in Bytes: 2837
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
/страница.html
Http Code: 200 Date: Mar 22 23:54:10 Http Version: HTTP/1.0 Size in Bytes: 2564
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
/страница.html
Http Code: 200 Date: Mar 22 23:54:13 Http Version: HTTP/1.0 Size in Bytes: 2525
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
/страница.html
Http Code: 200 Date: Mar 22 23:54:17 Http Version: HTTP/1.0 Size in Bytes: 2639
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
/страница.html
Http Code: 200 Date: Mar 22 23:54:20 Http Version: HTTP/1.0 Size in Bytes: 2842
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
/страница.html
Http Code: 200 Date: Mar 22 23:54:24 Http Version: HTTP/1.0 Size in Bytes: 2532
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)

Кто может сказать почему такая штука идет? почему он не может сразу сидеть и жевать все? а как то он хитро...помаленьку.

Только тут реальные деньги с доров!! (http://sexcashru.com/signup.php?ref=siszone) Все остатки лей сюда, будет крупная деньга! (http://kinotraff.ru/index.php?id=57068)
Maratovich321
На сайте с 11.11.2008
Offline
18
#1

Какая разница до не дор, он всегда по кускам индексит. иногда по более чем 10страниц

Уютный Хостинг (http://billing.domishko.ru/aff.php?aff=187)
leo3331
На сайте с 07.01.2007
Offline
154
#2

А зачем ему индексить по 2к страниц?

Хочется сразу многа страниц в первый Ап? ))

Newo
На сайте с 13.08.2006
Offline
41
#3
nort:
Кто может сказать почему такая штука идет? почему он не может сразу сидеть и жевать все? а как то он хитро...помаленьку.

А если ты миллион страниц забахаешь? Хочешь чтобы он на все забил и сидел твой мильон пережевывал?))

Pentium Prescott
На сайте с 23.10.2008
Offline
213
#4

хз хз когда как - иногда он налетает - и начинает жрать в течении несколкьих часов не прекращает... Гугль также..

Покупка и продажа криптовалют ( https://www.bestchange.ru/?p=1296834 )
xumukys
На сайте с 23.03.2009
Offline
107
#5

Только раз на раз не приходиться,бывает что и больше страниц за раз схавает,помню уменя как то с одного захода 231 страницу схавал правдо это было после 3-его апа), да и давно это было, а как счас дела идут - не проверял логи)

xXх
На сайте с 19.01.2009
Offline
70
#6

Если он будет индексить по многу страниц, на некоторых движках и некоторых хостингах ваш аккаунт за превышение допустимой нагрузки будет заблокирован. Чтобы не создавать излишней нагрузки и не нагружать каналы - индексация идет порционально.

seohnik
На сайте с 21.08.2008
Offline
17
#7

Дык зачем ему больше страниц кушать, ему было достаточно 10 страниц чтобы понять что это дор ;)

Size in Bytes: 2636

Size in Bytes: 2848

......

......

nort
На сайте с 10.02.2009
Offline
11
#8
seohnik:
Дык зачем ему больше страниц кушать, ему было достаточно 10 страниц чтобы понять что это дор ;)

Size in Bytes: 2636
Size in Bytes: 2848
......
......

Эх чувствую спалю тему... :)

Тему не спалишь, тк палить нечего)))

думаешь что из за веса страничек Яша пойсет что это дор? я так не думаю

xXх
На сайте с 19.01.2009
Offline
70
#9
seohnik:
Эх чувствую спалю тему... :)

Да чего там палить. Вообще на доре не бывает пустых страниц (без контента), а на сайте - полно. А вообще легче палить по количеству траффика. Если сайт только попал в индекс и уровень трафика НЧ высок - дор.

nort
На сайте с 10.02.2009
Offline
11
#10
xXх:
Да чего там палить. Вообще на доре не бывает пустых страниц (без контента), а на сайте - полно. А вообще легче палить по количеству траффика. Если сайт только попал в индекс и уровень трафика НЧ высок - дор.

Да без этого много возможностей определить у ПС что это дор и после чего поймать за яйцо его)))))

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий