Crawl-delay и Яндекс.

88

s91

15 декабря 2009, 09:32

#31

di_max:
Кто тут логов хотел?

Вот чем занимается "Yandex/1.01.001 (compatible; Win16; I)"?

Это лог с одного сервера

и продолжение:

А чем этот красавец занимается на том же сервере?

Данная директива устанавливается для сайта, а не для сервера.

Если у вас 100 сайтов на одном сервере, и стоит для каждого Crawl-delay 1, то это прямое указание скачивать не более 100 страниц в секунду с сервера(1 страницы в секунду с каждого сайта)

Другое дело то, что нормальные поисковые роботы сами определяют насколько сервер быстро выдает ответ на запрос, и пытаются не нагружать сервер.

За яшей не наблюдал. Но вот робот гугла например с бесплатного хостинга от byet у меня сканировал 1 страницу в 30 секунд. А на выделенном сервере 3-4 страницы в секунду. (сайты одинаковой структуры, вообщем доры =)

Не бывает белой и черной оптимизации. Бывает только обман и разные способы его реализации

S2

611

Str256

15 декабря 2009, 10:13

#32

s91:
Другое дело то, что нормальные поисковые роботы сами определяют насколько сервер быстро выдает ответ на запрос, и пытаются не нагружать сервер.
За яшей не наблюдал. Но вот робот гугла например с бесплатного хостинга от byet у меня сканировал 1 страницу в 30 секунд. А на выделенном сервере 3-4 страницы в секунду. (сайты одинаковой структуры, вообщем доры =)

Вроде писали, что у Яндекса до 12 обращений в секунду с одного IP.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)

262

di_max

15 декабря 2009, 13:08

#33

s91:
Данная директива устанавливается для сайта, а не для сервера.

А тут типа про не то сказано?

// Все наши проблемы от нашего не знания...

Зачем быть уникальным в мире, где все можно скопировать

VK приобрела 70% в структуре компании-разработчика red_mad_robot