Форум Практика оптимизации Общие вопросы оптимизации

Яндекс и Crawl-delay

FL
На сайте с 02.06.2006
Offline
76
FigLee
1125

Я тут попытался настроийть Crawl-delay для Яндекса и Yahoo, прописал:

User-agent: Yandex

Crawl-delay: 30

User-agent: Slurp

Crawl-delay: 300

User-agent: StackRambler

Crawl-delay: 30

User-agent: msnbot

Disallow: /

В итоге msnbot отрубился, Yahoo уменьшил аппетит раз в 20, но все-равно проскакивают запросы чаще установленого лимита.

А вот что касается Яндекса и рамблера, так они нисколько не уменьшили количество и частоту запросов. Яндекс в настоящее время не обрабатывает этот параметр или дело в чем-то другом?

K
На сайте с 31.01.2001
Offline
737
Kost
#1
FigLee:
они нисколько не уменьшили количество и частоту запросов.

И какова частота?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
FL
На сайте с 02.06.2006
Offline
76
FigLee
#2
Kost:
И какова частота?

Ну, например, за вчерашние сутки яндекс запросил около 3000 страниц. Но (!) я тут более тщательно изучил запросы яндекса и понял, что ограничение выполняется для робота с одного IP-адреса. Т.е. одновременно страницы запрашиваются с трех IP яндекса:

93.158.151.24=1690 стр.

87.250.252.240=1111 стр.

77.88.22.224=520 стр.

и в итоге получается более высокая частота запросов и кажущееся несоблюдение Crawl-delay

F
На сайте с 12.03.2007
Offline
85
fatalenergy
#3

Yandex учитывает Crawl-delay, но не всегда, и не все его боты.

Как начать тренироваться (http://max-body.ru/quick_start.html), Бодибилдинг форум (http://fatal-energy.com/). Обменяюсь/куплю ссылками со статей (или статьями) с сайтами бодибилдинг/фитнес тематики.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий