Crawl-delay и Яндекс.

262

di_max

13 декабря 2009, 10:26

5764

Сам ввели такую директиву, некоторое время она действовала.

Но сейчас - отказались от нее? Судя по наблюдениям, вернулись на прежний ритм скачки роботом страниц.

Обычная история приключилась:

- Хотели как лучше, а получилось как всегда.;)

Так может уберете ее из http://help.yandex.ru/webmaster/?id=996567

// Все наши проблемы от нашего не знания...

[Удален]

13 декабря 2009, 10:59

#1

С новым алгоритмом заматались на хелпы времени нету :)

292

anser06

13 декабря 2009, 15:31

#2

di_max:
Но сейчас - отказались от нее? Судя по наблюдениям, вернулись на прежний ритм скачки роботом страниц.

Разве был официальный "отказ"? Наверно, бывают сверхценные СДЛ, которые бот хочет переиндексировать как можно скоре ;)

482

Sergey Petrenko

13 декабря 2009, 16:11

#3

di_max, извините, ваш синтаксис как-то затеняет мысль.Вы хотите сказать, что есть конкретные страницы, при индексировании которых роботом Яндекса не соблюдается корректным образом прописанная директива Crawl-delay, и готовы назвать эти страницы?

262

di_max

14 декабря 2009, 10:08

#4

Gray:
Вы хотите сказать, что есть конкретные страницы, при индексировании которых роботом Яндекса не соблюдается корректным образом прописанная директива Crawl-delay, и готовы назвать эти страницы?

Именно так: не соблюдается корректным образом.

Да бы не возникало двойственности, уточню, что НЕ КОРРЕКТНОСТЬ может быть как в сторону уменьшения времени между запросами, так и в сторону увеличения.;)

В своем посте я и отметил, что робот вернулся к таймингами обращений к серверу, которые были ДО введения этой директивы, без учета указанный в ней значений.

di_max добавил 14.12.2009 в 13:10

anser06:
Наверно, бывают сверхценные СДЛ, которые бот хочет переиндексировать как можно скоре ;)

В ГС замечен не был...;)

Яндекс внес изменения в Google Updates - апдейты Блокировка 25 порта провайдером

88

s91

14 декабря 2009, 13:09

#5

di_max, я так и не понимаю, в чем же ошибка яндекса?

В хелпе ясно написано:

Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей

Неужели робот яндекса не соблюдает данную директиву? Он сканирует Ваш сайт чаще чем написано в Crawl-delay?

Не бывает белой и черной оптимизации. Бывает только обман и разные способы его реализации

189

nocomments

14 декабря 2009, 13:13

#6

Показывайте логи

Это счастливая рефка: {жать сюда} (http://bit.ly/WbMR4O) тому, кто по ней разместит больше всего статей, будет сопутствовать счастье всю его оставшуюся, длинную, обеспеченную жизнь.

482

Sergey Petrenko

14 декабря 2009, 13:15

#7

di_max:
Да бы не возникало двойственности, уточню, что НЕ КОРРЕКТНОСТЬ может быть как в сторону уменьшения времени между запросами, так и в сторону увеличения.
В своем посте я и отметил, что робот вернулся к таймингами обращений к серверу, которые были ДО введения этой директивы, без учета указанный в ней значений.

Двойственность как раз возникла.

http://help.yandex.ru/webmaster/?id=996567#1022359

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Можно узнать, о какой некорректности может идти речь в "сторону увеличения времени между запросами", если речь идет о минимально разрешенном вами интервале между запросами к серверу? Вы где-нибудь в процитированном выше куске текста видите принятое Яндексом обязательство индексировать ваш сайт не реже, чем вы того хотите?

Давайте попробуем еще раз - вы можете назвать конкретные страницы, которые индексируются роботом Яндекса чаще, чем указано в соответствующей директиве в robots.txt на вашем сервере?

M

35

mimicunit

14 декабря 2009, 17:03

#8

пример некорректности работы Crawl-delay

robots.txt:

User-agent: Yandex

Crawl-delay: 2 # задает таймут в 2 секунды



User-agent: *

Disallow: /search

Crawl-delay: 5

site_access.log:


93.158.130.181 - - [14/Dec/2009:13:27:12 +0300] "GET /robots.txt HTTP/1.1" 200 35 "-" "YandexSomething/1.0"

95.108.147.242 - - [14/Dec/2009:18:40:51 +0300] "GET /robots.txt HTTP/1.1" 200 35 "-" "YandexSomething/1.0"



93.158.148.31 - - [14/Dec/2009:19:03:29 +0300] "GET /ty-pravilno-govoril/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:04:26 +0300] "GET /gniloe-vashe-pokolenie/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:05:30 +0300] "GET /dobryj-den-doktor-makartur/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:05:48 +0300] "GET /obyazan-i-xochu-raznye-veshhi-verno/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:05:58 +0300] "GET /rebyata-zamechatelnye/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:06:27 +0300] "GET /odnako-dom-tak-nazyvali/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:07:14 +0300] "GET /eto-eshhe-nichego-byvayut-perly-i-pochishhe/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:08:03 +0300] "GET /u-nego-byla-doverennost/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:08:52 +0300] "GET /xot-eto-i-dlilos-lish-dolyu-sekundy/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:09:44 +0300] "GET /delo-delaetsya-tak/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:10:49 +0300] "GET /dlinnye-predosteregayushhie/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:11:25 +0300] "GET /otkroj-byuro/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:12:48 +0300] "GET /ya-vot-i-bespokoyus/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:13:27 +0300] "GET /i-mnogo-strashnee/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:13:48 +0300] "GET /i-poluchaetsya-zlo/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:14:31 +0300] "GET /a-potom-strashno-istoshno-zakrichala/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:15:43 +0300] "GET /fedor-podnyal-palec/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:16:12 +0300] "GET /net-ne-poveryu/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:16:19 +0300] "GET /ni-zvuka/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:16:26 +0300] "GET /ya-igral-rol-voloshina/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:17:20 +0300] "GET /a-tebe-chto-zdes-nado/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:17:52 +0300] "GET /ya-poshla-za-vami-a-vas-net/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:18:42 +0300] "GET /net-ne-poveryu/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

robots.txt читает, а выполнять не хочет

88

s91

14 декабря 2009, 17:22

#9

mimicunit, и где в Вашем примере цитирую минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей меньше установленной Вами 2 секунд?

M

35

mimicunit

14 декабря 2009, 18:55

#10

s91:
mimicunit, и где в Вашем примере цитирую минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей меньше установленной Вами 2 секунд?

для танкистов:

берем 2 строчки лога:

93.158.148.31 - - [14/Dec/2009:19:13:27 +0300] "GET /i-mnogo-strashnee/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"
93.158.148.31 - - [14/Dec/2009:19:13:48 +0300] "GET /i-poluchaetsya-zlo/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

дата одной записи - [14/Dec/2009:19:13:27 +0300] , дата второй записи - [14/Dec/2009:19:13:48 +0300]

делаем простейшее вычитание 19:13:48 - 19:13:27 = 21 секунда

из 3-го класса мы помним( s91 - вы уже 3-й класс закончили? ), что 21 секунда меньше 2 минут( 2*60=120 секунд )

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы

VK приобрела 70% в структуре компании-разработчика red_mad_robot