Crawl-delay: как рассчитывается время

тоже не могу ничего найти((

Все зависит от создаваемой ботами нагрузки, если сервер справляется, то Crawl-delay не нужен

Да не парься брат. Гоша прекрасно индексирует и без robots.txt.

Никаких параметров не нужно. - Только хуже сделаешь, поверь.

А когда, все-таки, нужно ставить 0,5 и когда 10? Не могу этого понять, 10 - это много или мало? Или 0,5 - аналогичный вопрос.

И если, например, сервер не справляется, то сколько когда ставить?

В Crawl-delay указывается минимальное время (секунды) между концом скачивания одной страницы и началом скачивания следующей.

Допустим если Crawl-delay: 10, то после того как робот скачает одну и начнёт качать другую должно пройти не меньше 10 секунд.

Яндекс поддерживает Crawl-delay: от 0.1 до 1000.

Для небольших сайтов можно Crawl-delay не писать или писать минимальное значение. Для слишком больших можно написать 5 (к примеру). Всё это приблизительно.

Лично я пишу Crawl-delay: 10 для всех ПС (неприоритетных), кроме Яндекса и Гугла.

А сколько, если директива не прописывается, идет время задержки? Как понимаю, ее нет?

И еще вопрос - не уйдет ли робот раньше, чем обойдет все страницы, если промежуток стоит большое?

Ну почему нет, есть. Если не прописано, то действуют по умолчанию. А какое время по умолчанию точно сказать не могу.

Это уж от робота зависит!

P.S. - Директива crawl-delay больше актуальна для быстроиндексируемых ресурсов, там где роботы живут.

Честно говоря тестил я эту приблуду никак не помогала, сервер возвращал время от времени 403, помогло только поставить ngnix на сервер и проблема вроде исчезла

nezabor добавил 05.05.2011 в 21:41

да и вроде гугля вообще этот параметр не засчитывает

Crawl-delay помогает снизить нагрузку вызываемую поисковыми роботами, а не человеками....

Всё он засчитывает. Насколько мне известно crawl-delay понимают все известные ПС.