Crawl-delay в Robots

Rokfeller
На сайте с 18.03.2009
Offline
27
520

Добрый день!

Есть в Роботсе поставить интервал загрузки страниц!

Crawl-delay: 10

Ничего страшного не будет? :bl:

Оптимизатор в Интернете - как Промысловый охотник в Сибири
Цахес
На сайте с 15.03.2007
Offline
205
#1
Rokfeller:
Ничего страшного не будет?

Зададите поисковому роботу, поддерживающему данную директиву, минимальный период времени между концом закачки одной страницы и началом закачки следующей равный 10 секундам.

Страшно?

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
Rimlyanin
На сайте с 22.02.2006
Offline
200
#2

а какие боты поддерживают эту директиву???

Цахес
На сайте с 15.03.2007
Offline
205
#3
Rimlyanin:
а какие боты поддерживают эту директиву???

Все более или менее крупные ПС (кроме Рамблера).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий