В Crawl-delay указывается минимальное время (секунды) между концом скачивания одной страницы и началом скачивания следующей.
Допустим если Crawl-delay: 10, то после того как робот скачает одну и начнёт качать другую должно пройти не меньше 10 секунд.
Яндекс поддерживает Crawl-delay: от 0.1 до 1000.
Для небольших сайтов можно Crawl-delay не писать или писать минимальное значение. Для слишком больших можно написать 5 (к примеру). Всё это приблизительно.
Лично я пишу Crawl-delay: 10 для всех ПС (неприоритетных), кроме Яндекса и Гугла.
Большое спасибо
Пожалуйста.
P.S. - Ссылки остаются доступными для ПС даже если они в noindex и nofollow.
А вот сделать их недоступными для ПС можно к примеру: если переход по ссылке идёт через редирект или она выводится через JavaScript.
Получается, что теперь, когда яндекс зайдет ко мне, он посчитает что я скопировал материал?
Если ссылка будет доступна ПС, то нет.
А сколько, если директива не прописывается, идет время задержки? Как понимаю, ее нет?
Ну почему нет, есть. Если не прописано, то действуют по умолчанию. А какое время по умолчанию точно сказать не могу.
И еще вопрос - не уйдет ли робот раньше, чем обойдет все страницы, если промежуток стоит большое?
Это уж от робота зависит!
P.S. - Директива crawl-delay больше актуальна для быстроиндексируемых ресурсов, там где роботы живут.
Накрутка не пройдет
Легко пройдёт..... 1000 и 1 раз проверено.... Правда надо знать, как правильно накручивать.... Тогда всё будет ОК.
А то что манипуляции ТС легко разоблачат - это факт.
Форумом не ошиблись?
И в robots.txt добавте
Host: www.site.ru
Где укажите главное зеркало
Работает только для Яндекса.
Лучше 301.
В Crawl-delay указывается минимальное время (секунды) между концом скачивания одной страницы и началом скачивания следующей.
Допустим если Crawl-delay: 10, то после того как робот скачает одну и начнёт качать другую должно пройти не меньше 10 секунд.
Яндекс поддерживает Crawl-delay: от 0.1 до 1000.
Для небольших сайтов можно Crawl-delay не писать или писать минимальное значение. Для слишком больших можно написать 5 (к примеру). Всё это приблизительно.
Лично я пишу Crawl-delay: 10 для всех ПС (неприоритетных), кроме Яндекса и Гугла.
Если сайт дубль другого, то следует поставить 301 перенаправление.
Вам в раздел Работа для вебмастера.
это который плагин в модзиллу?
пароли у них на сервере хранятся
получается если хакнуть основную почту - ко всем сайтам пароли получат?
Я говорил про RoboForm2Go, а не про lastpass. RoboForm2Go хранит данные на USB носителе, а не на сервере.
бэкап делался на внешний жесткий диск. диск жена разбила случайно неделю назад.
с утра слетела карта памяти в мобиле. Кажется, я проклят...
Ужас! Прям заговор против вас устроили! Видимо 2 копий мало, третью надо было записать на обычный диск.