Пожалуйста.
P.S. - Ссылки остаются доступными для ПС даже если они в noindex и nofollow.
А вот сделать их недоступными для ПС можно к примеру: если переход по ссылке идёт через редирект или она выводится через JavaScript.
Если ссылка будет доступна ПС, то нет.
Ну почему нет, есть. Если не прописано, то действуют по умолчанию. А какое время по умолчанию точно сказать не могу.
Это уж от робота зависит!
P.S. - Директива crawl-delay больше актуальна для быстроиндексируемых ресурсов, там где роботы живут.
Легко пройдёт..... 1000 и 1 раз проверено.... Правда надо знать, как правильно накручивать.... Тогда всё будет ОК.
А то что манипуляции ТС легко разоблачат - это факт.
Форумом не ошиблись?
Работает только для Яндекса.
Лучше 301.
В Crawl-delay указывается минимальное время (секунды) между концом скачивания одной страницы и началом скачивания следующей.
Допустим если Crawl-delay: 10, то после того как робот скачает одну и начнёт качать другую должно пройти не меньше 10 секунд.
Яндекс поддерживает Crawl-delay: от 0.1 до 1000.
Для небольших сайтов можно Crawl-delay не писать или писать минимальное значение. Для слишком больших можно написать 5 (к примеру). Всё это приблизительно.
Лично я пишу Crawl-delay: 10 для всех ПС (неприоритетных), кроме Яндекса и Гугла.
Если сайт дубль другого, то следует поставить 301 перенаправление.
Вам в раздел Работа для вебмастера.
Я говорил про RoboForm2Go, а не про lastpass. RoboForm2Go хранит данные на USB носителе, а не на сервере.
Ужас! Прям заговор против вас устроили! Видимо 2 копий мало, третью надо было записать на обычный диск.
