- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите у меня на одном посещаемом сайте хостер предлагает, чтобы снизить нагрузку на сервер добавить в robots (ошибся)
User-agent: *
Crawl-delay: 10
Request-rate: 1/5
Visit-time: 0100-0800
Вопрос - может ли это негативно сказаться на индексации/ранжировании ?
Я бы настороженно отнесся вот к этой записи Visit-time: 0100-0800, да и предыдущая мне не особо нравится, а что за хостер ?
User-agent: *
Crawl-delay: 10
Request-rate: 1/5
Visit-time: 0100-0800
Вопрос - может ли это негативно сказаться на индексации/ранжировании ?
Нет негативно не скажется, а по поводу нагрузки хз, смотря от чего нагрузка, если от ботов, то, возможно снизит.
Возможно, просто не нужным ботам стоит вообще запретить сканировать.
По поводу robots справка не плохая https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru#crawl-delay
Нет негативно не скажется, а по поводу нагрузки хз, смотря от чего нагрузка, если от ботов, то, возможно снизит.
Возможно, просто не нужным ботам стоит вообще запретить сканировать.
Да, боты гугла. А мне чето кажется что может навредить.... послушаю еще мнения.
Да, боты гугла. А мне чето кажется что может навредить.... послушаю еще мнения.
Вот подобная тема(архив) /ru/forum/154767
Может пригодится...
Навредит вряд ли, по крайней мере будет не хуже чем если сайт повиснет во время индексирования в результате нагрузки.
Но гугл рекомендует так https://support.google.com/webmasters/answer/48620?hl=en&ref_topic=6002454 делать
Вообще гугл в этом смысле достаточно вежливый, нас больше вебархивный поисковик напрягает обычно (вообще безбашенный) и отчасти бинг (тоже краев не знает, правда заходит реже).
очень жестко.
может хостера проще сменить, если он ботов не может выдержать
Одно время у меня индексация новых записей происходила очень долго - от месяца и дольше, переиндексация старых так же долго тянулась, после долгой переписки с Яндексом мне объяснили, у робота ограниченное время на переобход каждого сайта, и то что он не успел загрузить сейчас - может быть успеет загрузить в следующий раз, посоветовали купить выделенный ip для сайта, я так и сделал - индексация ускорилась, если у вас выделенный ip можно добавить две верхних строчки, а если ip общий - я бы не рисковал.
Вопрос - может ли это негативно сказаться на индексации/ранжировании ?
Да, боты гугла.
Вообще никак не скажется. Боты гугла Crawl-delay игнорируют, а Request-rate и Visit-time не распознают.