- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Заметил, на многих сайтах в роботе указан параметр для бота Crawl-delay. Зачем нужна задержка? и главное объясните - в каких случаях (для каких сайтов) указывать этот параметр в роботе?
спасибо.
Взгляните, например:
http://help.yandex.ru/webmaster/?id=996567#1022359
http://yandex.ru/yandsearch?text=Crawl-delay&lr=193
Параметр этот имеет смысл указывать, если для Вашего сайта актуальна такая штука как "нагрузка на сервер". Иногда боты поисковых систем приходят вместе и давай сканировать все подряд. Получается что-то похожее на легкий DDoS. А если указать данный параметр, то между загрузками страниц они будут выдерживать некоторую паузу.
Параметр этот имеет смысл указывать, если для Вашего сайта актуальна такая штука как "нагрузка на сервер". Иногда боты поисковых систем приходят вместе и давай сканировать все подряд. Получается что-то похожее на легкий DDoS. А если указать данный параметр, то между загрузками страниц они будут выдерживать некоторую паузу.
а как узнать, есть ли эта самая нагрузка? сайт клиента.
а как узнать, есть ли эта самая нагрузка? сайт клиента.
Хостер любезно отключит сайт. Заметите сразу.
Хостер любезно отключит сайт. Заметите сразу.
Фига се, такие хостеры… Большинство хостеров показывают нагрузку в панеле управления или на почту присылают отчёт. И если несколько раз нагрузка будет выше допустимого, то отключат.
"Пятибаксовые", к сожалению, не очень склонны "считать разы" :(