- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет! Последние пару дней, наблюдаю странную ситуацию, ночью происходит отключение сайта и выдаёт ошибку 500, метрика шлёт сообщения о недоступности, обратился к хостингу, за помощью, говорят наблюдаем активность поисковых роботов, мол сайт не выдерживает нагрузку, [ATTACH]147378[/ATTACH]
[ATTACH]147379[/ATTACH]
На вопрос что делать, для исправления написали следующее:
добавьте в robots.txt следующее:
User-agent *
Crawl-delay 60
Это установит интервал между запросами 60 секунд.
Прошу помогите разобраться, если просто вставить это в пустой файл роботс, думаю ничего не изменится, блог работает на WP, и данный файл не создавался, тк регулируется всё плагином "Yoast SEO" подскажите выход из ситуации.
Спасибо.
плагин заменяет robots.txt???
плагин заменяет robots.txt???
в настройка плагина, я указываю какие страницы и вложения/архивы доступны для индексирования, а какие нет.
Поменять хостинг.
у меня роботы сканируют сайт по 5 запросов в секунду, все в норме. попробуй кеширование на стороне сервера сделать и cdn для статики использовать. если вставить код, который тебе посоветовали, он действительно замедлит индексацию твоего сайта поисковыми роботами
у меня роботы сканируют сайт по 5 запросов в секунду, все в норме. попробуй кеширование на стороне сервера сделать и cdn для статики использовать. если вставить код, который тебе посоветовали, он действительно замедлит индексацию твоего сайта поисковыми роботами
по сути, я понимаю так, движок сайта должен терпеть от роботов, скорее всего это косяк с хостингом/сервером, потому как не может этого быть, а если на сайте будут 500+ в сутки и роботы, не думаю что это проблема с WP, скорее всего ошибка на стороне провайдера, если изначально сайт не выдерживает большие нагрузки то зачем его создавать, а по поводу индексации роботами - зачем уменьшать, пусть даже если это быстробот, пусть все странички кушает, скорее всего человек сказал правильно: менять хостера...