- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем всего доброго. Сайт на WP. Второй день (и не первый раз) идет сильная нагрузка на сервер ботами Яндекса. Пытаются сканировать файлы из несуществующей! папки video (путь - /uploads/thumbs/video/). Таких файлов нет и папки нет. Но простым посещением это назвать сложно - боты "долбят" каждую секунду. Роботам отдается 301. Еще одно несчастье - в Яндекс ВМ постоянно загружаются тысячи страниц именно из данной папки. Они отдают 404 и их нет в поиске, но все равно как-то напрягает. Вопроса у меня два.
1. Правильно ли я закрыл папку в роботсе - Disallow: /video? Потому что толку пока нет.
2. Не связанны ли эти "атаки ботов" :bl: с тем, что я решил убрать отдельные страницы с отдельными изображениями? Создал файл attachment с содержимым <?php wp_redirect(get_permalink($post->post_parent)); ?>
Помогите советами, а то башка прикипает...
Без сайта трудно что-то сказать. Боты просто так не начнут долбить по определенному URL, если только не: 1) домен ранее имел очень важные файлы по данному URL. 2) если на вас кто-то проставил много ссылок именно на ошибочный URL, что вряд-ли возможно. Остается один вариант: ошибка либо в XML-карте сайта, либо в самом шаблоне, и где-то генерируется ссылка на этот самый /video.
Для того, чтобы эта вакханалия прекратилась, вам нужно отдавать не 301 статус (и да, кстати, куда 301 ведет, это же статус редиректа), а 404 или же 410.
В зависимости от веб-сервера, можно настроить отдачу 404/410 без передачи управления PHP, тогда нагрузка на сервер от этой "дудос-атаки" будет минимальной.
Какой у вас веб-сервер: Apache, nginx?
Остается один вариант: ошибка либо в XML-карте сайта, либо в самом шаблоне, и где-то генерируется ссылка на этот самый /video.
Роботы ищут файлы с определенными url, которые находятся в папке video. Т.е. папка - это не конечный адрес. Сейчас только заметил (точно башка кипит), что робот идет на url, где имеет 301 и сразу после этого (в эту же секунду) на этот же адрес, но теперь имеет ответ 404.
Удалил к чертям файл attachment с редиректом! 😡