- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Начал изучать вопрос, все пишут как удалить дубли, как заблокировать этот параметр для ботов и т. д
Но у меня нет дублей, я прописал на всякий случай в роботс Disallow: /*?replytocom, но не думаю что это поможет, Сайт на WordPress и у меня стоит плагин Clearfy Pro который чистит подобные дубли. в индексе тоже нет этих страниц.
Если кто сталкивался или знает как с этим боротся, помогите пожалуйста, уже голову сломал, но решение так и не нашел. Никто о таком не пишет, откуда они берут странички, которые удалены с сайта 1-2 года назад и зачем они стучатся к их комментариям. Нагрузка на сервер небольшая, даже не заметно, запросов не много, где-то 1-2к в день. Просто ломает статистику сайта и увеличивает процент отказа в яндекс метрике.
Боты стучатся потому что могут, отрубите им доступ на уровне хостинга. Сервер должен отдавать пустой ответ 444 или 403 на любой запрос с этим параметром, тогда и отказы в Метрике расти перестанут
А не подскажите как это сделать? что прописать, я в этом не очень разбираюсь, хотя бы примерно напишите, буду весьма признателен))
На днях столкнулся с проблемой, начал рости трафик и процент отказов, решил разобратся и обнаружил что идет много запросов по старым страничкам, которых уже нет на сайте с параметрами /*?replytocom=..
Скорее всего это паразитный бот трафик по заданному шаблону.
Анализируйте IP-шники, выясняйте ASN-ы, если это трафик с серверных проксей - баньте на уровне ASN-ов.
Начал изучать вопрос, все пишут как удалить дубли, как заблокировать этот параметр для ботов и т. д
в индексе тоже нет этих страниц.
В данном случае проблемы не в том, что у вас дубли по этим адресам, а в том, что по несуществующим адресам активизировалась бот активность. Рекомендации Яндекса и настройки robots.txt тут не спасут и не помогут.
А не подскажите как это сделать?
Либо нанять человека, который знает как это сделать, либо:
1) Поискать в сети/спросить у GPT - как реализовать проверку IP.
2) Поискать в сети/спросить у GPT - как определить ASN-ы вашего бот трафика.
3) Поискать в сети/спросить у GPT - относится ли этот трафик к спамному серверному бот трафику.
4) Поискать в сети/спросить у GPT - как запретить доступ этим ASN-ам в htaccess.
Если ASN-ы относятся к резидентным адресам или мобильному трафику, то банить нельзя, в этом случае придётся использовать антибот решения.
Скорее всего это паразитный бот трафик по заданному шаблону.
Анализируйте IP-шники, выясняйте ASN-ы, если это трафик с серверных проксей - баньте на уровне ASN-ов.
В данном случае проблемы не в том, что у вас дубли по этим адресам, а в том, что по несуществующим адресам активизировалась бот активность. Рекомендации Яндекса и настройки robots.txt тут не спасут и не помогут.
Либо нанять человека, который знает как это сделать, либо:
1) Поискать в сети/спросить у GPT - как реализовать проверку IP.
2) Поискать в сети/спросить у GPT - как определить ASN-ы вашего бот трафика.
3) Поискать в сети/спросить у GPT - относится ли этот трафик к спамному серверному бот трафику.
4) Поискать в сети/спросить у GPT - как запретить доступ этим ASN-ам в htaccess.
Если ASN-ы относятся к резидентным адресам или мобильному трафику, то банить нельзя, в этом случае придётся использовать антибот решения.
Если вдруг кто-то столкнется с подобной херней, есть решение. Можно добавить блокировку через nginx по параметру "replytocom"
if ($query_string ~* "replytocom") { return 444; }отказы упали, запросы сошли на нет.
Кмк для ботов ничего блокировать ненадо. Чем они могут помешать!? Трафик только если жрут - так у современных хостеров... Тем более сайт на вп, а это обычно не очень крупные сайты.
Под видом юзеров могут ходить и поисковые боты, иначе как клоакинг запалить.