Каких ботов из этого списка стоит заблокировать?

12
LEOnidUKG
На сайте с 25.11.2006
Offline
1776
#11

Учитывая, что Яндекс + Гугл дают 53870 запросов, остальные просто погрешность.

Здесь надо с сайтом разбираться, почему нагрузка. Что за запросы? Что запрашивают? Есть ли кэш плагин? А он точно отрабатывает? Может быть есть куча других вредных запросов и с ботами этими не связанные?

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
Антоний Казанский
На сайте с 12.04.2007
Online
792
#12
yalol :
Пошла большая нагрузка на сайт. Хостер сказал, что слишком много и часто боты разные приходят, дали список:

и соот-но, просит перейти на новый тариф?

Забаньте SERanking, всё остальное (кроме поисковых ботов) - мелочь.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
R0
На сайте с 04.12.2019
Offline
71
#13
Хостинг обычный или Вип? Ну и кэширование настроить
Анти БОТ
На сайте с 14.03.2020
Offline
131
#14
yalol :

Пошла большая нагрузка на сайт. Хостер сказал, что слишком много и часто боты разные приходят, дали список:

22631 yandex.com/bots 

21768 YandexBot/3.0 

4901 SERankingBacklinksBot/1.0 

3763 www.google.com/bot.html 

3763 Googlebot/2.1 

Основное - это, в цитате, остальное - мелочь пузатая.
Серанк заблочить.

По яндексу - в вебмастере есть параметр с частотой запросов, поставить вместо автоматической - минимальную из ручных. (Это если яндексботы там реальные, а не парсинг с фейковыми юзерагентами. Просто как допущение.)

Настройте Last-Modified. Ваш сервер должен сообщать краулерам, страница изменилась или нет, для того, чтобы впустую не переиндексировалось одно и то же.  

Защита сайта от поведенческих ботов, настройка АнтиБот систем, фильтрация ботов для Яндекс Директ - https://antibot24.ru
Vladimir
На сайте с 07.06.2004
Offline
622
#15
LEOnidUKG #:
Учитывая, что Яндекс + Гугл дают 53870 запросов
И учитывая, что именно Гугл бот зачастую виноват в таких письмах от хостера
правильный ответ, это уменьшить количество посещений ботом

Анти БОТ #:
По яндексу - в вебмастере есть параметр с частотой запросов, поставить вместо автоматической - минимальную из ручных.
Это вредный совет

Анти БОТ #:
Настройте Last-Modified.

Это правильный совет, если точнее Last-Modified и ответ сервера 304. 
Один нюанс - большинство его неправильно настраивают.  Правильно - это когда дата Last-Modified равна публикации или модификации, а не дате кэширования страниц. Проверить ( почитать) https://lastmodified.ru/ 

PS Т.е - В плагине WP Super Cache можно включить опцию "Кеширование браузера 304" на вкладке Расширенные. - это вредный совет


Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
virusz
На сайте с 25.01.2017
Online
79
#16
Да не надо ничего блокировать,в чем-то разбираться и вообще что-то делать.
Если за 20 лет практики такие вопросы встают, само решится заводом, не волнуйся ТС.
Mik Foxi
На сайте с 02.03.2011
Offline
1223
#17
Vladimir #:
Это вредный совет
нет, это нормальный. если не усмирить там, то только увеличивать ресурсы сервера. но в большинстве сайтов контент на всех страницах не меняется каждый день, их не надо посещать по 3-5-10 раз в день каждую страницу, как делает яндекс.
Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (8 лет на защите сайтов). Форум на замену серчу: https://foxi.biz/
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий