Каких ботов из этого списка стоит заблокировать?

12 3
yalol
На сайте с 12.12.2007
Offline
237
1307

Пошла большая нагрузка на сайт. Хостер сказал, что слишком много и часто боты разные приходят, дали список:

22631 yandex.com/bots 

21768 YandexBot/3.0 

4901 SERankingBacklinksBot/1.0 

3763 www.google.com/bot.html 

3763 Googlebot/2.1 

1945 Googlebot-Image/1.0 

360 www.bing.com/bingbot.htm 

360 bingbot/2.0 

115 opensiteexplorer.org/dotbot 

115 DotBot/1.2 

92 bot 

73 VKRobotRB 

62 www.semrush.com/bot.html 

62 SemrushBot/7 

58 linkup.so/bot 

58 LinkupBot/1.0 

58 LinkupBot 

49 BitSightBot/1.0 

44 openai.com/searchbot 

44 openai.com/bot 


Что из них точно стоит заблокировать?

SA
На сайте с 12.04.2024
Offline
53
#1
Googlebot можно сразу в чс кидать
Остальные пусть будут, толку от них мало
K4
На сайте с 29.01.2020
Offline
84
#2

Лови список ботов, проверенный годами — их не нужно блокировать. Всё остальное - в блок!

"yandexbot",
"yadirectfetcher",
"yandexdirect",
"googlebot",
"yandexmetrika",
"yandexmobilebot",
"yandexwebmaster",
"yandexaccessibilitybot",
"yandeximages",
"yandexrenderresourcesbot",
"google-read-aloud",
"googleother"
IM
На сайте с 01.08.2025
Offline
16
#3
yalol :
Что из них точно стоит заблокировать?

Всех. Нагрузка точно снизится и хостеру приятно будет.

Людей тоже можно заодно. А зачем мелочиться?

11
На сайте с 09.10.2024
Online
27
#4

Блоч всех, имеющих в названии Yandex и google


jpeg orig_52f.jpeg
Volovikov
На сайте с 06.12.2016
Offline
135
#5
yalol :
Пошла большая нагрузка на сайт.
Случайно не на вордпрессе сайт? 
Российский спорт ▶ https://russian-sports.ru
yalol
На сайте с 12.12.2007
Offline
237
#6
Volovikov #:
Случайно не на вордпрессе сайт? 
на нем
yalol
На сайте с 12.12.2007
Offline
237
#7
1771 #:

Блоч всех, имеющих в названии Yandex и google


Господи, тут есть нормальные люди или только желчные, дающие вредные советы?
Volovikov
На сайте с 06.12.2016
Offline
135
#8
yalol #:
на нем
поставь плагин Bot Traffic Shield. Сколько не тестил различные, он больше всех нравится, щадящий и не блокирует чё попало. Всех роботов по метрике не уберет, но я и не уверен, что там все боты. 
eByeBots
На сайте с 10.12.2025
Offline
5
#9
yalol :
Что из них точно стоит заблокировать?

Все зависит от ресурса, блокировать по User Agent не лучшая затея (они подделываются). Условно в  Googlebot/2.1  может быть не гугл бот, ПС боты нужно добавлять в исключения по хостам или ASN сетям или что еще - это к слову.
А по теме:
SERankingBacklinksBot - при условии что не пользуетесь сервисом.
DotBot
VKRobotRB  если не крутите рекламу через вк
Semrush все - если не пользуетесь.

Но у Вас по данным видно что преобладают яндекс боты (непонятно за какой промежуток), нужно разобраться - действительно ли это официальные боты.
Если официальные, то вариантов куча:

1. В вебмастере уменьшить сканирование (частоту), но черевато тем если контента много нового - мб долгое появление.
2. Сделать кэширование страниц и отдавать ботам статику, тем самым разгрузить сервер от запросов к БД и ТП
3. Самый простой - увеличить мощности сервера, а потом разбираться по оптимизации.

Защита любого сайта от ботов, спама и атак через защищенный, настроенный прокси-сервер. Функционал: скрытие IP, веб-панель аналитики, фильтрация трафика + пользовательские правила защиты, Fingerprint отпечатки, GeoLite2, поддержка и многое другое - https://ebyebots.ru/
Dambo
На сайте с 19.07.2018
Offline
385
#10
Из них в основном ai  и семраш надо заблочить. Но нагрузку на сайт делают чаще всего боты из Китая, Гонконга и прочей Азии. Блочьте эти страны.т
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий