Каких ботов из этого списка стоит заблокировать?

1 23
Анти БОТ
На сайте с 14.03.2020
Offline
131
#21
yalol #:
плюс защита от ддос-гуард стоит
В чем это заключается? В тариф якобы антиддос от ддосгард включен? Если да, то оно и не должно вам что-то там фильтровать, это защита сервера, а не отдельного проекта на нем. Оно может быть сработает, когда вас или кого-то другого будут ддосить. А может и не сработает. Но к фильтрации бот трафика отношения не имеет.
Защита сайта от поведенческих ботов, настройка АнтиБот систем, фильтрация ботов для Яндекс Директ - https://antibot24.ru
Volovikov
На сайте с 06.12.2016
Offline
134
#22
yalol #:
нет, итак на максимальном тарифе
Пробовал плагин?
Российский спорт ▶ https://russian-sports.ru
Vladimir
На сайте с 07.06.2004
Offline
622
#23
Mik Foxi #:
нет, это нормальный. если не усмирить там, то только увеличивать ресурсы сервера. но в большинстве сайтов контент на всех страницах не меняется каждый день, их не надо посещать по 3-5-10 раз в день каждую страницу, как делает яндекс.
Насколько помню сам админишь сервер?
И не знать, что поисковые боты усмиряются ответом сервера 304?
Т.е 10 - 100 заходов в сутки, вместо 40 тысяч. Не трогая скорость бота. И при этом новые и измененные  страницы обновляются в индексе от минуты и максимум до суток, что в Яндексе, что в Гугле.
И при этом  проиндексированные страницы годами в индексе.

PS При этом у вас то консоль у Гугла не работает, то Яндекс не индексирует - это же естественно, если вы резко уменьшаете скорость обхода , вместо уменьшения использования  Краулингового бюджета.
( 1-5% вместо 100 %) 
При этом вы еще еще увеличиваете количественно страниц  ( на 100% и более) за счет дублей, полагаясь на canonical или robots.  Ну и вопрос - почему вас при этом нельзя блокировать при больших нагрузках?

yalol #:
плюс защита от ддос-гуард стоит)


Т.е то что тебе написали уже двое - трое, что защита ддос здесь ни при чем. И то, что хостинг не ограничивает поисковых ботов, которые и создают нагрузку - у тебя мимо пролетело?


Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
K4
На сайте с 29.01.2020
Offline
84
#24
Анти БОТ #:
Настройте Last-Modified. Ваш сервер должен сообщать краулерам, страница изменилась или нет, для того, чтобы впустую не переиндексировалось одно и то же.  

В данном случае не поможет, только поисковые боты от гугла передают в заголовке “If-Modified-Since”. Яндекс  на это дело забил, пол года назад обратился в тех. поддержку с этой проблемой - ничего не изменилось.

IM
На сайте с 01.08.2025
Offline
16
#25
yalol #:
Господи, тут есть нормальные люди или только желчные, дающие вредные советы?

А какой вы нормальный ответ хотите получить на глупый вопрос?

Вы перечислили вполне безобидных ботов. Если только некоторые можно исключить, так и то не по юзерагенту, а по ip это надо делать.

Потом вы это в контексте нагрузки написали. Если нагрузка велика, надо проводить оптимизацию или увеличивать мощности.

Цифры, которые вы тут продемонстрировали - это вообще не цифры. Это ничто.

Какой вопрос, такой и ответ. Спрашивали что заблокировать, чтобы уменьшить нагрузку? Ответ - всё блокировать.

TB
На сайте с 16.01.2009
Offline
266
#26
Vladimir #:
Это правильный совет, если точнее Last-Modified и ответ сервера 304. 
Один нюанс - большинство его неправильно настраивают.  Правильно - это когда дата Last-Modified равна публикации или модификации, а не дате кэширования страниц
а как его правильно настраивать? у меня на виртуальном хостинге он начинает работать только если html-страницам выставить атрибуты 750 или 754,  а с 644 не хочет
TB
На сайте с 16.01.2009
Offline
266
#27
yalol :
22631 yandex.com/bots 
а что это за бот такой? 
Genius Ideaing
На сайте с 12.02.2024
Offline
104
#28
yalol :

4901 SERankingBacklinksBot/1.0 

115 opensiteexplorer.org/dotbot 

115 DotBot/1.2 

92 bot 

73 VKRobotRB 

62 www.semrush.com/bot.html 

62 SemrushBot/7 

58 linkup.so/bot 

58 LinkupBot/1.0 

58 LinkupBot 

49 BitSightBot/1.0 

44 openai.com/searchbot 

44 openai.com/bot 

вот это блокируйте через .htaccess 

индексирующие боты Янда, Гугла, Бинг - конечно не блокируйте

Дешёвый хостинг и домены: https://clck.ru/3FxXCa / Заработок в $$$ на трафике сайта! Не РСЯ/AdSense: https://clck.ru/3REcmY / Есть Идеи! Ищу людей для совместного воплощения этих идей в Интернете! Мой Telegram: https://clck.ru/396JFF
N2
На сайте с 25.04.2024
Offline
46
#29
Непонятно, за какой период список и на какое количество страниц это. Но по сути, да, в лидерах, в основном те боты, которых как раз банить нельзя, кроме SERankingBacklinksBot его можно. Остальные цифры слишком не значительные, чтобы говорить о нагрузке.  Общее количество, если это не в минуту,  тоже не значительное в принципе. Нормальный хостинг тариф должен тянуть такое, если это не какой нибудь Старт для статичного сайтика и если сайт нормально оптимизирован.  Скорее всего, нужно сайт оптимизировать. А ботов банить можно по разным причинам, но здесь корень проблемы не в них.
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий