Грозит ли сайту потеря релевантности (фильтр МПК), если не обращать внимание на ботовую активность?

Romanov Roman
На сайте с 21.06.2018
Offline
215
346

Я прекрасно понимаю, что проблема блокировки ботов обсуждается ежечасно.

1. Хочу выслушать диаметрально противоположные мнения о том, нужно ли блокировать роботов? 
В каком случае их стоит блокировать? Если боты почти не нагружают сервер (как в моём случае - 80% ботов - прямые заходы с Битерики по 0 секунд), может не стоит заморачиваться, а продолжать добавлять на сайт новый контент?

2. Боюсь блокировать Битерику через файл .htaccess. Не вызовет ли нестабильность работы сайта "портянка" из ip следующего вида?

Deny from 2.59.50
Deny from 5.183.130
Deny from 31.40.203
Deny from 45.11.20.0/23
Deny from 45.15.72.0/23
Deny from 45.15.236.0/23
Deny from 45.81.136.0/23
Deny from 45.84.176.0/23
Deny from 45.86.0.0/23
Deny from 45.87.252.0/23
Deny from 45.89.16.0/22
Deny from 45.90.196
Deny from 45.134.180.0/22
Deny from 45.134.252.0/23
Deny from 45.135.32.0/23
Deny from 45.139.125
Deny from 45.139.176.0/23
Deny from 45.140.52.0/22
Deny from 45.142.252.0/23
Deny from 45.144.36
Deny from 45.145.116.0/22
Deny from 45.147.192.0/23
Deny from 45.151.145
Deny from 46.8.10.0/23
Deny from 46.8.14.0/23
Deny from 46.8.16.0/23
Deny from 46.8.22.0/23
Deny from 46.8.56.0/23
Deny from 46.8.106.0/23
Deny from 46.8.110.0/23
Deny from 46.8.154.0/23
Deny from 46.8.156.0/23
Deny from 46.8.192.0/23
Deny from 46.8.212.0/23
Deny from 46.8.222.0/23
Deny from 77.83.84
Deny from 77.83.148.0/23
Deny from 77.94.1
Deny from 84.54.53
Deny from 91.188.244
Deny from 92.119.193
Deny from 94.158.190
Deny from 95.182.124.0/22
Deny from 109.248.12.0/22
Deny from 109.248.48.0/23
Deny from 109.248.54.0/23
Deny from 109.248.128.0/23
Deny from 109.248.138.0/23
Deny from 109.248.142.0/23
Deny from 109.248.166.0/23
Deny from 109.248.204.0/23
Deny from 176.53.186
Deny from 185.181.244.0/22
Deny from 185.181.247
Deny from 188.130.128.0/23
Deny from 188.130.136.0/23
Deny from 188.130.142.0/23
Deny from 188.130.184.0/22
Deny from 188.130.188.0/23
Deny from 188.130.210.0/23
Deny from 188.130.218.0/23
Deny from 188.130.220.0/23
Deny from 192.144.31
Deny from 193.53.168
Deny from 193.58.168.0/23
Deny from 194.32.229
Deny from 194.32.237
Deny from 194.34.248
Deny from 194.35.113
Deny from 194.156.92
Deny from 194.156.96.0/23
Deny from 194.156.123
Deny from 212.115.49
Deny from 213.226.101


Всем удачи в продвижении сайтов. Будьте здоровы и счастливы, а остальное - "приложится".
Shelton724
На сайте с 26.05.2011
Offline
263
#1
Romanov Roman :
Боюсь блокировать Битерику через файл .htaccess. Не вызовет ли нестабильность работы сайта "портянка" из ip следующего вида?

Даже если это портянка будет в 100 раз (а может и в 1000) длиннее, это полная фигня по сравнению с тем, сколько сервер отработает на отдачу контента в большинстве случаев. Ну потеряете на выходе по памяти мегабайтик (не гигабайтик! в 1024 раза меньше!), если норм хостинг и нет 100 000 в секунду посещалки - то погрешность почти 0.001

K
На сайте с 03.01.2022
Offline
24
#2

лучше CloudFlare подключите.

гораздо удобнее через него работать с заходами на сайт . даже бесплатный тариф очень гибок и функционален

Romanov Roman
На сайте с 21.06.2018
Offline
215
#3
Shelton724 #:
Даже если это портянка будет в 100 раз (а может и в 1000) длиннее, это полная фигня по сравнению с тем, сколько сервер отработает на отдачу контента в большинстве случаев.

Спасибо большое!

Наталья А. #:
Лучше CloudFlare подключите.

У меня, как ни странно, 80% ботов поступают с Битерики. Я могу их заблокировать, добавив в файл .htaccess соответствующие запреты.

K
На сайте с 03.01.2022
Offline
24
#4

подобный метод создает нагрузку на ваш веб-сервер или ВПС. зачем вам это?

пусть работают процессоры CloudFlare

Romanov Roman
На сайте с 21.06.2018
Offline
215
#5
Наталья А. #:
Пусть работают процессоры CloudFlare.

Скажите, пожалуйста, Наталья, а что CloudFlare блокирует мусорный трафик, при этом не нагружая сервер?
Ему ведь тоже необходимо определить с какого ip происходит визит, сравнить его с запрещёнными адресами, только потом разрешить/запретить доступ на конкретную страницу веб-сайта?

vashfreelancer
На сайте с 24.10.2023
Offline
36
#6

Romanov Roman #:

Скажите, пожалуйста, Наталья, а что CloudFlare блокирует мусорный трафик, при этом не нагружая сервер?
Ему ведь тоже необходимо определить с какого ip происходит визит, сравнить его с запрещёнными адресами, только потом разрешить/запретить доступ на конкретную страницу веб-сайта?

Cloudflare не нагружает Ваш сервер. Он работает по такому принципу:

То есть запрос идет через клауд, и если клауд решит пропустить - он пропустит на сервер и тогда будет нагрузка, а если вы запретили боту заходить - то он до конечного сайта не доходит.

К тому же вся битерика блокируется одним правилом по номеру AS сети.

Защита сайта от ботов - накрутки ПФ, роботность, DDoS, Cloudflare ДДос - https://vashfreelancer.com
Romanov Roman
На сайте с 21.06.2018
Offline
215
#7
vashfreelancer #:
К тому же вся битерика блокируется одним правилом по номеру AS сети.

Спасибо большое!

softerra
На сайте с 02.10.2023
Offline
62
#8
Shelton724 #:

Даже если это портянка будет в 100 раз (а может и в 1000) длиннее, это полная фигня по сравнению с тем, сколько сервер отработает на отдачу контента в большинстве случаев. Ну потеряете на выходе по памяти мегабайтик (не гигабайтик! в 1024 раза меньше!), если норм хостинг и нет 100 000 в секунду посещалки - то погрешность почти 0.001

Полностю поддерживаю, боты должны получать по морде - 403
softerra
На сайте с 02.10.2023
Offline
62
#9
Romanov Roman #:

CloudFlare блокирует мусорный трафик, при этом не нагружая сервер?

Блокируйте ботные сетки напрямую и не переживайте.

Здесь несколько активных тем по этому вопросу, увидите то, что ищите.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий