Резкий всплеск прямых заходов. Как бороться?

K1
На сайте с 16.04.2023
Offline
7
#851
У меня была такая же проблема где то год назад, на рег ру. Вдруг стало не хватать ресурсов процессора, сайт начали отключать. Приходилось раз в 3 дня заходить и включать его заново. Техподдержка предложила перейти на тариф выше. Все манипуляции с htaccess ничего не дали. Да и не правильно это было, так как долбил бот яндекса. В итоге принял решение перейти на другой хостинг, не в России. Тут же исчезли все проблемы. И уже год их нет...
Вот сегодня позвонил один клиент с такой же проблемой. Будем переезжать.
softerra
На сайте с 02.10.2023
Offline
52
#852

BLEXBot - этот полностью весь сайт сразу обходит за один визит.

Вчера приходил. Заблочил.

Антоний Казанский
На сайте с 12.04.2007
Offline
683
#853
Brat_Sergij #:
Хотя... по идее эти боты должны слушаться правила в роботс

Не должны. 

Боты сервисов-анализаторов вообще сами по себе.

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга.
softerra
На сайте с 02.10.2023
Offline
52
#854

Ботов почти всех заблочил, остались единицы с акков мобильных операторов, пускай пыхтят, жгут электричество бакланы.

Сегодня сильно удивился, Яндекс бот сканирует полностью весь сайт (около 200 страниц).

Это нормально?

Просто эту тему раньше не мониторил.

Анти ДДОС
На сайте с 14.03.2020
Offline
87
#855
softerra #:

Ботов почти всех заблочил, остались единицы с акков мобильных операторов, пускай пыхтят, жгут электричество бакланы.

Сегодня сильно удивился, Яндекс бот сканирует полностью весь сайт (около 200 страниц).

Не верю 😂

Защита сайта от ботов, настройка Cloudflare, поведенческие факторы, АнтиБот, DDoS - https://antiddos24.ru
softerra
На сайте с 02.10.2023
Offline
52
#856
GuruSite24 #:

Не верю 😂

Чему конкретно?

ЗЫ Не верь, имеешь право. Если насчет Яндекса - сам не знаю почему он пришел весь сайт перебирать сразу. Может это норма для Янда?

Ботные сетки можно легко блочить без лишних затрат и суеты. Мне на это потребовалось меньше месяца, чтобы понять как. Все оказалось намного проще, чем я думал в начале ..

GRAFLEKX
На сайте с 05.11.2010
Offline
212
#857
softerra #:

Сегодня сильно удивился, Яндекс бот сканирует полностью весь сайт (около 200 страниц).

Это нормально?

Заблокируйте его да и всё - делов то...

Пусть пыхтит баклан и получает по морде 403 =)

Мы поможем в поиске работы: стабильная работа для вас ( https://www.rabota.ru ), вакансии и резюме.
alaev
На сайте с 18.11.2010
Offline
763
#858
softerra #:

ЗЫ Не верь, имеешь право. Если насчет Яндекса - сам не знаю почему он пришел весь сайт перебирать сразу. Может это норма для Янда?

А там какой именно робот яши?

Могут качать ботов вот по такой ссылке:

https://translated.turbopages.org/proxy_u/en-ru.ru.731df423-65404d13-a5e6eb63-74722d776562/https/www.reg.ru/

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
softerra
На сайте с 02.10.2023
Offline
52
#859
alaev #:

А там какой именно робот яши?

Вот такой бот.

***.ru 5.255.231.128 - - [31/Oct/2023:07:57:20 +0300] "GET /  HTTP/1.0" 200 321790 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Перебирает сайт, не знаю, хорошо это или плохо.

How to check that a robot belongs to Yandex - Webmaster. Help
  • yandex.com
Some robots can disguise themselves as Yandex robots by indicating the relevant User Agent. You can check the authenticity of a robot using reverse DNS lookup. Just follow these steps: Check whether the host belongs to Yandex. All Yandex robot names end in , or . If the host name has a different ending, the robot does not belong to Yandex. Make...
Shelton724
На сайте с 26.05.2011
Offline
263
#860
Brat_Sergij #:
Ох... у меня и так  htaccess оказался переполнен из-за внесения диапазонов...

Ну лишние 2 Кб особо погоды не сделают, apache все равно даже на небольших сайтах открывает в процессах десятки файлов после каждого обращения (если не закэширована страница). Да и не обязательно это писать в хтаксесс, если сайтов на серваке не один, лучше сразу в настройках httpd, можно отдельным правилом в подпапке с файлами настройки. Гораздо удобнее менять для всех сайтов сразу.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий