Вредоносный краулер

Анастасия Громова
На сайте с 19.08.2021
Offline
39
286

Всем привет

Сайт атакуется ботом:

User-Agent :  meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Большинство ботов успешно поддалось блокировке через Cloudflare или файл htaccess, но этот никак не сдается.

Кто с ним уже сталкивался, подскажите. пожалуйста, как его можно заблокировать?

Artisan
На сайте с 04.03.2005
Offline
379
#1
Анастасия Громова :
Сайт атакуется ботом:


Что значит атакуется? Какой IP номер у робота?


Анастасия Громова :
как его можно заблокировать?


Настоящий робот от мордокниги полезный.

Зачем его запрещать?




www.leak.info / ДАРОМ линки конкурентов и забытых доменов
big boy
На сайте с 18.11.2006
Offline
360
#2
Анастасия Громова :
Большинство ботов успешно поддалось блокировке через Cloudflare или файл htaccess, но этот никак не сдается.

А как вы их блочите?

Можно по user-agent заблочить, но это только для белых ботов, которые не меняют свои юзер-агенты и честно о них заявляют.

✔ Как я генерирую статьи через ИИ, которые приносят трафик - https://webmasta.ru/blog/16-vkalyvayut-roboty-ne-chelovek-stati-s-pomoschyu-ii-kotorye-prinosyat-trafik
Анти БОТ
На сайте с 14.03.2020
Offline
134
#3
Давно уже придумано как мордокнигой парсить сайты. Отсюда и навал такой. В целом, я бы забанил заходы с фейсбука или по юзерагент, или по ASN.
Защита сайта от поведенческих ботов, настройка АнтиБот систем, фильтрация ботов для Яндекс Директ - https://antibot24.ru
Анастасия Громова
На сайте с 19.08.2021
Offline
39
#4
Artisan #:
Настоящий робот от мордокниги полезный.

Зачем его запрещать?


Он создает огромную нагрузку на сервер

Анти БОТ #:
Давно уже придумано как мордокнигой парсить сайты. Отсюда и навал такой. В целом, я бы забанил заходы с фейсбука или по юзерагент, или по ASN.
Напишите, пожалуйста, как именно забанить этого бота (что и куда прописать)?
Анти БОТ
На сайте с 14.03.2020
Offline
134
#5
Анастасия Громова #:
Напишите, пожалуйста, как именно забанить этого бота (что и куда прописать)?
Откройте логи сервера и напишите сюда несколько айпи адресов, с которых приходил этот бот.

В базовом случае, для хтассесс, есть возможность банить и по айпи и по юзерагент. Так что просто загуглите, как это делается.
Анастасия Громова
На сайте с 19.08.2021
Offline
39
#6
Анти БОТ #:
Откройте логи сервера и напишите сюда несколько айпи адресов, с которых приходил этот бот.

В базовом случае, для хтассесс, есть возможность банить и по айпи и по юзерагент. Так что просто загуглите, как это делается.

Если добавить это:

RewriteCond %{HTTP_USER_AGENT} meta-externalagent [NC,OR]

в файл htaccess, то должно помочь?

Анти БОТ
На сайте с 14.03.2020
Offline
134
#7
Анастасия Громова #:

Если добавить это:

RewriteCond %{HTTP_USER_AGENT} meta-externalagent [NC,OR]

в файл htaccess, то должно помочь?

Зависит от версии апач на сервере, до 2,4 или после. 

Попробуйте и со своим, и с этим.

SetEnvIfNoCase User-Agent "meta-externalagent" blocked_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=blocked_bot
</Limit>
L
На сайте с 25.12.2013
Online
451
#8
Анастасия Громова :

Кто с ним уже сталкивался, подскажите. пожалуйста, как его можно заблокировать?

Не сказать, что он атакует, но зачем-то постоянно ломится в закрытие ворота. Этому боту запрещен доступ, а он все равно лезет.
Недорогой, надежный и отзывчивый VPS хостинг ( https://vk.cc/cSd09I ) Проверенная пуш партнерка с ежедневными выплатами ( https://vk.cc/9wLSrL )
L
На сайте с 25.12.2013
Online
451
#9
Анастасия Громова #:

Он создает огромную нагрузку на сервер

Если этому боту отдается ошибка 302, то никакой нагрузки на сервер он не создает, так как страницы сайта ему не отдаются. Откройте файлы логов на сервере и посмотрите.
Антоний Казанский
На сайте с 12.04.2007
Offline
796
#10
Lastwarrior #:
Если этому боту отдается ошибка 302, то никакой нагрузки на сервер он не создает

Думаю вы ошиблись, 302 - это временный редирект. 

403 - доступ запрещен.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий