- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Куча тем на серче, но не работает ни одна. Подскажите, как на сегодняшний день можно заблокировать, скажем, AhrefsBot?
Невзирая на роботс и htaccess, все равно прется, плевал он с высокой колокольни на запреты.
User-agent: AhrefsBot
Disallow: /
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^(.*)$ – [F,L]
Или что сделано не так?
по диапазонам ip
юзеро-агент ерунда. он может и без него ходить
По ip читаю инфу, что они меняют адреса, можно реальных юзеров заблочить и т.д. Нежелательно.
За последние 5 минут его адреса:
164.132.162.153
51.255.65.95
217.182.132.74
А сколько их будет таких?
P.S. Короче, по айпишнику вся эта херамантия банится. Только надо ставить не 51.255.65.95 а 51.255. Другого способа пока не нашел, если у кого есть идеи - напишите.
В соседне теме
/ru/forum/964091
Идет обсуждение практически такой же проблемы.
Может Вам так же решить и свою проблему?
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^(.*)$ – [F,L]
для чего там "[OR]" ?
диапазоны ip можно смотреть в разных сервисах. к примеру райп
https://stat.ripe.net/data/prefix-routing-consistency/data.json?resource=164.132.162.153
можно вообще весь OVH смело в бан. там ничего интересного нет
Если свой сервер, можно с nginx колдануть.
Составить список всех нежелательных юзерагентов, и маппингом. Их не так много.
Далее, с пустым юзерагентом тоже в бан (до этого практически ещё не дошёл).
если у кого есть идеи - напишите
Не пробовали им в тикет накатать абузу, пусть боту запретят ходить по вашему сайту. Возможно с работает, у них же там есть правила и тд... А возможно и дадут совет как заблокировать на 100%
скажем, AhrefsBot
Этот дикий сервис с идиотскими ботами, которые не слушают никаких директив типа Crawl-delay.
Мне, к счастью пока не доводилось с ним бороться (ттт), но по прошлогодней инфе от тех, кого он достал по ЮА всё же его можно отшить. Не средиректить, не смягчить, а именно забанить на уровне сервера.
А вооще у кого есть fall2ban - тем легче :)
Вот лучшая защита /ru/forum/958253
вот еще вариант /ru/forum/comment/14885499
Куча тем на серче, но не работает ни одна. Подскажите, как на сегодняшний день можно заблокировать, скажем, AhrefsBot?
Невзирая на роботс и htaccess, все равно прется, плевал он с высокой колокольни на запреты.
User-agent: AhrefsBot
Disallow: /
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^(.*)$ – [F,L]
Или что сделано не так?
Вот так заблокируйте.
iptables -I INPUT 1 -m string --algo kmp --string "AhrefsBot" --to 65535 -j DROP
service iptables save
service iptables restart
Посмотреть что сохранили:
iptables -vnL --line-numbers