- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Куча тем на серче, но не работает ни одна. Подскажите, как на сегодняшний день можно заблокировать, скажем, AhrefsBot?
Невзирая на роботс и htaccess, все равно прется, плевал он с высокой колокольни на запреты.
User-agent: AhrefsBot
Disallow: /
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^(.*)$ – [F,L]
Или что сделано не так?
по диапазонам ip
юзеро-агент ерунда. он может и без него ходить
По ip читаю инфу, что они меняют адреса, можно реальных юзеров заблочить и т.д. Нежелательно.
За последние 5 минут его адреса:
164.132.162.153
51.255.65.95
217.182.132.74
А сколько их будет таких?
P.S. Короче, по айпишнику вся эта херамантия банится. Только надо ставить не 51.255.65.95 а 51.255. Другого способа пока не нашел, если у кого есть идеи - напишите.
В соседне теме
/ru/forum/964091
Идет обсуждение практически такой же проблемы.
Может Вам так же решить и свою проблему?
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^(.*)$ – [F,L]
для чего там "[OR]" ?
диапазоны ip можно смотреть в разных сервисах. к примеру райп
https://stat.ripe.net/data/prefix-routing-consistency/data.json?resource=164.132.162.153
можно вообще весь OVH смело в бан. там ничего интересного нет
Если свой сервер, можно с nginx колдануть.
Составить список всех нежелательных юзерагентов, и маппингом. Их не так много.
Далее, с пустым юзерагентом тоже в бан (до этого практически ещё не дошёл).
если у кого есть идеи - напишите
Не пробовали им в тикет накатать абузу, пусть боту запретят ходить по вашему сайту. Возможно с работает, у них же там есть правила и тд... А возможно и дадут совет как заблокировать на 100%
скажем, AhrefsBot
Этот дикий сервис с идиотскими ботами, которые не слушают никаких директив типа Crawl-delay.
Мне, к счастью пока не доводилось с ним бороться (ттт), но по прошлогодней инфе от тех, кого он достал по ЮА всё же его можно отшить. Не средиректить, не смягчить, а именно забанить на уровне сервера.
А вооще у кого есть fall2ban - тем легче :)
Вот лучшая защита /ru/forum/958253
вот еще вариант /ru/forum/comment/14885499
Куча тем на серче, но не работает ни одна. Подскажите, как на сегодняшний день можно заблокировать, скажем, AhrefsBot?
Невзирая на роботс и htaccess, все равно прется, плевал он с высокой колокольни на запреты.
User-agent: AhrefsBot
Disallow: /
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^(.*)$ – [F,L]
Или что сделано не так?
Вот так заблокируйте.
iptables -I INPUT 1 -m string --algo kmp --string "AhrefsBot" --to 65535 -j DROP
service iptables save
service iptables restart
Посмотреть что сохранили:
iptables -vnL --line-numbers