- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Куча тем на серче, но не работает ни одна. Подскажите, как на сегодняшний день можно заблокировать, скажем, AhrefsBot?
Невзирая на роботс и htaccess, все равно прется, плевал он с высокой колокольни на запреты.
User-agent: AhrefsBot
Disallow: /
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^(.*)$ – [F,L]
Или что сделано не так?
по диапазонам ip
юзеро-агент ерунда. он может и без него ходить
По ip читаю инфу, что они меняют адреса, можно реальных юзеров заблочить и т.д. Нежелательно.
За последние 5 минут его адреса:
164.132.162.153
51.255.65.95
217.182.132.74
А сколько их будет таких?
P.S. Короче, по айпишнику вся эта херамантия банится. Только надо ставить не 51.255.65.95 а 51.255. Другого способа пока не нашел, если у кого есть идеи - напишите.
В соседне теме
/ru/forum/964091
Идет обсуждение практически такой же проблемы.
Может Вам так же решить и свою проблему?
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^(.*)$ – [F,L]
для чего там "[OR]" ?
диапазоны ip можно смотреть в разных сервисах. к примеру райп
https://stat.ripe.net/data/prefix-routing-consistency/data.json?resource=164.132.162.153
можно вообще весь OVH смело в бан. там ничего интересного нет
Если свой сервер, можно с nginx колдануть.
Составить список всех нежелательных юзерагентов, и маппингом. Их не так много.
Далее, с пустым юзерагентом тоже в бан (до этого практически ещё не дошёл).
если у кого есть идеи - напишите
Не пробовали им в тикет накатать абузу, пусть боту запретят ходить по вашему сайту. Возможно с работает, у них же там есть правила и тд... А возможно и дадут совет как заблокировать на 100%
скажем, AhrefsBot
Этот дикий сервис с идиотскими ботами, которые не слушают никаких директив типа Crawl-delay.
Мне, к счастью пока не доводилось с ним бороться (ттт), но по прошлогодней инфе от тех, кого он достал по ЮА всё же его можно отшить. Не средиректить, не смягчить, а именно забанить на уровне сервера.
А вооще у кого есть fall2ban - тем легче :)
Вот лучшая защита /ru/forum/958253
вот еще вариант /ru/forum/comment/14885499
Куча тем на серче, но не работает ни одна. Подскажите, как на сегодняшний день можно заблокировать, скажем, AhrefsBot?
Невзирая на роботс и htaccess, все равно прется, плевал он с высокой колокольни на запреты.
User-agent: AhrefsBot
Disallow: /
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^(.*)$ – [F,L]
Или что сделано не так?
Вот так заблокируйте.
iptables -I INPUT 1 -m string --algo kmp --string "AhrefsBot" --to 65535 -j DROP
service iptables save
service iptables restart
Посмотреть что сохранили:
iptables -vnL --line-numbers