Анти БОТ

Анти БОТ
Рейтинг
140
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
drfarkos #:

А можно прикладной вопрос?

Как лучше - через список IP или по AS.... ?

Плюсы/минусы /подводные камни?

Как по мне - размер.

В клауде битерика банится одним правилом, подсеть 35048.

А вот файлик для htaccess во вложении. Там 227 строк.

Где-то здесь в темах кто-то выкладывал свой файл с правилами бана по хостингам. Там сотни AS. В основном разный бурж. Я на третьем десятке проверки что за подсеть просто плюнул, надоело. Это уже обгрызенное, я вырезал из txt файла номера под проверку. В скрин, чуть что, только два правила влезли.
А вот если это же внести в htaccess, то боюсь что там будут как минимум десятки тысяч строк. Не думаю, что серваку понравится читать такой файл на каждый хит.


клауд

txt htaccess.txt
sudvish #:

Я вот проанализировал логи таким образом и вижу, что 90% ботов идет из ANS CF. Что в таком случае посоветуете?

Нормально настроить проброс айпи на хостинге. Чтобы в лог реальные айпишники писались, а не проксированные клауда.
Ну и вопросы по оставшимся 10% коннектам, которые идут к вам на сервер напрямую, в обход клауда.

softerra #:

У меня в логах при каждом запросе этот скрипт вылезал. Хуки не помогают абсолютно. Поставил плагин и все решилось - чистая выдача и нагрузка на сервер стала меньше.

Какой плагин?

softerra #:

Если на него пуляют ботов, значит кто-то это заказал и оплатил?

И да и нет. Раз сайт в топе, то значит он при любом раскладе попадает в различные списки на выгул ботов. Поэтому даже без явного заказа у вас будет все больше и больше вот этого вот всего, что нужно заблочить. 
Может и явный заказ поступить, но тогда там будет микс прямых заходов, отказных заходов с возвратом в поиск, на сайт конкурента, рефспама со всякой запрещенки, скармливания ботам поисковиков тонны несуществующих страниц сайта, в том числе и на 18+, и проч явно заказных вредоносных действий. 

softerra #:

Это понятно.

Deny from 2a0e:7040::/30

Deny from *****/**

или можно по идентификатору  AS204916 всех сразу?

Так я и написал - смело блочьте. Всю подсеть сразу.
Я же клаудом занимаюсь, здесь при настройках какими-то диапазонами не размениваются, сразу всю подсеть.


Для htaccess может возникнуть маааленькая такая проблемка... Чем больше внесете подсетей в блок, тем быстрее у вас начнет виснуть Apache и отваливаться реальные посетители, потому что сайт лагает.
На скрине - все диапазоны этой тайландской заразы.



клауд

softerra #:
AS204916

Смело блочьте.

yalol #:

А для них какая польза?

Ну вы можете купить акк на Ahrefs за 89$ (в месяц, как полагаю).
Данные будут построены на аналитике с сотен тысяч сайтов, в том числе вашего.

Ну или ваши конкуренты будут изучать нишу под микроскопом (и ваш сайт тоже), опираясь в том числе на данные, которые сервис спарсил у вас.

softerra #:

PS В процессе ботоохоты отключил (/?wc-ajax=get_refreshed_fragments). Напрягала при всех запросах - мне она не нужна.

Мне кстати тоже постоянно попадаются эти запросы в клауде.
Когда гуглил - это функционал корзины WC.

Brat_Sergij #:

Тоже упали ))

А на душе светло и хорошо от того, что всем вылазит капча при заходе на сайт.
И только для 20% ботов не вылазит капча, потому что они ее не видят без включенного джаваскрипт, и их сразу блокирует.
Поэтому самые пострадавшие во всей этой истории - боты. Наверное, цветом кожи не вышли.

У медали всегда 2 стороны. Фрилансерам, в свою очередь, иногда попадаются заказчики, которые и результат работы присваивают, и пытаются все это по итогу получить на халяву.
Всего: 1453