Анти БОТ

Анти БОТ
Рейтинг
129
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
sagamorr #:

А зачем проверка, если IPv6 отключено?

Потому что, несмотря на то что она отключена, все равно каким-то образом в логах есть единичные заходы по этому протоколу.

drfarkos #:

Ну вот хотя бы самые жирные. 35048 везде встречается. Больше не могу найти никаких списков. Поделитесь?

У каждого он свой, собирается путем анализа логов.
Можно прошвырнуться здесь по обоим темам по клауду, и собрать самые часто стречающиеся. А дальше - логи, логи, логи.

Ну или вот
https://searchengines.guru/ru/forum/1078193/page5#comment_16943703

yago85 #:

Я как не посмотрю заказы на фриланс, особенно на всем известной 500 рублевой бирже, так там порой ТЗ на 15 страниц под крупный проект на Laravel,  с разными ролями пользователей, разными личными кабинетами, отдельной админкой, товарами, платежными системами, уведомлениями, API и т.д., еще и данные напарсить и наполнить надо, цена например указана до 30000₽. Ну думаю заказчик идиот, никто за такое браться не будет, а потом смотрю, там уже 5-10 предложений.

На выходе конечно получается совсем не то что себе представлял заказчик, а "по платежке и работежка". Потом начинают друг друга психами называть и отзывы строчить, хотя первый сам виноват, неразумную сумму указал, а второй переоценил свои возможности.

На всем известной бирже любую работу можно получить бесплатно. Нужно просто протянуть под самое окончание срока на выполнение заказа. При необходимости, постоянно отправляя на доработку, как можно громче крича и создавая как можно больше шума. Ну или пропадая сразу после того, как работа выполнена и вами проверена (втихаря, не сообщая исполнителю). Обязательно сменить доступы, предоставленные исполнителю. Главное, протянуть сколько там указано по максимальному сроку исполнения.
Как срок выйдет - станет активна кнопка закрытия заказа без оплаты. Деньги вернутся на баланс. Итого получаем и работу, и деньги за нее обратно. Там есть особенность, заказчик, даже самый отмороженный - всегда прав. А исполнитель - всегда неправ, даже если он прав.

Пользуйтесь, не благодарите.

drfarkos #:

А можно прикладной вопрос?

Как лучше - через список IP или по AS.... ?

Плюсы/минусы /подводные камни?

Как по мне - размер.

В клауде битерика банится одним правилом, подсеть 35048.

А вот файлик для htaccess во вложении. Там 227 строк.

Где-то здесь в темах кто-то выкладывал свой файл с правилами бана по хостингам. Там сотни AS. В основном разный бурж. Я на третьем десятке проверки что за подсеть просто плюнул, надоело. Это уже обгрызенное, я вырезал из txt файла номера под проверку. В скрин, чуть что, только два правила влезли.
А вот если это же внести в htaccess, то боюсь что там будут как минимум десятки тысяч строк. Не думаю, что серваку понравится читать такой файл на каждый хит.


клауд

txt htaccess.txt
sudvish #:

Я вот проанализировал логи таким образом и вижу, что 90% ботов идет из ANS CF. Что в таком случае посоветуете?

Нормально настроить проброс айпи на хостинге. Чтобы в лог реальные айпишники писались, а не проксированные клауда.
Ну и вопросы по оставшимся 10% коннектам, которые идут к вам на сервер напрямую, в обход клауда.

softerra #:

У меня в логах при каждом запросе этот скрипт вылезал. Хуки не помогают абсолютно. Поставил плагин и все решилось - чистая выдача и нагрузка на сервер стала меньше.

Какой плагин?

softerra #:

Если на него пуляют ботов, значит кто-то это заказал и оплатил?

И да и нет. Раз сайт в топе, то значит он при любом раскладе попадает в различные списки на выгул ботов. Поэтому даже без явного заказа у вас будет все больше и больше вот этого вот всего, что нужно заблочить. 
Может и явный заказ поступить, но тогда там будет микс прямых заходов, отказных заходов с возвратом в поиск, на сайт конкурента, рефспама со всякой запрещенки, скармливания ботам поисковиков тонны несуществующих страниц сайта, в том числе и на 18+, и проч явно заказных вредоносных действий. 

softerra #:

Это понятно.

Deny from 2a0e:7040::/30

Deny from *****/**

или можно по идентификатору  AS204916 всех сразу?

Так я и написал - смело блочьте. Всю подсеть сразу.
Я же клаудом занимаюсь, здесь при настройках какими-то диапазонами не размениваются, сразу всю подсеть.


Для htaccess может возникнуть маааленькая такая проблемка... Чем больше внесете подсетей в блок, тем быстрее у вас начнет виснуть Apache и отваливаться реальные посетители, потому что сайт лагает.
На скрине - все диапазоны этой тайландской заразы.



клауд

softerra #:
AS204916

Смело блочьте.

yalol #:

А для них какая польза?

Ну вы можете купить акк на Ahrefs за 89$ (в месяц, как полагаю).
Данные будут построены на аналитике с сотен тысяч сайтов, в том числе вашего.

Ну или ваши конкуренты будут изучать нишу под микроскопом (и ваш сайт тоже), опираясь в том числе на данные, которые сервис спарсил у вас.

Всего: 1326