Анти БОТ

Анти БОТ
Рейтинг
129
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
sagamorr #:
Пока еще никто не предложил рабочего решения блокировки спам переходов с сайтов, с подменным реферером через CF.

Серьезно?
Решения, естественно, есть.

клауд

png 2259.png
png 2259_1.png
RomarioSpirtberg #:
Заходят НЕ напрямую, отображается как внутренний переход на страницу site.ru/articles/, 1-2 просмотра (эта же страница).

Напрямую они сначала приходят куда?
До того как перейти дальше.

Сергей :

Какие-то динамические страницы появились после переезда VPS на другой ip

Страниц таких нет, проверено. В заголовках все чисто.

Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.


Сталкивался с таким. Это очень хитрый ддос. Редкий, но крайне эффективный, не заблочишь же яндекс. На дорах сливаются кучи страниц с десятками тысяч несуществующих ссылок на страницы вашего сайта, и все это загоняется в индекс. Яндекс прется все сканировать, укладывая сервак.
Идите в вебмастер и ставьте скорость обхода на минимум.
И запретить индексацию всего лишнего в роботс.

Dimon748 #:
Мне нужен новый хостинг или переезд, к тому же cloudflare .

Сloudflare это не хостинг, свой сайт вы туда физически не перетянете. 
Вы спутали с возможностью сменить регистратора домена, там клауд да, предлагает такую услугу.

Если вы уже настроили что-то там в клауде - то просто меняйте хостинг. Ну а следующая ддос атака покажет, настроили или думали что настроили. Заодно на практике станет понятно, как новый хостер относится к подобным ситуациям.

RomarioSpirtberg #:

Нет, уже заходят на другую страницу, код ответа 200.

Заходят напрямую?
Или проходят вашу проверку на contacts, и далее идут на about/contacts?

RomarioSpirtberg #:

Здравствуйте. С прямыми заходами вроде бы справились. Теперь начинают доставать внутренние переходы. также на одну и ту же страницу. Не подскажите, что надо добавить в правило?

Мы все еще говорим про 404 страницу contacts?

RomarioSpirtberg #:

Скриншоты во вложении. Третье правило.

Выше уже дали подсказки, что не так.
Впрочем, это видно даже по первому скриншоту. Если по этому правилу проверено НОЛЬ коннектов, то понятно что оно не работает.
Значит НЕЛЬЗЯ писать, что настроил так как вы сказали, а оно не работает. И зачем-то прикладывать скрины из метрики.
Потому что вы настроили не так, как вам подсказали, а добавили туда свою самодеятельность, что сделало правило нерабочим.

Под капчу всех, без разбора. А лучше в бан. Если банить страшно - тогда не жалкий JS, а полноценный Interactive Challenge.
Как говорится, расстрелять всех, боженька там на небе сам разберется, кого куда.

У вас первым правилом стоит что-то там пропускать по юзерагенту, и белых ботов тоже. Это распространяется на все правила. Ну так зачем повторяться и дописывать их в каждую строчку, плодить лишний код и ошибки.

png 2253.png
RomarioSpirtberg #:

Сделал как вы написали, но всё равно есть прямые заходы на страницу https://site.ru/contacts/ (на скриншоте). Что можно ещё предпринять, не подскажите?

Нужны скрины из клауда. Общий где виден CTR по правилу, + само правило в открытом виде.
Потому что я вижу, что по прямому заходу на 404 страницу контактов у вас нет проверки браузера. Никакой. Да, сайт уже спалил.

TheVS #:

Какие-то влажные фантазии на тему "я один способен в этом разобраться".

По факту при средней посещаемости по метрике ~1100 хостов cloudflare показывает, что отфильтровал 2300 ботов менее чем за сутки из которых около 900 мегафоновских + ртк через капчу. Только вот посещаемость по той же метрике уменьшилась на 2%, т.е. в районе погрешности. Т.е. фильтрует он максимум то, что и так фильтровалось элементарными скриптами и настройками в htaccess, либо  и так не учитывалось метрикой.

Кроме влажных фантазий, в этом сблёве так и не обнаружен ответ на вопрос, который задавался уже дважды.Каким образом была настроена фильтрация? Включением бесполезного режима Under Attack?

Не 2300 ботов, а 2300 коннектов. Которые по факту могли быть сгенерированы одним-двумя айпишниками.

Чуть ранее приведен скрин, с 98% зафильтрованных ботов. Аналогично по трафику, у меня есть примеры когда после настройки клауда трафик по метрике падает почти на 95%.
А что есть у вас, кроме ла-ла-ла? По делу есть что сказать?

png 2247.png
alaev #:

Вот таким скриптом их блочишь в htaccess https://disk.yandex.ru/d/7m5wQQnfh5wu0A

Кстати. Вот по этой фразе.
Если после установки запрета на прямые заходы по диапазону айпи какие-то боты будут проскальзывать, то этого не стоит пугаться. Это боты, которые были ранее на вашем сайте, у них в куках есть ваш сайт, поэтому заход не прямой. Со временем они отвалятся.

То ли здесь, то ли в соседнем топике обсуждалось, что вроде все боты с того же ростелекома блокируются правилом на прямые заходы, а в метрике все равно заходы есть. Как прямые.
Может это как раз те которые уже ранее бывали на сайте и помечены как благонадежные?
Как вариант для размышления.

Всего: 1328