Т.е. весь сыр-бор только для того, чтобы вынудить вебмастера зайти в Вебмастер и снизить скорость обхода поискового робота?
Как правило, внешне со стороны владельца это выглядит так: сайт стал тормозить или вообще открываться через раз. Все. Почему - непонятно и неизвестно.Чтобы найти причину, нужно:- быть зарегистрированным в вебмастере, вероятность малая, если владелец не шарит, как правило это так- на хостинге должны вестись логи посещений, эта галка нажата обычно через раз, больше даже попадается что логов нет- уметь читать эти логи, увидеть что это запросы от бота яндекса- знать, что в вебмастере существует возможность ограничить скорость обхода, вероятность низкая- знать о существовании файла роботс и что там можно задавать директивы, уметь это делать, вероятность низкая- знать о том, что это такая атака, хитросделанная - вероятность низкаяПоэтому, как правило, атака эффективна, и фатальна для относительно слабых хостинг планов. Да и последствия вброса такого количества 404 страниц в обход тоже явно будут. Мне попадалось, что яндекс в сутки вот так сканировал до 100 000 несуществующих страниц. И так несколько дней подряд.
Серьезно?Решения, естественно, есть.
Напрямую они сначала приходят куда?До того как перейти дальше.
Какие-то динамические страницы появились после переезда VPS на другой ip
Страниц таких нет, проверено. В заголовках все чисто.
Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.
Сталкивался с таким. Это очень хитрый ддос. Редкий, но крайне эффективный, не заблочишь же яндекс. На дорах сливаются кучи страниц с десятками тысяч несуществующих ссылок на страницы вашего сайта, и все это загоняется в индекс. Яндекс прется все сканировать, укладывая сервак.Идите в вебмастер и ставьте скорость обхода на минимум.И запретить индексацию всего лишнего в роботс.
Сloudflare это не хостинг, свой сайт вы туда физически не перетянете. Вы спутали с возможностью сменить регистратора домена, там клауд да, предлагает такую услугу.
Если вы уже настроили что-то там в клауде - то просто меняйте хостинг. Ну а следующая ддос атака покажет, настроили или думали что настроили. Заодно на практике станет понятно, как новый хостер относится к подобным ситуациям.
Нет, уже заходят на другую страницу, код ответа 200.
Заходят напрямую?Или проходят вашу проверку на contacts, и далее идут на about/contacts?
Здравствуйте. С прямыми заходами вроде бы справились. Теперь начинают доставать внутренние переходы. также на одну и ту же страницу. Не подскажите, что надо добавить в правило?
Мы все еще говорим про 404 страницу contacts?
Скриншоты во вложении. Третье правило.
Выше уже дали подсказки, что не так.Впрочем, это видно даже по первому скриншоту. Если по этому правилу проверено НОЛЬ коннектов, то понятно что оно не работает.Значит НЕЛЬЗЯ писать, что настроил так как вы сказали, а оно не работает. И зачем-то прикладывать скрины из метрики.Потому что вы настроили не так, как вам подсказали, а добавили туда свою самодеятельность, что сделало правило нерабочим.
Под капчу всех, без разбора. А лучше в бан. Если банить страшно - тогда не жалкий JS, а полноценный Interactive Challenge.Как говорится, расстрелять всех, боженька там на небе сам разберется, кого куда.
У вас первым правилом стоит что-то там пропускать по юзерагенту, и белых ботов тоже. Это распространяется на все правила. Ну так зачем повторяться и дописывать их в каждую строчку, плодить лишний код и ошибки.
Сделал как вы написали, но всё равно есть прямые заходы на страницу https://site.ru/contacts/ (на скриншоте). Что можно ещё предпринять, не подскажите?
Нужны скрины из клауда. Общий где виден CTR по правилу, + само правило в открытом виде.Потому что я вижу, что по прямому заходу на 404 страницу контактов у вас нет проверки браузера. Никакой. Да, сайт уже спалил.
Какие-то влажные фантазии на тему "я один способен в этом разобраться".
По факту при средней посещаемости по метрике ~1100 хостов cloudflare показывает, что отфильтровал 2300 ботов менее чем за сутки из которых около 900 мегафоновских + ртк через капчу. Только вот посещаемость по той же метрике уменьшилась на 2%, т.е. в районе погрешности. Т.е. фильтрует он максимум то, что и так фильтровалось элементарными скриптами и настройками в htaccess, либо и так не учитывалось метрикой.
Кроме влажных фантазий, в этом сблёве так и не обнаружен ответ на вопрос, который задавался уже дважды.Каким образом была настроена фильтрация? Включением бесполезного режима Under Attack?
Не 2300 ботов, а 2300 коннектов. Которые по факту могли быть сгенерированы одним-двумя айпишниками.Чуть ранее приведен скрин, с 98% зафильтрованных ботов. Аналогично по трафику, у меня есть примеры когда после настройки клауда трафик по метрике падает почти на 95%.А что есть у вас, кроме ла-ла-ла? По делу есть что сказать?
