Подскажите, парни, как быть.
Есть вот такие правила:
Первое правила, белые поисковые боты, в последних правилах, пытаюсь заблокировать SemrushBot/7~bl
Но клауд пропускает, я так понимаю, потому что SemrushBot/7~bl находится в первом правиле, в белых.
Как быть? Сначала блочить а потом разрешать? Вроде это не правильно
При попытке поднять block3 в верх, поставить первым, все равно клауд пропускает SemrushBot/7~bl
Да, сначала блочить, потом разрешать. В таком случае бот не дойдет до правила разрешения. Если у Вас так не работает, то покажите вообще код, который вы используете для блокировки семраша. Я вижу что там AS сеть у Вас, но вы уверены что бот Semruh ходит только с той сети что у Вас? блокируйте по UserAgent - SemrushBotЕсли и это не поможет покажите лог, где вы видите что семраш проходит, можно в самом низу сделать просто логирование всех заходов, и там найти SemrushBot по фильтру.
ну вообще самозанятые, в м0й н4л0г пишут, пришло оттуда то номер договора за сентябрь. Будет вообще весело если яндекс автоматом не сделает в этом месяце отметку.
Внесу свои 5 копеек. Скоро в 0 упадет, хых.а вот Adsense, там стабильно: (только пн и вт проседают по сравнению с выходными и опять рост)
читал про настройки фильтрации ботов для CF
все упорно рекомендуют фильтровать по протоколу например HTTP/1.1
бред!
по этому протоколу например на мои сайты поисковые роботы Яндекса и Гугла ходят.
думать надо, когда советуете!
Думать надо, когда пишите чушь. Например в клауде бесплатном 5 правил. 1 правилом ставите пропуск известных ботов (там галочка есть)..(там есть яндекс и гугл). А затем блок http 1.1
Если вы не изучали подробно защиту сайта, смысл такое писать?
Изучайте.
Я поэтому безуспешно пытаюсь отключить показ видео РСЯ в Адфлуре.
Показ видео не приносит никакого повышения дохода, чтобы они там не говорили.
Связь не везде 4G и тарифы не у всех с быстрым интернетом, поэтому люди просматривают страницы раньше, чем видео начинает играть. У многих телефоны за 3000 рублей, где видео на страницах просто тормозит людям страницы и они жмут НАЗАД.
Многие рекламодатели часто засовывают туда огромные файлы.
И поэтому с отключением видео доход как ни странно вырастает. Легкие, быстрые картинки показываются моментально.
Сделайте загрузка скрипта яндекса по скролу страницы, тогда показатели будут в норме. Но на первом экране сайта блоки будут не успевать прогружаться, если конечно они у Вас есть.
Лично на моем сайте этих сеток вообще человек 5-10.. (очень мало) АS 34665 нет..
Один только заход с юзером Scrapy/2.5.1
Есть ли там реальные пользователи вопрос спорный, но у клиента 60% по HTTP/1.1 - остальные по 2 протоколу. и я думаю тех кто по 1, можно в бан точно, если нет правила блокировки HTTP/1.1
# (AS44812) IP SERVER LLC
# (AS59504) LLC Vpsville
# (AS204916) Racktech Co. Ltd.
# (AS29182) JSC IOT
# (AS50113) NTX Technologies S.R.O.
# (AS35048) Biterika Group LLC
# (AS45027) LLC Internet Tehnologii
# (AS60389) Manir LLC
# (AS213220) Delta Ltd
# (AS49492) Mehed Studio LLC
# (AS34665) Petersburg Internet Network Ltd.
# (AS211027) Perfect Cloud Technologies LLC
# (AS56630) Melbikomas UAB
# (AS205125) Network Management Ltd
# (AS204490) Kontel LLC
Попался мне клиент, у которого вот эти AS сети гуляют. Ну битерика понятно, а остальные. Посмотрел через клауд, все есть кроме AS56630.Эти сети чисто хостинг компаний, у клиента галочку клауда (бесплатный тариф) конечно же они проходят :)Список взял отсюда [Nginx] Config for block site bots / Конфиг для блокировки вредного трафика от хостинг провайдеров · GitHub
И выделил только AS, там же есть и для .htaccess
Так что блокируйте, ушел смотреть свои сайты на эту бяку.. и у него боты эти сидели больше 15 секунд.
Реальных не порежете. Если не используете эти сервисы для своих проектов - блокируйте, хуже не будет, а нагрузку на сервер снизите.
