А почему хостинг должен решать Ваши проблемы с нагрузкой Вашего сайта? Что они сдирают деньги это да, дешевле на зарубежных хостах быть.
Отложенная загрузка метрики / РСЯ - все решение.
Делаете выгрузку доменных зон. Фильтруете их типо .ru .com .net (допустим у Вас сайт vasya.net)пишите 2 подобных правила:
1. Разрешаете условно переходы с ПС SKIP- (http.referer contains "yandex") or (http.referer contains "ya.ru") or (http.referer contains "google") - добавляете нужные самостоятельно, это пример.
2. Это правило Interactive Challenge - (http.referer contains ".ru") or (http.referer contains ".com") or (not http.referer contains "vasya.net" and http.referer contains ".net") - смотрите будут ли Ваши боты после этого проходить, там будет % сколько решили капчу. Но это поверхностный ответ, разбирайтесь.
Всем доброго времени суток!
Может кто-нибудь подсказать как решить слдующую проблему: в Яндекс.Бизнесе стал блокироваться YML-фид, по которому передаётся информацию о товарах, выдаёт 403 ошибку. В Вебмастере всё нормально, статус фида Без ошибок и он участвует в Поиске по товарам. Обратился в Яндекс.Бизнес с просьбой предоставить IP-адреса с которых идут запросы в Бизнесе и/или AS, они мне ответили:
список подсетей, из которых могут приходить запросы:
Можно сеть 13238 в исключение, а можно просто добавить нужные URL фида в исключения по одному из правил "URL".
В логах этот визит есть, почему то в событиях CF его нет. Видимо заходят на сайт с подменой реферера на яндекс, а потом уже на внутреннюю сайта, обходя проверку CF.
Странно, что такой визит в Метрике отображается как прямой заход, а не как переход по ссылкам с сайтов.
Потому что или настроены правила неверно или же заход идет в обход клауда. Посмотрите включен ли у Вас бесплатный SSL со стороны хостинга. Если включен - удалите его, чтобы SSL был только универсальный через клауд. У меня был подобный случай, когда правила есть, а они не отрабатывают, как только сертификат вырубил старый то все стало норм и в логах клауда появились призраки..)
на крайний случай .htaccess Вам в помощь. Раз в логах сервера есть, значит не блочите Вы их.
Заблокировал сесть AS213220 DATA-CHEAP-AS в CF, но с нее все равно идут переходы.
Переходов не много, но они все равно есть. Как такое возможно?
Правило с блокировкой идет сразу после белого списка.
Вы дали минимум информации кроме номера сети и хотите чтобы Вам чем то помогли?Смотрите логи клауда по каким правилам проходит сеть вместо блока. Показывайте правила. Вариантов на самом деле куча, от клауда до кривых настроек самого сайта.И почему Вы решили что переходы также идут с этой сети? Почему нужно все вытягивать не с гуру пользователя?
Новый магазинчик, еще не запущен и не наполнен. Естественно никаких топов, конкурентов и заказов. Ссылок нигде нет.
Пошла такая массированная атака или внутренний косяк - пока не знаю точно.
Заблокировал сеть + добавил в вп-конфиг строчку:
add_filter('xmlrpc_enabled', '__return_false'); (не помогло)
Помог плагин: Disable XML-RPC-API
Ищут уязвимости в xmlrpc.php, это гуглится по запросу "уязвимость xmlrpc.php". Как отключить xmlrpc.php wordperss.
Блокировать страницу xmlrpc.php можно и без плагинов, через .htaccess или клауд - информация в открытом доступе.
Нет, они хорошие.
Правильно понимаете, через ПУ не посмотрите. Через API знакомый, как до доставал кто прошел капчу, а кто нет. Но было это давно.
Спасибо за ссылки конечно, Relap fetcher и weborama-fetcher у меня давно под блоком.
На сайте висит РСЯ.
Мне интересно VKRobotRB является продуктом VK или нет?
Бота только сегодня нашел в логах. Непонятно чей. Судя по вашим логам нагрузку он дает большую, значит правильно отправил его в блок.
Но из скриншотов видно что User Agent Relap fetcher и VKRobotRB используют одинаковые айпи. Я к тому что банить по user agent в данном случае не вариант.Скорее всего это рекламный бот ВК - MyTarget (вон выше от ТП repal io в подписи подсказка). Направьте им запрос и спросите для каких целей бот ходит, и айпи скиньте им, он их.
Я таким методом блочу рекламных ботов, которые гугл рекламу проверяют, там 200к запросов в сутки.. Доход только больше стал))
Изучил сайты клиентов и пришел к выводу или дело в браузере или метрике.У клиентов в течение года по метрике (отказы) - браузер - Internet Samsung 23 версия нет резких всплесков.
Если бы это были боты, был бы всплеск. Проблема в браузере. Отказы у вас по графику, с того момента как вышла 23 версия браузера (месяц назад).
Последняя версия браузера v23.0.1.1 от 2023.11.23 (сегодня) - ссылка на Galaxy Store (в плеймаркете версии еще нет).
Возможно они пофиксили что то, как только все обнову поставят, что может быть и изменится.
Заключение: пинайте разработчиков браузера или метрики или исключайте этот браузер из отчета.
Вот логи клауда одного из сайтов за сегодня:
Как по мне мусор от сети ВК (Mail). Смотрим дальше эти айпишники:
Вот ветка по этим айпи.
А если смотреть дальше, то:
Сервис relap.io - принадлежит Mail (ВК). Получается к нам на сайты зашел их бот. Зачем? Не знаю, но они не прошли)
Сайт по которому скинул логи в Вк не крутится, реклама ralap и ВК нет, только РСЯ. Есть виджет рекомендаций от Яндекса, на фоне новости (что ниже)
Есть еще вариант что яндекс дал вк систему рекомендации или наоборот и бот чет сканирует. Если у Вас нет блоков рекомендаций от РСЯ, то скорее всего бот от relap зачем то стучится (денег нет) ;)
