ArmenDomain#: Понимаю, что кругом у всех посещаемые сайты где минута простоя стоит бешеных денег и им нужна стабильность и защита от настоящего ддоса. А нам, простым вебмастерам, которым важны позиции в Гугле и каждый новый посетитель, приходится работать по старинке. Достаточно знать основы работы сервера что бы обходится без прокладок, которые возможно сами и ддосят привлекая новых клиентов. Уже до чего дошло что некоторые хостинги вместо того что бы решать проблемы с нагрузкой сразу предлагают переходить на CF.
А почему хостинг должен решать Ваши проблемы с нагрузкой Вашего сайта? Что они сдирают деньги это да, дешевле на зарубежных хостах быть.
Делаете выгрузку доменных зон. Фильтруете их типо .ru .com .net (допустим у Вас сайт vasya.net)
пишите 2 подобных правила:
1. Разрешаете условно переходы с ПС SKIP- (http.referer contains "yandex") or (http.referer contains "ya.ru") or (http.referer contains "google") - добавляете нужные самостоятельно, это пример.
2. Это правило Interactive Challenge - (http.referer contains ".ru") or (http.referer contains ".com") or (not http.referer contains "vasya.net" and http.referer contains ".net") - смотрите будут ли Ваши боты после этого проходить, там будет % сколько решили капчу. Но это поверхностный ответ, разбирайтесь.
Может кто-нибудь подсказать как решить слдующую проблему: в Яндекс.Бизнесе стал блокироваться YML-фид, по которому передаётся информацию о товарах, выдаёт 403 ошибку. В Вебмастере всё нормально, статус фида Без ошибок и он участвует в Поиске по товарам. Обратился в Яндекс.Бизнес с просьбойпредоставить IP-адреса с которых идут запросы в Бизнесе и/или AS, они мне ответили:
список подсетей, из которых могут приходить запросы:
5.45.207.0/25
141.8.142.0/25
5.255.253.0/25.
Как правильно надо сделать, чтобы добавить в исключения (разрешения) эти подсети?
Можно сеть 13238 в исключение, а можно просто добавить нужные URL фида в исключения по одному из правил "URL".
В логах этот визит есть, почему то в событиях CF его нет. Видимо заходят на сайт с подменой реферера на яндекс, а потом уже на внутреннюю сайта, обходя проверку CF.
Странно, что такой визит в Метрике отображается как прямой заход, а не как переход по ссылкам с сайтов.
Потому что или настроены правила неверно или же заход идет в обход клауда. Посмотрите включен ли у Вас бесплатный SSL со стороны хостинга. Если включен - удалите его, чтобы SSL был только универсальный через клауд. У меня был подобный случай, когда правила есть, а они не отрабатывают, как только сертификат вырубил старый то все стало норм и в логах клауда появились призраки..)
на крайний случай .htaccess Вам в помощь. Раз в логах сервера есть, значит не блочите Вы их.
Заблокировал сесть AS213220 DATA-CHEAP-AS в CF, но с нее все равно идут переходы.
Переходов не много, но они все равно есть. Как такое возможно?
Правило с блокировкой идет сразу после белого списка.
Вы дали минимум информации кроме номера сети и хотите чтобы Вам чем то помогли? Смотрите логи клауда по каким правилам проходит сеть вместо блока.
Показывайте правила. Вариантов на самом деле куча, от клауда до кривых настроек самого сайта. И почему Вы решили что переходы также идут с этой сети? Почему нужно все вытягивать не с гуру пользователя?
Alamo#: Я правильно понимаю что в логах никак не отображается, решили капчу (кнопку) или нет? Про процент решений я знаю, хотелось бы посмотреть каким именно посетителям показали кнопку и которые смогли пройти проверку.
Правильно понимаете, через ПУ не посмотрите. Через API знакомый, как до доставал кто прошел капчу, а кто нет. Но было это давно.
Спасибо за ссылки конечно, Relap fetcher и weborama-fetcher у меня давно под блоком.
На сайте висит РСЯ.
Мне интересно VKRobotRB является продуктом VK или нет?
Бота только сегодня нашел в логах. Непонятно чей. Судя по вашим логам нагрузку он дает большую, значит правильно отправил его в блок.
Но из скриншотов видно что User Agent Relap fetcher и VKRobotRB используют одинаковые айпи. Я к тому что банить по user agent в данном случае не вариант. Скорее всего это рекламный бот ВК - MyTarget (вон выше от ТП repal io в подписи подсказка). Направьте им запрос и спросите для каких целей бот ходит, и айпи скиньте им, он их.
pzn#: И что если этот фетчер заблокировать, то на доход это если и повлияет, то не сильно.
Я таким методом блочу рекламных ботов, которые гугл рекламу проверяют, там 200к запросов в сутки.. Доход только больше стал))
Изучил сайты клиентов и пришел к выводу или дело в браузере или метрике. У клиентов в течение года по метрике (отказы) - браузер - Internet Samsung 23 версия нет резких всплесков.
Если бы это были боты, был бы всплеск.
Проблема в браузере. Отказы у вас по графику, с того момента как вышла 23 версия браузера (месяц назад).
Последняя версия браузера v23.0.1.1 от 2023.11.23 (сегодня) - ссылка на Galaxy Store (в плеймаркете версии еще нет).
Возможно они пофиксили что то, как только все обнову поставят, что может быть и изменится.
Заключение: пинайте разработчиков браузера или метрики или исключайте этот браузер из отчета.
Сервис relap.io - принадлежит Mail (ВК). Получается к нам на сайты зашел их бот. Зачем? Не знаю, но они не прошли)
Сайт по которому скинул логи в Вк не крутится, реклама ralap и ВК нет, только РСЯ. Есть виджет рекомендаций от Яндекса, на фоне новости (что ниже)
Есть еще вариант что яндекс дал вк систему рекомендации или наоборот и бот чет сканирует. Если у Вас нет блоков рекомендаций от РСЯ, то скорее всего бот от relap зачем то стучится (денег нет) ;)
Понимаю, что кругом у всех посещаемые сайты где минута простоя стоит бешеных денег и им нужна стабильность и защита от настоящего ддоса. А нам, простым вебмастерам, которым важны позиции в Гугле и каждый новый посетитель, приходится работать по старинке. Достаточно знать основы работы сервера что бы обходится без прокладок, которые возможно сами и ддосят привлекая новых клиентов. Уже до чего дошло что некоторые хостинги вместо того что бы решать проблемы с нагрузкой сразу предлагают переходить на CF.
А почему хостинг должен решать Ваши проблемы с нагрузкой Вашего сайта? Что они сдирают деньги это да, дешевле на зарубежных хостах быть.
Спасибо вроде разобрался уже! Бесит что от яндекс метрики ничего не помогает(
Отложенная загрузка метрики / РСЯ - все решение.
https://i.postimg.cc/2y64NFbR/photo-2023-11-30-11-13-22.jpg
Делаете выгрузку доменных зон. Фильтруете их типо .ru .com .net (допустим у Вас сайт vasya.net)
пишите 2 подобных правила:
1. Разрешаете условно переходы с ПС SKIP- (http.referer contains "yandex") or (http.referer contains "ya.ru") or (http.referer contains "google") - добавляете нужные самостоятельно, это пример.
2. Это правило Interactive Challenge - (http.referer contains ".ru") or (http.referer contains ".com") or (not http.referer contains "vasya.net" and http.referer contains ".net") - смотрите будут ли Ваши боты после этого проходить, там будет % сколько решили капчу. Но это поверхностный ответ, разбирайтесь.
Всем доброго времени суток!
Может кто-нибудь подсказать как решить слдующую проблему: в Яндекс.Бизнесе стал блокироваться YML-фид, по которому передаётся информацию о товарах, выдаёт 403 ошибку. В Вебмастере всё нормально, статус фида Без ошибок и он участвует в Поиске по товарам. Обратился в Яндекс.Бизнес с просьбой предоставить IP-адреса с которых идут запросы в Бизнесе и/или AS, они мне ответили:
список подсетей, из которых могут приходить запросы:
Можно сеть 13238 в исключение, а можно просто добавить нужные URL фида в исключения по одному из правил "URL".
В логах этот визит есть, почему то в событиях CF его нет. Видимо заходят на сайт с подменой реферера на яндекс, а потом уже на внутреннюю сайта, обходя проверку CF.
Странно, что такой визит в Метрике отображается как прямой заход, а не как переход по ссылкам с сайтов.
Потому что или настроены правила неверно или же заход идет в обход клауда. Посмотрите включен ли у Вас бесплатный SSL со стороны хостинга. Если включен - удалите его, чтобы SSL был только универсальный через клауд. У меня был подобный случай, когда правила есть, а они не отрабатывают, как только сертификат вырубил старый то все стало норм и в логах клауда появились призраки..)
на крайний случай .htaccess Вам в помощь. Раз в логах сервера есть, значит не блочите Вы их.
Заблокировал сесть AS213220 DATA-CHEAP-AS в CF, но с нее все равно идут переходы.
Переходов не много, но они все равно есть. Как такое возможно?
Правило с блокировкой идет сразу после белого списка.
Вы дали минимум информации кроме номера сети и хотите чтобы Вам чем то помогли?
Смотрите логи клауда по каким правилам проходит сеть вместо блока.
Показывайте правила. Вариантов на самом деле куча, от клауда до кривых настроек самого сайта.
И почему Вы решили что переходы также идут с этой сети? Почему нужно все вытягивать не с гуру пользователя?
Новый магазинчик, еще не запущен и не наполнен. Естественно никаких топов, конкурентов и заказов. Ссылок нигде нет.
Пошла такая массированная атака или внутренний косяк - пока не знаю точно.
Заблокировал сеть + добавил в вп-конфиг строчку:
add_filter('xmlrpc_enabled', '__return_false'); (не помогло)
Помог плагин: Disable XML-RPC-API
Ищут уязвимости в xmlrpc.php, это гуглится по запросу "уязвимость xmlrpc.php". Как отключить xmlrpc.php wordperss.
Блокировать страницу xmlrpc.php можно и без плагинов, через .htaccess или клауд - информация в открытом доступе.
Сегодня впервые заметил у себя переходы с factorial-eval.s3.yandex.net. Немного, всего 16 штук, но мне волноваться или как?
Нет, они хорошие.
Я правильно понимаю что в логах никак не отображается, решили капчу (кнопку) или нет? Про процент решений я знаю, хотелось бы посмотреть каким именно посетителям показали кнопку и которые смогли пройти проверку.
Правильно понимаете, через ПУ не посмотрите. Через API знакомый, как до доставал кто прошел капчу, а кто нет. Но было это давно.
Спасибо за ссылки конечно, Relap fetcher и weborama-fetcher у меня давно под блоком.
На сайте висит РСЯ.
Мне интересно VKRobotRB является продуктом VK или нет?
Бота только сегодня нашел в логах. Непонятно чей. Судя по вашим логам нагрузку он дает большую, значит правильно отправил его в блок.
Но из скриншотов видно что User Agent Relap fetcher и VKRobotRB используют одинаковые айпи. Я к тому что банить по user agent в данном случае не вариант.
Скорее всего это рекламный бот ВК - MyTarget (вон выше от ТП repal io в подписи подсказка). Направьте им запрос и спросите для каких целей бот ходит, и айпи скиньте им, он их.
И что если этот фетчер заблокировать, то на доход это если и повлияет, то не сильно.
Я таким методом блочу рекламных ботов, которые гугл рекламу проверяют, там 200к запросов в сутки.. Доход только больше стал))
Изучил сайты клиентов и пришел к выводу или дело в браузере или метрике.
У клиентов в течение года по метрике (отказы) - браузер - Internet Samsung 23 версия нет резких всплесков.
Если бы это были боты, был бы всплеск.
Проблема в браузере. Отказы у вас по графику, с того момента как вышла 23 версия браузера (месяц назад).
Последняя версия браузера v23.0.1.1 от 2023.11.23 (сегодня) - ссылка на Galaxy Store (в плеймаркете версии еще нет).
Возможно они пофиксили что то, как только все обнову поставят, что может быть и изменится.
Заключение: пинайте разработчиков браузера или метрики или исключайте этот браузер из отчета.
Вот логи клауда одного из сайтов за сегодня:
Как по мне мусор от сети ВК (Mail). Смотрим дальше эти айпишники:
Вот ветка по этим айпи.
А если смотреть дальше, то:
Сервис relap.io - принадлежит Mail (ВК). Получается к нам на сайты зашел их бот. Зачем? Не знаю, но они не прошли)
Сайт по которому скинул логи в Вк не крутится, реклама ralap и ВК нет, только РСЯ. Есть виджет рекомендаций от Яндекса, на фоне новости (что ниже)
Есть еще вариант что яндекс дал вк систему рекомендации или наоборот и бот чет сканирует. Если у Вас нет блоков рекомендаций от РСЯ, то скорее всего бот от relap зачем то стучится (денег нет) ;)