Automaster#: Я отключал IPv6 в Клоудфларе. Действительно их не стало. А потом заметил, что небольшая часть заходов с ipv6 все же присутствует. Только не понятно откуда они идут.
Отключали полностью или отправляли на капчу/ Managed Challenge?
Совершенно точно, что при включении Cloudflare появляется большое количество прямых заходов/ботов.
Правила прописал жесткие:
(http.user_agent eq "") - без юзер агента вообще не пускать
(cf.client.bot) or (http.user_agent eq "Mail.RU_Bot") - Пускать только известных ботов и бота mail.ru
(ip.geoip.country eq "T1") or (cf.threat_score gt 0) or (ip.src in $bad_ip) or (not ssl) or (not http.request.version in {"HTTP/1.2" "HTTP/2" "HTTP/3" "SPDY/3.1"}) не пускать с IP с плохой репутацией и левых протоколов
(http.referer eq "") - без реферера отправлять на капчу
Не помогает. Боты лезут и все. Хоть Cloudflare отключай.
Мне там написали в сообществе, разбирайтесь с метрикой. Но в Google Analitycs - то же самое, данные одинаковые.
Соответсвенно, когда Cloudflare включен, среднее время на сайте падает в 2 раза.
Но фишка в том, что это происходит не на всех сайтах из Cloudflare.
Я полагаю, что дело в общем IP, на которым висят еще сотни других сайтов.
Delahoya#: для начала оптимизировать страницы поиска и оставить открытыми к индексации
Это ежу понятно, что оптимизировать. В этом проблемы нет. Оставить открытыми для индексации - ну ясно, понятно. Вопрос то не в этом. Google каким-то образом сам находит такие страницы, хотя ссылок на сайте на них нет, это раз. И в карте сайте их тоже нет, это два. Вот пример запроса: gun sound На первом месте https://pixabay.com/sound-effects/search/gun/ При чем на странице реально всего 2 gun sound, остальное непонятный шлак. То есть, технически, google отдает говно страницу первой в выдаче. Хотя есть реально отличные подборки gun sounds.
Наплевать, если это верные 404.
Верные.
Были страницы типа /категория/товар
После переосмысления стало /раздел/категория/товар
Ну все страницы /категория/товар стали 404.
Проблема в том, что переосмысление произошло пару лет назад.
А он пишет, страница такая-то, ошибка 404, просканировано 30 сент. 2023 г., 10:28:07
Так что не удалит.
Я отключал IPv6 в Клоудфларе. Действительно их не стало. А потом заметил, что небольшая часть заходов с ipv6 все же присутствует. Только не понятно откуда они идут.
Отключали полностью или отправляли на капчу/ Managed Challenge?
Я склонен предположить , что метрика ботов не совсем корректно определяет .
Рост трафика и падение времени на сайте также коррелируются в гугл аналитике.
То есть сначала это видно просто на графике посещаемости.
Потом, если смотреть источники, то рост трафика при клауде происходит за счет прямых заходов.
У всех этих зоходов мизерное время нахождения на сайте.
Исходя из этих данных, и каких-то других, метрика пишет что это боты. И я с ней согласен.
Это боты. Вопрос еще в том, почему это происходит с некоторыми сайтами, а не со всеми.
Я бы на вашем месте для начала посмотрел логи сервера. Клауд то здесь при чем к вашему трафику.
Ну я смотрел логи.
Много ipv6 без реферера.
Что дальше?
Клауд ровно при том, что включая его траф повышается 2 -3 раза и среднее время на сайте падает в 2 раза и роботность в метрике растет конски.
Вот ровно на сутки отключил и потом включил клауд и все, графики скачут четко по суткам.
Прошло 4 месяца. Проблема все та же.
Совершенно точно, что при включении Cloudflare появляется большое количество прямых заходов/ботов.
Правила прописал жесткие:
(http.user_agent eq "") - без юзер агента вообще не пускать
(cf.client.bot) or (http.user_agent eq "Mail.RU_Bot") - Пускать только известных ботов и бота mail.ru
(ip.geoip.country eq "T1") or (cf.threat_score gt 0) or (ip.src in $bad_ip) or (not ssl) or (not http.request.version in {"HTTP/1.2" "HTTP/2" "HTTP/3" "SPDY/3.1"}) не пускать с IP с плохой репутацией и левых протоколов
(http.referer eq "") - без реферера отправлять на капчу
Не помогает. Боты лезут и все. Хоть Cloudflare отключай.
Мне там написали в сообществе, разбирайтесь с метрикой. Но в Google Analitycs - то же самое, данные одинаковые.
Соответсвенно, когда Cloudflare включен, среднее время на сайте падает в 2 раза.
Но фишка в том, что это происходит не на всех сайтах из Cloudflare.
Я полагаю, что дело в общем IP, на которым висят еще сотни других сайтов.
для начала оптимизировать страницы поиска и оставить открытыми к индексации
Это ежу понятно, что оптимизировать. В этом проблемы нет. Оставить открытыми для индексации - ну ясно, понятно.
Вопрос то не в этом.
Google каким-то образом сам находит такие страницы, хотя ссылок на сайте на них нет, это раз. И в карте сайте их тоже нет, это два.
Вот пример запроса: gun sound
На первом месте https://pixabay.com/sound-effects/search/gun/
При чем на странице реально всего 2 gun sound, остальное непонятный шлак.
То есть, технически, google отдает говно страницу первой в выдаче.
Хотя есть реально отличные подборки gun sounds.
Самая большая популярность Амазона среди покупателей из США. В других странах нет такой популярности.
хз... семья знакомых в Германии только там и пасется....
на второй картинке Ordered Items
Я правильно понимаю, что под разные ГЕО нужны разные акки и оферы amazon?
сайт какой тематики? Бурж или РУ?
Мультияз. База звуков, мызыки и т.д. Легально все.
ГЕО США, Канада, Германя, испаноязычные страны.