Наплевать, если это верные 404.
Верные.Были страницы типа /категория/товар
После переосмысления стало /раздел/категория/товар
Ну все страницы /категория/товар стали 404.
Проблема в том, что переосмысление произошло пару лет назад.
А он пишет, страница такая-то, ошибка 404, просканировано 30 сент. 2023 г., 10:28:07
Отключали полностью или отправляли на капчу/ Managed Challenge?
Я склонен предположить , что метрика ботов не совсем корректно определяет .
Рост трафика и падение времени на сайте также коррелируются в гугл аналитике.
То есть сначала это видно просто на графике посещаемости.
Потом, если смотреть источники, то рост трафика при клауде происходит за счет прямых заходов.
У всех этих зоходов мизерное время нахождения на сайте.
Исходя из этих данных, и каких-то других, метрика пишет что это боты. И я с ней согласен.
Это боты. Вопрос еще в том, почему это происходит с некоторыми сайтами, а не со всеми.
Я бы на вашем месте для начала посмотрел логи сервера. Клауд то здесь при чем к вашему трафику.
Ну я смотрел логи.
Много ipv6 без реферера.
Что дальше?
Клауд ровно при том, что включая его траф повышается 2 -3 раза и среднее время на сайте падает в 2 раза и роботность в метрике растет конски.
Вот ровно на сутки отключил и потом включил клауд и все, графики скачут четко по суткам.
Прошло 4 месяца. Проблема все та же.
Совершенно точно, что при включении Cloudflare появляется большое количество прямых заходов/ботов.
Правила прописал жесткие:
(http.user_agent eq "") - без юзер агента вообще не пускать
(cf.client.bot) or (http.user_agent eq "Mail.RU_Bot") - Пускать только известных ботов и бота mail.ru
(ip.geoip.country eq "T1") or (cf.threat_score gt 0) or (ip.src in $bad_ip) or (not ssl) or (not http.request.version in {"HTTP/1.2" "HTTP/2" "HTTP/3" "SPDY/3.1"}) не пускать с IP с плохой репутацией и левых протоколов
(http.referer eq "") - без реферера отправлять на капчу
Не помогает. Боты лезут и все. Хоть Cloudflare отключай.
Мне там написали в сообществе, разбирайтесь с метрикой. Но в Google Analitycs - то же самое, данные одинаковые.
Соответсвенно, когда Cloudflare включен, среднее время на сайте падает в 2 раза.
Но фишка в том, что это происходит не на всех сайтах из Cloudflare.
Я полагаю, что дело в общем IP, на которым висят еще сотни других сайтов.
Это ежу понятно, что оптимизировать. В этом проблемы нет. Оставить открытыми для индексации - ну ясно, понятно.Вопрос то не в этом. Google каким-то образом сам находит такие страницы, хотя ссылок на сайте на них нет, это раз. И в карте сайте их тоже нет, это два.Вот пример запроса: gun soundНа первом месте https://pixabay.com/sound-effects/search/gun/При чем на странице реально всего 2 gun sound, остальное непонятный шлак.То есть, технически, google отдает говно страницу первой в выдаче.Хотя есть реально отличные подборки gun sounds.
хз... семья знакомых в Германии только там и пасется....
на второй картинке Ordered Items
Я правильно понимаю, что под разные ГЕО нужны разные акки и оферы amazon?
сайт какой тематики? Бурж или РУ?
Мультияз. База звуков, мызыки и т.д. Легально все.
ГЕО США, Канада, Германя, испаноязычные страны.
Нечего. Если Вы используете только адсенс то оставляете их идентификатор. Если у вас на сайте ещё кокая то реклама крутится то добавляете в это файл и их код если это требуется.
И что кроме adsense можно иcпользовать?
