301 поставьте
Очень много правил получится.
Лучше удалить из индекса.
Indexing API для этого годится. Но не понимаю, как его юзать. Скрипт писать, или есть готовый инструмент.
Еще не понимаю, как выгрузить все эти урлы в таблицу.
Жму на кнопку Экспортировать, а он вот такую хрень отдает:
Наплевать, если это верные 404.
Верные.Были страницы типа /категория/товар
После переосмысления стало /раздел/категория/товар
Ну все страницы /категория/товар стали 404.
Проблема в том, что переосмысление произошло пару лет назад.
А он пишет, страница такая-то, ошибка 404, просканировано 30 сент. 2023 г., 10:28:07
Отключали полностью или отправляли на капчу/ Managed Challenge?
Я склонен предположить , что метрика ботов не совсем корректно определяет .
Рост трафика и падение времени на сайте также коррелируются в гугл аналитике.
То есть сначала это видно просто на графике посещаемости.
Потом, если смотреть источники, то рост трафика при клауде происходит за счет прямых заходов.
У всех этих зоходов мизерное время нахождения на сайте.
Исходя из этих данных, и каких-то других, метрика пишет что это боты. И я с ней согласен.
Это боты. Вопрос еще в том, почему это происходит с некоторыми сайтами, а не со всеми.
Я бы на вашем месте для начала посмотрел логи сервера. Клауд то здесь при чем к вашему трафику.
Ну я смотрел логи.
Много ipv6 без реферера.
Что дальше?
Клауд ровно при том, что включая его траф повышается 2 -3 раза и среднее время на сайте падает в 2 раза и роботность в метрике растет конски.
Вот ровно на сутки отключил и потом включил клауд и все, графики скачут четко по суткам.
Прошло 4 месяца. Проблема все та же.
Совершенно точно, что при включении Cloudflare появляется большое количество прямых заходов/ботов.
Правила прописал жесткие:
(http.user_agent eq "") - без юзер агента вообще не пускать
(cf.client.bot) or (http.user_agent eq "Mail.RU_Bot") - Пускать только известных ботов и бота mail.ru
(ip.geoip.country eq "T1") or (cf.threat_score gt 0) or (ip.src in $bad_ip) or (not ssl) or (not http.request.version in {"HTTP/1.2" "HTTP/2" "HTTP/3" "SPDY/3.1"}) не пускать с IP с плохой репутацией и левых протоколов
(http.referer eq "") - без реферера отправлять на капчу
Не помогает. Боты лезут и все. Хоть Cloudflare отключай.
Мне там написали в сообществе, разбирайтесь с метрикой. Но в Google Analitycs - то же самое, данные одинаковые.
Соответсвенно, когда Cloudflare включен, среднее время на сайте падает в 2 раза.
Но фишка в том, что это происходит не на всех сайтах из Cloudflare.
Я полагаю, что дело в общем IP, на которым висят еще сотни других сайтов.
Это ежу понятно, что оптимизировать. В этом проблемы нет. Оставить открытыми для индексации - ну ясно, понятно.Вопрос то не в этом. Google каким-то образом сам находит такие страницы, хотя ссылок на сайте на них нет, это раз. И в карте сайте их тоже нет, это два.Вот пример запроса: gun soundНа первом месте https://pixabay.com/sound-effects/search/gun/При чем на странице реально всего 2 gun sound, остальное непонятный шлак.То есть, технически, google отдает говно страницу первой в выдаче.Хотя есть реально отличные подборки gun sounds.
хз... семья знакомых в Германии только там и пасется....
на второй картинке Ordered Items
Я правильно понимаю, что под разные ГЕО нужны разные акки и оферы amazon?
