Чем больше на сайте заблокировано ботов или они просто не отгадали капчу, теб больше обращений ботов яндекса к сайту.
Так накруткой занимаешься "живому" посетителю 403 отдаешь, а боту Яндекса 200 🤣Задай вопрос, они случаем, за это не пессимизируют сайт?
Проверяют, не закрытые ли это категории для бота?
Ботам пофигу запрещено или нет. Ну и пускай бегает часто, зачем страницы сайта ботам Я. отдавать? Настрой last-modified, 304
1. Иди это расскажи ботоводам, чтобы они качали ботов на localhost. Много денег ребята сэкономят на прокси 😀
3. Я понимаю, что это позор яндекса и в посещении они должны были определить левое обращение к счетчику, а не парить мозги про то, что они что-то там могут, включая учет того , кто вызвал их метрику, и откуда вызвал.
Это дно. Яндекс - не поиск.
1 Алеандр # прав. Прокси все равно нужны, даже если метрика на локалхост. В данном случае, просто подменяем домен, а траф должен быть из различных источников2. Привязка к домену, не к IP сайта3. Они не могут определить левое обращение к метрике. Обращался с этим вопросом в Яндекс - послали далеко, смысл посыла, не до этого и так сойдет. Разговаривал не с менеджером, вытащил старшего разработчика
Что еще доводить?
как увеличение количества таких запросов влияет на видимость сайта по другим запросам.
Тут другой фактор срабатывает, значимость которого подкрутили некоторое время назад кардинально. Вот Валентина написала про Пикабу, и ни у кого не возникло вопроса, что это за фигня такая, Пикабу... А ей сайт по брэнду или по имени домена ищут 2 человека в год. В том-то и разница.
. а экономится - если сделать - "чтобы боты активно не посещали, и не скачивали страницы" - старые, которые в индексе ...
Вы когда полностью и внимательно читать будете?
А делается это с помощью настройки сервера, который должен отдавать поисковым ботам спец заголовок (Last-Modified), если у страницы не было обновлений с момента прошлого посещения ботом.
Если страница не обновлялась, то сервер должен ответить заголовком: 304 Not Modified.
В этом случае боты не скачивают контент страницы и проиндексированная страница благополучно находится в индексе. У вас же контент всех страниц сайта, постоянно активно посещаются ботом. Ну и почему бы не выкинуть при очередном сканировании?
Когда научишься читать и думать, тогда может поймешь, почему индексация стремится к нулю
Если это так, то от куда 100500 непроиндексированных страниц?