А если вдруг робот гуглояндексов решит пройтись по пагинации или фильтрам - а тут подмена данных? Что мы увидим в качестве страниц сайта?
Так тот же фильтр по UA с проверкой маски гугла и яндекса. Ладно, коллеги, я не вебмастер, а программист(c#) не надо меня слушать. :)
if (!IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "66.249.64.0/19") && !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "5.255.231.0/24") && !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "213.180.203.0/24") && !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "5.45.207.0/24") && !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "87.250.224.0/24") && !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "95.108.213.0/24") && !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "5.255.253.0/24") && !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "141.8.142.0/24") && _repository.GetBotIp(Request.UserHostAddress) == null )
Аналогичная ситуация, трафик перетекает в Гугл и при наличии АГС, в целом наблюдаю, что всё перетекает в Гуглу, тупо даже за 2 дня!!!
Было два фильтра в период с 9 августа по 2 октября, трафик с гугда вырос с 7к до 12.5к, до фильтра держался 7-8к продолжительное время. Метку сняли - трафик вернулся и на второй неделе попер, видимо конкурентов покосило...
Вы придумываете себе совершенно ненужные задачи.
Совершенно не согласен, в карте парсер получает "очищенные" данные, которые необходимо скопировать без всякого мусора - страницы с пагинацией, фильтрами и т.д.. Если закрыть доступ(спрятать) к карте, то парсеру придется сделать существенное кол-во запросов к сайту, из-за той же пагинации. Ну а дальше все просто - превышение запросов, врубаем подмену данных.
А ничего, что кто угодно может вписать себе любой юзерагент?
Так откуда они знают, что стоит такое ограничение, обычно видят 404 ошибку и делают выводы, что сайт без карты.
Фильтра по юзерагенту будет достаточно, уже пару лет использую - проблем нет.
if (Request.UserAgent.ToLower().Contains("yandexbot") || Request.UserAgent.ToLower().Contains("googlebot"))
С августа было две метки на один сайт, но в итоге неделю назад сняли, пока все тихо.
Со второго Гс'ника сняли метку, которую наложили 22 сентября. Какой хороший сегодня день! 😁
У меня метка всё ещё весит, но ощущение, что всё таки санкции сняли.
Вам когда метку вручили? У меня с 9 августа, на 90% трафик восстановился, метка тоже висит. )))
Кто-нибудь отключил "Яндекс взгляд опросы" в показах? Если да, то дайте знать как...
Похоже эти блоки нельзя отключить, в настройках площадки внес адрес " surveys.yandex.ru " в блокировку, но все равно на сайте эти глючные блоки с 404 ошибкой, все логи заспамлены.
