немного дополненный по краулу и скану док https://developers.google.com/crawling/docs/crawl-budget?hl=ru
А можете расшифровать этот пункт
Можете выложить список целиком?
По логам всё равно нужно отслеживать. Может задеть КВН пользователей, так что по осторожней. Список собран для максимального охвата с минимальными рисками. А так лучше какой нибудь антибот использовать и там прописать ASN и по ней блочить или капчу показывать, но зависит от хостера / сервера.
Deny from 68.0.0.0/12Deny from 70.160.0.0/12Deny from 72.192.0.0/12Deny from 98.160.0.0/11Deny from 174.64.0.0/13Deny from 184.176.0.0/12Deny from 24.56.Deny from 24.120.Deny from 24.136.32.Deny from 24.136.42.Deny from 24.170.192.Deny from 24.234.0.0/16Deny from 24.248.0.0/13Deny from 50.158.Deny from 64.58.128.Deny from 64.58.160.Deny from 64.147.Deny from 64.253.160.Deny from 66.210.
У меня хостинг, тоже в России, но на самописной защите. Пробовал антибот и всё устраивало, но у него обязательная PTR проверка для всех заходов на сайт, из-за которой сайт загружался (первый экран) на некоторых провайдерах по 20-30 секунд. Спрашивал возможно ли отключить по определенным условиям, ответ отрицательный. С текущими блокировками и чёрными ящиками не хочется повторно эксперементировать.
Добавил всю ASN Cox Communications Inc в блэк через htaccess диапазонами:
24.136.42.
24.170.192.
24.234.
24.248.0.0/13
и т.д.
Есть такое, гуляют и почему-то преимущественно по не существующим страницам, на сайте для буржа, сервер в США, длится это уже месяцев 5-6. Не понимаю чего добиваются.
Они же и на сайте другой тематики в России, только объём значительно меньше.
Вы их заблокировали?
Заметил, что у них подсетей много, и могут каждые 10 страниц менять IP.
Ребят, коли про ботов заговорили, у кого боты из Cox_Communications_Inc гуляют (45.206.119.)?
А то заметил прекрасную картину - Ли этих ботов учитывает, а метрика нет. Счетчик от ЛИ установлен "невидимка", модификация в 1 пиксель, чтобы он был, а картинки не было.
По Сиганпуру (20.205.229.) тоже заметил, недавно гуляли. Только от MS, хз что забыли.
Кстати, боты Cox_Communications_Inc очень хитрожопые, имеют Accept-Language и используют реффер google com.
Это вроде сделано. Выбрано самозанятый. Но плашка все равно выскакивает
Аналогичное, заметил, что после 3-4х закрытий больше не появляется, но после 00:00 снова мозги фурычит. Галки везде стоят (реквизиты, форма сотрудничества и т.д.). Видимо Яндекс болеет...метрику 3 дня чинит
Хз, что там яндекс ценит, но у меня до смешного дошло, в ответе Алисы есть картинка с моего сайта, но в перечисленных ссылках его нет, а по этому запросу сайт находится за 30+.
Хотя на этот запрос сайт 100% отвечает и материал 3 раза дополнялся, как инфой так и скриншотами. Где логика у яндекса? Платоны жы сами советуют за актуальностью материала следить.
P.s.: материалы писал разных объемов от 400 символов (2-3 картинки) до 8к (картинок 15-26). Нет никакой разницы, только ещё постучались со дна.
Такие мувы яндекса сильно кидают в тильду...
