Михаил

Ещё раз: ключевой прикол в том, что я долго не мог уяснить себе, что это за приходящие с диапазонов Google безымянные боты, а про облачный VDS от поискового гиганта попросту не знал. 

Любопытно – исчерпывающий ответ на вопрос, который я здесь даже прямо не задавал. Ещё одной загадкой в логах стало меньше, я как-то чуть голову себе не сломал, что за странные визиты, и нагуглить толком ничего тогда не удалось. Спасибо!

Переодетые полицейские, вот как? А мне всегда казалось, что боты ПС имеют обыкновение представляться. И да, ни паранойя, ни Аспергер не отменяют факта посещения сайтов полчищами ботов. И да, блокировка идущих якобы с Google ботов повлекла за собой резкое снижение уровня отказов. И да, у меня не вызвало бы удивления, если бы это были реальные Google-боты: pagespeed.web.dev же считает код Яндекс-Метрики в странице – одним из препятствующих принципам оптимизации сайтов фактором, так почему бы Яндексу симметрично не ответить тем же?

Например: 72.14.201.31. Впрочем, «Облачный гугл VDS, чтоб прикидываться гуглом» – а вот на этой фразе у меня сразу же отвалилась куча вопросов, спасибо.

Вдогонку, с 1-м вопросом (Полное отсутствие визитов на сайт ботов с содержанием в UserAgent слова «Googlebot») – ОТБОЙ: некоторое время назад подрядчик организовал мне экстренный шухер в честь того, что боты Google якобы не могут получить доступ к сайту, соответственно в код был вставлен для них код исключения, а собственную строку записи визита-исключения в базу вставить забыл.

На самом деле, если взяться за дело с чувством, с толком, с расстановкой – ботов пока что не так уж сложно отличить от людей. Просто потому, что ботоводы особо не парятся с маскировкой – смысл тратить время ради 1-2% тех, кто всерьёз берётся за дело? У меня, к примеру, в моём кустарном (но вполне эффективном) инструменте набралось уже с десяток алгоритмов – «Легионер», «Дятел», «Альцгеймер», «Ясновидящий», «Фантомас» и пр., – и как минимум раз в месяц добавляется новый, откалывающий от трафика новый срез ботов. Результат – в среднем 14-18% ежедневных отказов супротив прошлогодних 30-40% (временами доходивших до 75-80%). Да, часть визитов Метрика распознаёт как роботные – но это всего лишь остатки, в основном из тех, кто  воздерживается от формирования отказов на сайте, в силу чего на их визиты позволительно покамест смотреть сковзь пальцы.

Это для вас закончилась. А нам всё равно, а нам всё равно, твёрдо верим мы... в собственную самодельную капчу. Пять циферок на картинке и для пущего удовольствия вишенкой на торте фраза «Введите [две, три, четыре] [первых, последних] цифры с картинки». Боты всегда указыват все пять цифр с картинки (в пяти процентах случаев даже правильно). Простенько и со вкусом, а главное – быстро, эффективно и совершенно бесплатно (в смысле, бесплатно для себя самого).

Прямых доказательств этому нет, а Яндекс, естественно,  категорически отрицает такую взаимосвязь. Однако при ежедневном сопоставлении данных Яндекс-Метрики и поисковых позиций некоторые (в том числе и я) время от времени замечают некоторое подобие корелляции между тем и другим: как только растёт процент отказов – сайт понижается в органике. Это может быть просто совпадением, а может быть и не. Нельзя исключать и то, что учитываются данные из поисковой выдачи, а Метрика не имеет отношения к ранжированию. Вместе с тем имеет место быть и очевидное (хотя и гипотетическое) предположение, что со стороны Яндекса было бы крайне глупо отказываться от учёта при ранжирования сайта данных из добровольно внедряемого сайтовладельцами датчика телеметрии, каким по сути является код Яндекс-Метрики, как одного из многочисленных факторов (а что именно Яндекс публично декларирует – это уже, как говорится, Каневский.JPG, тем более что согласно их заявлениям, и Метрика и Директ успешно отсеивают 146% ботов).

Как-то так.

Пилите, Шура, пилите, она золотая.

1. На CloudFlare жалуются сразу по трём векторам: 1) дорого; 2) перебои с доступом; 3) «дамоклов меч» – в любой момент может попасть в немилость и прощай защита.

2. Заблочить диапазон можно – а если оттуда живой клиент припрётся? Есть исключения, типа битерики или видосины, но их немного. Сегодня из Франкфурта толпой прутся боты, а завтра оттуда припрётся сосед по подъезду с жирным заказом и подключенным нельзяназываемым трёхбуквенным сервисом на своём мобильнике.

Поэтому лично я использую профилактический, динамический временный бан. Плюс капча, занавеска, невидимые кнопки и прочие приятные мелочи. Нашествие с диапазона - банится на сутки, потом бан автоматически аннулируется. Практика показывает, что в таких случаях боты резко теряют интерес к ресурсу и количество их визитов ощутимо падает до уровня статистической погрешности.

Логи и серверная статистика в помощь.

Поделитесь способом чуть подробнее, пожалуйста.