Такая закономерность, что боты которых раньше не было появились именно тогда, когда большинство сайтов уронили в поиске. Как будто это намеренно сделано. Ну порезаны боты, в итоге сайт не поднимается всеровно. И поиск стал похож ужас какой то, что нельзя ничего найти
Боты у меня тусили и тусят постоянно, то на одном сайте, то на другом. Но, в последние полгода они просто наваливаются на сайты. Если раньше они как-то старались мимикрировать под поведение из поиска, сейчас вообще дичь творить стали. Как будто проверяют разные варианты поведения, вот только цель их не ясна - завалить сайт в поиске или что еще сделать.
Писал в ТП Яндекса по этому поводу, ответ стандартный: мы не учитываем поведение ботов и оно не влияет на ранжирование.
Ещё странная закономерность появилась, не очень старенький интернет-магазин по тематике автозапчасти, который делал не так давно, слетел "в пропасть", трафик улетел вникуда. Но сам факт интересен тем, что хоть трафика почти и не стало - раньше в сутки было 700 заходов с Яндекса / сейчас 57 заходов - но самое интересное, что все эти условно 57 заходов являются реальными клиентами. Сейчас проверил по iP телефонии - прогулялся за вчера по звонкам + проверил оплаты. Всё 1 к 1 идет.
Если раньше условно было 700-1200 заходов на ИМ и из них 5-6% было реальные клиенты, которые вносили оплату - сейчас трафик ушёл в минус - но заказы остались на том же месте, или даже немного увеличились.
У меня такая шляпа из-за ботов, которые идут через Яндекс, полностью смазывают картину реального трафика. Был трафик, потом боты активизировались, потом трафик провалился, потом снова немного вернулся, потом боты поменяли, видимо, настройки. Теперь не только часть идет через Яндекс, но и снова стали долбить напрямую, уронив показатель отказов. Плюс, похоже, есть часть ботов, которые делают запрос в Яндекс, делают клик, попадают в статистику Вебмастера, но на сайт они не переходят.
Так что да, вполне возможно, что трафика на вашем ИМ так и было, условно, 100 реальных, а остальные 600 - тупо боты через поисковик.
Если бы только накрутчики улетали - было бы прекрасно, да вот увы, улетают все подряд, в том числе и из-за ботов, которые в последнее время крутят всё подряд и сами себе на уме. Причем, крутят они даже вне сайта, поскольку я стал отмечать, что данные о переходах из поиска, которые дает Вебмастер - стали разниться с данными Метрики. Т.е. боты не просто заходят на сайт, имитируя переход из поиска - они реально делают запросы в Яндексе, что отображается в Вебмастере. И на эти запросы никак не возможно повлиять, поскольку они происходят без участия сайта в принципе, на той стороне.
И да, "Добро пожаловать", точно такая же ситуация, 2 дня назад отлетели сайты без видимых на то причин, которые работали годами. В саппорт отписался, но я почти уверен, что раз проблема массовая - решения они не дадут. Ждем, смотрим.
Такая же проблема, писал относительно недавно про нее: https://searchengines.guru/ru/forum/1023224/page40#comment_17009648Раньше такого не замечал, причем, не по всем проектам так, а только по некоторым. И ладно бы там небольшая разница, но она очень существенна. Вряд ли это из-за того, что у кого-то не сработала метрика, ведь есть обратное соотношение: вебмастер показывает, что перешло мало людей, а метрика фиксирует больше.
Сейчас вообще какой-то дикий расколбас творится по статистике и переходам, я уже перестал понимать, где боты, где реальные пользователи и какие фактические показатели у сайтов.
Проблема в том, что эти правила надо прописывать на nginx, ДО апатча и тогда будет всем счастье.
Как LEOnidUKG и сказал, утрируя, что чудес не бывает ))
А вообще, если нет косяков в проверке или обработке правила, и проверяется лог тот, что нужно, то вот так списком:
SetEnvIfNoCase User-Agent "ClaudeBot|BLEXBot|SemrushBot|AhrefsBot|MJ12bot|DotBot|SeznamBot|ZoominfoBot|MegaIndex|Exabot|VelenPublicWebCrawler|svetabot|AspiegelBot" bad_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>
Ни такни такне блокируется
Если правило из старт-поста работает, и там, похоже, что в строке могут применяться базовые регулярки, то можно попробовать
SetEnvIfNoCase User-Agent "*ClaudeBot*" bad_bot<Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot</Limit>
Давно что-то в вебмастер не заглядывал, тут решил пройтись по сайтам и не могу понять: на некоторых сайтах какой-то рассинхрон с отображением кликов из поиска и фактическим количеством переходов из поиска по метрике. Причем, на одном сайте показывает, что кликов за сутки чуть ли не ноль, когда их реально несколько сотен в день, а на другом сайте - наоборот, показывает, что насыпал в 2 раза больше кликов, чем фактических переходов по метрике. Это глюки или норма, куда копать, что смотреть? Вроде, по большинству сайтов, обычно, эти данные между вебмастером и метрикой сходились.
Залез в лайв статистику и логи, посмотрел, все совпадает с метрикой, но не вебмастером. Получается, вебмастер знатно так привирает в этих данных.
