Причину никто не скажет это да.
Просто возможно кто-то заметит у себя похожую ситуацию. Не думаю, что у меня одного такая аномалия проявилась
Ко мне из Яндекс поиска заходят боты из Беларуси, это при том, что из этой страны трафика почти не было.
Кстати, о методе Алаева. Решил сегодня его отключить. Сижу, смотрю стату, а ботов нет. Они обиделись или сгинули?
Может выходной взяли, то ли еще будет?
Метрику ботам, как раз и надо загружать, изначально тоже ее пытался прятать
Я дважды полностью убирал Метрику с сайта, и дважды проседали позиции, когда Метрику возвращал, то и позиции восстанавливались тоже.
Одно из двух, то ли боты крутят меня в плюс, то ли Яндексу чего-то не хватает, что передается из Метрики. Думаю, второе.
Кстати, после того, как убирал Метрику, ботов становилось меньше, но и видимость в ТОПе ставала хуже. Поэтому не факт, что боты ищут сайты с Метрикой, скорее выбирают из ТОПа.
А какой браузер у них?
HTTP/2.0 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.175 Safari/537.36 Chrome-Lighthouse"
HTTP/2.0 "Mozilla/5.0 (Linux; Android 7.0; Moto G (4)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.175 Mobile Safari/537.36 Chrome-Lighthouse"
Слева внизу задайте регион, затем начните парсинг, когда данные будут собраны — экспортируйте.
палю тему, кому надо этого бота пустить на сайт как белого бота, строка 178:
Или добавить в белый список IP 66.249.64.0 - 66.249.95.255 или 66.249.64.0/19 Провайдер Google LLC
Ко мне роботы Google PageSpeed Insights приходили с этих IP: 66.249.83.88, 66.249.83.87
Я случайно их забанил, когда разбанил, то все стало ОК.
Ну, где вы были до этого? 😂
Уж раз 10 написал как работает эта блокировка для htaccess, многим скинул в личку. Там все очень просто.
1. Блокировка по рефке.
2. Блокировка по пустой рефке и условию, что айпи из списка адресов. Адреса можно указывать в виде диапазонов, можно так: 5.125.3.56
Пользователю отдается 403 страница, где уже вебмастер самостоятельно может разместить любую капчу или попросить вернуться на сайту через Яндекс или Гугл.
Да, я в курсе, как работает ваша защита, сам ею пользуюсь.
Никто не помнит, с какого года ПФ начал заметно влиять на выдачу? Не с 2017 года, когда Садовский ушел из Яндекса, передав свои проекты в «надежные» руки?
На графике, все разрешено, никаких блокировок, скрытие метрики есть, но это не помогает .
Я закрыл доступ для ботов по прямым заходам и из соц. сетей, но это частичное решение. Боты в поиске то остались, а может даже добавились после таких манипуляций с блокировками с моей стороны.
У меня есть статья, посвященная конкретному празднику, который уже прошел. В период этого праздника были переходы на сайт по России и из-за границы. Праздник закончился, из России на ту страницу почти никто не идет, потому что запрос уже не востребован, зато прут боты сотнями из Беларуси и других стран по 0 – 15 сек через Яндекс.
Потому что у них рефка поддельная, сервер ее не видит, а вот метрика - да.
Блокируйте ещё тех, которые идут без реферера, тогда скот сети из метрики пропадут
Блокировать по одному правилу — без реферера, не сравнивая со списком IP?
В этом случае, если зайти в Яндекс Вебмастер — проверка ответа сервера, у Яндекса не будет доступа к сайту, то же касается и Google Search Console — если нажать «Проверить страницу на сайте» то Google покажет, что доступ закрыт. Хотя, если зайти на сайт через поиск, реферер будет и переход пройдет.
PageSpeed Insights от Google тоже не сможет проверить скорость сайта, если блокировать всех только по одному правилу — без реферера.
Интересно, если блокировать всех без реферера, это как-то скажется на индексировании сайта поисковиками или нет?
Сначала данные собрал, а затем выгрузил.
