У основных поисковиков, которые в known bots, есть доступ ко всему. Адс, вероятно, ещё какой-то старонний сервис проверяет, поэтому блок был. Ну или у КФ adsbot почему-то не включён, хотя вряд-ли. Роботс можно открыть, если у вас там правила для краулеров прописаны, которые честно сначала проверяют разрешен ли им путь на сайт. Можно ещё к фавиконке доступ открыть. В остальном, если кого-то блочат по правилам, то и незачем им по файлам лазить.
То есть лучше еще сделать вот так (http.request.uri eq "/robots.txt") и так (http.request.uri eq "/favicon.ico") правильно вас понял, может быть в правилах вы еще что-та добавляете? не могли бы пожалуйста поделится. Спасибо
Вот все правила, трудно сказать что именно блокирует
Если я сделаю так как на скрине, это может помочь?
у вас падение в начале октября - а там было куча апов
да и нету данных - что за тип сайта, ниша, тематика, какой контент итд итп
И что думаете можно сделать с этим падением? как можно восстановить трафик, раньше такого не когда не было, сайту больше 4 лет.
Все так же как и у вас, но проблема таже, дело в том что это не на одном проекте, на всех сайтах которые в Search Console. Думал может сама карта не та, но вроде все в порядке, не знаю даже где копать. CMS DLE версии обновляются постоянно. То есть если был WordPress то можно было сказать что-та забыл обновить, но тут DLE она все сама делает, то есть скрипты плагины и т. д.
я понял - мы смотрим доменный ресурс, там же 4 роботса.
а почему перенос строки у вас ? если переноса нету - просто удалите строку с картой и все
Так Search Console сам их туда добавил ( 4 роботса ) когда через "подтверждение с помощью DNS". Какой перенос, который был после строки Sitemap, то это тоже не помогло.
Так он и один, это стандартное правило в Search Console так раньше было когда сайт добавляешь, сейчас не знаю много лет тому назад добавлял сайт. Ну проблема не в этом. Яндекс сам пишет вот что. Если кому интересно. А по поводу sitemap проблема остаётся открытая, Host удалил.
"увы, мы не можем комментировать работу сторонних сервисов. Отмечу, что директива Host не обрабатывается индексирующим роботом, поскольку её поддержка прекращена. Поскольку поддержка директивы прекращена, её добавление или удаление никак не повлияет на индексирование сайта. Что касается sitemap, то мы не рекомендуем убирать ссылку на него из файла robots.txt, поскольку так робот будет быстрее узнавать о страницах.!
Нет там 4 файла, просто скрин сделал http таже ошибка во всех 4
Да открывается
