У основных поисковиков, которые в known bots, есть доступ ко всему. Адс, вероятно, ещё какой-то старонний сервис проверяет, поэтому блок был. Ну или у КФ adsbot почему-то не включён, хотя вряд-ли. Роботс можно открыть, если у вас там правила для краулеров прописаны, которые честно сначала проверяют разрешен ли им путь на сайт. Можно ещё к фавиконке доступ открыть. В остальном, если кого-то блочат по правилам, то и незачем им по файлам лазить.
То есть лучше еще сделать вот так (http.request.uri eq "/robots.txt") и так (http.request.uri eq "/favicon.ico") правильно вас понял, может быть в правилах вы еще что-та добавляете? не могли бы пожалуйста поделится. Спасибо
Добавил вот это в правило (http.request.uri eq "/ads.txt") и через 30 минут вышел статус " Разрешено", не совсем понятно тогда выходит robots.txt и некоторые другие файлы к которым есть доступ у поисковиков, тоже нужно открывать в Cloudflare, объясните пожалуйста кто в курсе. Спасибо
Анти ДДОС#: Посмотрите в Events, какое из ваших правил его блокирует. Как подозреваю то, что ставит под проверку переходы по протоколу HTTP1. Добавьте в исключения.
Вот все правила, трудно сказать что именно блокирует
Если я сделаю так как на скрине, это может помочь?
Все так же как и у вас, но проблема таже, дело в том что это не на одном проекте, на всех сайтах которые в Search Console. Думал может сама карта не та, но вроде все в порядке, не знаю даже где копать. CMS DLE версии обновляются постоянно. То есть если был WordPress то можно было сказать что-та забыл обновить, но тут DLE она все сама делает, то есть скрипты плагины и т. д.
я понял - мы смотрим доменный ресурс, там же 4 роботса.
а почему перенос строки у вас ? если переноса нету - просто удалите строку с картой и все
Так Search Console сам их туда добавил ( 4 роботса ) когда через "подтверждение с помощью DNS". Какой перенос, который был после строки Sitemap, то это тоже не помогло.
Vladimir SEO#: а должен быть один , и сайт должен быть один с одним протоколом, все остальные 301 постраничным на него
Так он и один, это стандартное правило в Search Console так раньше было когда сайт добавляешь, сейчас не знаю много лет тому назад добавлял сайт. Ну проблема не в этом. Яндекс сам пишет вот что. Если кому интересно. А по поводу sitemap проблема остаётся открытая, Host удалил.
"увы, мы не можем комментировать работу сторонних сервисов. Отмечу, что директива Host не обрабатывается индексирующим роботом, поскольку её поддержка прекращена. Поскольку поддержка директивы прекращена, её добавление или удаление никак не повлияет на индексирование сайта. Что касается sitemap, то мы не рекомендуем убирать ссылку на него из файла robots.txt, поскольку так робот будет быстрее узнавать о страницах.!
У основных поисковиков, которые в known bots, есть доступ ко всему. Адс, вероятно, ещё какой-то старонний сервис проверяет, поэтому блок был. Ну или у КФ adsbot почему-то не включён, хотя вряд-ли. Роботс можно открыть, если у вас там правила для краулеров прописаны, которые честно сначала проверяют разрешен ли им путь на сайт. Можно ещё к фавиконке доступ открыть. В остальном, если кого-то блочат по правилам, то и незачем им по файлам лазить.
То есть лучше еще сделать вот так (http.request.uri eq "/robots.txt") и так (http.request.uri eq "/favicon.ico") правильно вас понял, может быть в правилах вы еще что-та добавляете? не могли бы пожалуйста поделится. Спасибо
Посмотрите в Events, какое из ваших правил его блокирует. Как подозреваю то, что ставит под проверку переходы по протоколу HTTP1.
Добавьте в исключения.
Вот все правила, трудно сказать что именно блокирует
Если я сделаю так как на скрине, это может помочь?
у вас падение в начале октября - а там было куча апов
да и нету данных - что за тип сайта, ниша, тематика, какой контент итд итп
И что думаете можно сделать с этим падением? как можно восстановить трафик, раньше такого не когда не было, сайту больше 4 лет.
после директивы и двуеточия пробел http://joxi.ru/1A5eJePIweDwzA
Все так же как и у вас, но проблема таже, дело в том что это не на одном проекте, на всех сайтах которые в Search Console. Думал может сама карта не та, но вроде все в порядке, не знаю даже где копать. CMS DLE версии обновляются постоянно. То есть если был WordPress то можно было сказать что-та забыл обновить, но тут DLE она все сама делает, то есть скрипты плагины и т. д.
я понял - мы смотрим доменный ресурс, там же 4 роботса.
а почему перенос строки у вас ? если переноса нету - просто удалите строку с картой и все
Так Search Console сам их туда добавил ( 4 роботса ) когда через "подтверждение с помощью DNS". Какой перенос, который был после строки Sitemap, то это тоже не помогло.
а должен быть один , и сайт должен быть один с одним протоколом, все остальные 301 постраничным на него
Так он и один, это стандартное правило в Search Console так раньше было когда сайт добавляешь, сейчас не знаю много лет тому назад добавлял сайт. Ну проблема не в этом. Яндекс сам пишет вот что. Если кому интересно. А по поводу sitemap проблема остаётся открытая, Host удалил.
"увы, мы не можем комментировать работу сторонних сервисов. Отмечу, что директива Host не обрабатывается индексирующим роботом, поскольку её поддержка прекращена. Поскольку поддержка директивы прекращена, её добавление или удаление никак не повлияет на индексирование сайта. Что касается sitemap, то мы не рекомендуем убирать ссылку на него из файла robots.txt, поскольку так робот будет быстрее узнавать о страницах.!
ну так роботс http а карта htttpS
Нет там 4 файла, просто скрин сделал http таже ошибка во всех
4
Host удали, не работает давно (а когда работал то был только для Яндекса)
Да открывается