я.вебмастер, robots.txt и CloudFlare

Genius Ideaing
На сайте с 12.02.2024
Offline
69
362

Здравствуйте.

сегодня пришло на е-мейл от я.вебмастер предупреждение:

Робот не смог получить доступ к файлу robots.txt сайта XXXXXXX.com.ru или файл не существует. Из-за отсутствия инструкций и параметров индексирования в поиск могут попасть нежелательные страницы.

стал разбираться.

зашел в я.вебмастер, а там:

ну, если я.вебмастер пытается открывать robots.txt как пользователь в браузере, то понятно,  правилами CF не будет выдаваться код 200.

но больше года все в порядке было.

чей это глюк?

я.вебмастер или CF стал по другому работат?

Дешёвый хостинг и домены: https://clck.ru/3FxXCa / Мощный хостинг: https://clck.ru/3DKmVu / Есть Идеи! Ищу хороших людей для реализации этих идей! Мой Telegram: https://clck.ru/396JFF
Smuel
На сайте с 09.01.2021
Offline
43
#1
Ну значит твои правила блочат доступ боту Яндекса. Добавь их asn в skip и дело в шляпе.
Genius Ideaing
На сайте с 12.02.2024
Offline
69
#2
Smuel #:
твои правила блочат доступ боту Яндекса

1 год не блочили, а сегодня начали блочить?

futws
На сайте с 30.03.2020
Offline
48
#3
Genius Ideaing :
чей это глюк?

Может быть с обоих сторон, но более вероятно, что проблема в настройках Клауда. Маловероятно, что бот сам себе нарисовал 403

Genius Ideaing #:

1 год не блочили, а сегодня начали блочить?

Вполне возможно

В3
На сайте с 11.04.2013
Offline
91
#4

вебмастер яндекс глюк

Мне кажется дело в я.вебмастере.

Так же отображается только два дня, не месяц не квартал - ничего не работает!

Добавлено
https://searchengines.guru/ru/forum/1126744

Ноль кликов в поиске в Вебмастере после 19 мая - Яндекс - Поисковые системы - Форум об интернет-маркетинге
Ноль кликов в поиске в Вебмастере после 19 мая - Яндекс - Поисковые системы - Форум об интернет-маркетинге
  • 2024.02.12
  • searchengines.guru
Добрый день, У вас также? Метрика показывает переходы

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий