На новом сайте Вебмастер говорит, что урл закрыт в роботс

anebilitsa
На сайте с 07.02.2012
Offline
167
379

Всем привет.

Столкнулся с проблемой. Запустили сайт. Добавил в вебмастер, загрузил карту. В ошибках карты пишется куча предупреждений, что некоторые страницы закрыты в robots.txt. Я проверил - всё открыто. Проверил даже с помощью инструмента robots.txt checker в самом вебмастере - тоже всё норм. Проверил на самой странице, может есть robots="noindex,nofollow" - открыто. Страницы отдают код 200.

Что может быть ещё не так? Или это такой глюк с первой индексацией и потом может пропасть?

У вас такое было?

Отличный облачный майнинг (https://hashflare.io/r/D9BC3BC7) Аудит и продвижение сайтов (/ru/forum/935103) | Сервис для снятия позиций сайта (http://allpositions.ru/redirect/28240)
[Удален]
#1

Извините, телепатов сюда не завезли

nikonoff
На сайте с 16.01.2008
Offline
75
#2
Что может быть ещё не так? Или это такой глюк с первой индексацией и потом может пропасть?

Глюк, проверено на собственной шкуре.

Если сайт был запрещен к индексации в robots.txt, то в момент добавления карты сайта практически всегда будут вылазить ошибки, не смотря на то, что на момент добавления robots.txt уже разрешает индексацию.

День-два, и ошибка исчезнет. Это норма.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий