Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Файл Sitemap содержит URL-адреса, заблокированные robots.txt

D
На сайте с 04.03.2016
Offline
91
Demetros
846

Доброго времени суток всем! В ГВМТ при тестировании sitemap.xml выдается предупреждение:

Файл Sitemap содержит URL-адреса, заблокированные robots.txt

Например Значение: http://сайт.biz/sitemapxml/000/000.xml

Удалил полностью robots.txt - указал Гуглу что его нет. Гугл выдал сообщение, что раз нету robots.txt то считает что можно сканировать все...

Сделал повторную проверку Sitemap - результат такой же...

В коде страниц ни каких проблем или ограничений нет. Тег роботс не использовался.

В чем может быть еще проблема и в какую сторону копать?

U
На сайте с 09.04.2015
Offline
28
umercomp
#1

У Гугла бывает, особенно при переездах. Удалять robots было необязательно. Создайте новый robots.txt и скормите гуглу через ГВМТ, потом заново скормите sitemap.

E
На сайте с 21.09.2009
Offline
283
easywind
#2
Demetros:
Сделал повторную проверку Sitemap - результат такой же...

роботс нет и проверить нельзя. Вот так это работает :)

D
На сайте с 04.03.2016
Offline
91
Demetros
#3

Перезалили сайтмап в заархивированном виде - такая же петрушка... куча ошибок.

E
На сайте с 21.09.2009
Offline
283
easywind
#4

Удалите урлы заблокированные в роботс из сайтмапа. И вопрос решится.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий