Ошибка в webmaster tools

У вас сайт закрыт для индексации.

Сделайте так:

User-agent: *

Disallow: 

Host: site.name

User-agent: *

Disallow: 

Host: site.name

Простите, как это закрыт? Посмотрите, пожалуйста, на этот топик, я спрашивал

/ru/forum/907584

Это мне неправильно написали что ли?

Чтобы запретить доступ робота к сайту или некоторым его разделам, используйте директиву Disallow.

Disallow: / # блокирует доступ ко всему сайту

Чтобы разрешить доступ робота к сайту или некоторым его разделам, используйте директиву Allow.

Allow: / # разрешает доступ ко всему сайту

Если директивы не содержат параметры, робот учитывает данные следующим образом:

User-agent: Yandex

Disallow: # то же, что и Allow: /

User-agent: Yandex

Allow: # то же, что и Disallow: /

Поэтому, впринципе, у вас правильно составлен robots

---------- Добавлено 29.08.2015 в 19:11 ----------

проблема в другом - Google не может сканировать ваш сайт, потому что он не смог получить доступ к файлу robots.txt вашего сайта

Проверьте, может в названии файла ошибка.

проверьте правильность составления robots в гугл и яндекс вебмастерах. если ошибок нет пишите хостеру своему, видно он на сервере закрыл доступ гуглу чтоб робот гугл не создавал больших нагрузок на сервер, или поменяйте хостинг

Можно ссылочку в личку?

Можете еще посмотретькак выглядит файл в гугл вебмастер панели. Может там еще старая версия осталась.

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается

User-Agent: *
Disallow:
Host: www.myhost.ru

Futuris,

Источник

Ну вот товарищ Futuris снинул ссылочку, где действительно написано, что

#Пример корректно составленного robots.txt, при обработке

#которого директива Host учитывается



User-Agent: *

Disallow:

Host: www.myhost.ru

Подождите, в гугл суппорте прочитал, что

Файл robots.txt нужен не всегда.

Файл robots.txt нужен только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы индексировали все страницы вашего сайта, то вам не нужен файл robots.txt, даже пустой. Если файл robots.txt отсутствует, сервер возвратит код статуса 404 в ответ на запрос робота Googlebot, и процесс сканирования сайта будет продолжен. Это не вызовет никаких проблем.

Может тогда лучше вообще его не создавать?

вы читайте внимательно его сообщение в контексте чего файл является корректным. Я специально привёл похожий пример из того же документа. Где файл также корректен. Улавливаете смысл?

Блин, не совсем... Я не понимаю, почему он написал, что сайт закрыт к индексации, ведь судя по тому, что я прочитал - это же не так...

User-agent: *

Allow: /

Host: site.name

Sitemap: http://site.name/sitemap.xml

В общем, я могу просто убрать robots.txt совсем? Хуже ведь не будет по идее. Ничего закрывать от индексации мне по идее не нужно