Ошибка в webmaster tools

12
A
На сайте с 30.06.2013
Offline
119
1800

Получил такое сообщение

Google couldn't crawl your site because we were unable to access your site's robots.txt file

Мой robots.txt

User-agent: *

Allow: /

Host: site.name

Sitemap: http://site.name/sitemap.xml

Не могли бы вы подсказать как решить проблему?

Futuris
На сайте с 05.07.2014
Offline
63
#1
alexdosson:
Получил такое сообщение

Google couldn't crawl your site because we were unable to access your site's robots.txt file

Мой robots.txt
User-agent: *
Allow: /
Host: site.name
Sitemap: http://site.name/sitemap.xml

Не могли бы вы подсказать как решить проблему?

У вас сайт закрыт для индексации.

Сделайте так:

User-agent: *

Disallow:
Host: site.name
A
На сайте с 30.06.2013
Offline
119
#2
Futuris:
У вас сайт закрыт для индексации.
Сделайте так:

User-agent: *

Disallow:
Host: site.name

Простите, как это закрыт? Посмотрите, пожалуйста, на этот топик, я спрашивал

/ru/forum/907584

Это мне неправильно написали что ли?

S
На сайте с 20.08.2013
Offline
29
#3

Чтобы запретить доступ робота к сайту или некоторым его разделам, используйте директиву Disallow.

Disallow: / # блокирует доступ ко всему сайту

Чтобы разрешить доступ робота к сайту или некоторым его разделам, используйте директиву Allow.

Allow: / # разрешает доступ ко всему сайту

Если директивы не содержат параметры, робот учитывает данные следующим образом:

User-agent: Yandex

Disallow: # то же, что и Allow: /

User-agent: Yandex

Allow: # то же, что и Disallow: /

Поэтому, впринципе, у вас правильно составлен robots

---------- Добавлено 29.08.2015 в 19:11 ----------

alexdosson:
Получил такое сообщение

Google couldn't crawl your site because we were unable to access your site's robots.txt file

проблема в другом - Google не может сканировать ваш сайт, потому что он не смог получить доступ к файлу robots.txt вашего сайта

Проверьте, может в названии файла ошибка.

K
На сайте с 27.05.2014
Offline
92
#4
alexdosson:
Простите, как это закрыт? Посмотрите, пожалуйста, на этот топик, я спрашивал

/ru/forum/907584

Это мне неправильно написали что ли?

проверьте правильность составления robots в гугл и яндекс вебмастерах. если ошибок нет пишите хостеру своему, видно он на сервере закрыл доступ гуглу чтоб робот гугл не создавал больших нагрузок на сервер, или поменяйте хостинг

WoWeb
На сайте с 18.08.2015
Offline
5
#5
alexdosson:
Получил такое сообщение

Google couldn't crawl your site because we were unable to access your site's robots.txt file

Мой robots.txt
User-agent: *
Allow: /
Host: site.name
Sitemap: http://site.name/sitemap.xml

Не могли бы вы подсказать как решить проблему?

Можно ссылочку в личку?

Можете еще посмотретькак выглядит файл в гугл вебмастер панели. Может там еще старая версия осталась.

Создание SEO оптимизированных сайтов | Продвижение сайтов (http://woweb.com.ua/)
Futuris
На сайте с 05.07.2014
Offline
63
#6
alexdosson:
Простите, как это закрыт? Посмотрите, пожалуйста, на этот топик, я спрашивал

/ru/forum/907584

Это мне неправильно написали что ли?

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается

User-Agent: *
Disallow:
Host: www.myhost.ru
Optismile
На сайте с 30.05.2015
Offline
57
#7

Futuris,

Директива sitemap

Если вы используете описание структуры сайта с помощью файла sitemap, укажите путь к файлу в качестве параметра директивы Sitemap (если файлов несколько, укажите все). Пример:
User-agent: Yandex
Allow: /
Sitemap: http://mysite.com/site_structure/my_sitemaps1.xml
Sitemap: http://mysite.com/site_structure/my_sitemaps2.xml
Робот запомнит путь к файлу, обработает данные и будет использовать результаты при последующем формировании сессий загрузки.

Источник

A
На сайте с 30.06.2013
Offline
119
#8

Ну вот товарищ Futuris снинул ссылочку, где действительно написано, что


#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается

User-Agent: *
Disallow:
Host: www.myhost.ru

Подождите, в гугл суппорте прочитал, что


Файл robots.txt нужен не всегда.
Файл robots.txt нужен только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы индексировали все страницы вашего сайта, то вам не нужен файл robots.txt, даже пустой. Если файл robots.txt отсутствует, сервер возвратит код статуса 404 в ответ на запрос робота Googlebot, и процесс сканирования сайта будет продолжен. Это не вызовет никаких проблем.

Может тогда лучше вообще его не создавать?

Optismile
На сайте с 30.05.2015
Offline
57
#9
alexdosson:
Ну вот товарищ Futuris снинул ссылочку, где действительно написано, что

вы читайте внимательно его сообщение в контексте чего файл является корректным. Я специально привёл похожий пример из того же документа. Где файл также корректен. Улавливаете смысл?

A
На сайте с 30.06.2013
Offline
119
#10
Optismile:
вы читайте внимательно его сообщение в контексте чего файл является корректным. Я специально привёл похожий пример из того же документа. Где файл также корректен. Улавливаете смысл?

Блин, не совсем... Я не понимаю, почему он написал, что сайт закрыт к индексации, ведь судя по тому, что я прочитал - это же не так...


User-agent: *
Allow: /
Host: site.name
Sitemap: http://site.name/sitemap.xml

В общем, я могу просто убрать robots.txt совсем? Хуже ведь не будет по идее. Ничего закрывать от индексации мне по идее не нужно

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий