Ошибка в webmaster tools

alexdosson, попробуйте поменять директиву Allow: / на Disallow: - они равнозначны

и проверьте ваш robots.txt в webmaster tools. Потом отпишитесь по результату.

P.s.: Disllow: без слеша !

User-agent: *
Allow: /
Host: site.name
Sitemap: http://site.name/sitemap.xml

Ваша директив также должна работать - это можно проверить воспользовавшись сервисом проверки robots.txt в Яндексе https://webmaster.yandex.ru/robots.xml Просто вставьте ваш домен и нажмите "Загрузить robots.txt с сайта" затем внизу добавьте URL любой страницы и увидите. Если покажет зеленым - значит страница разрешена для индексации. Если красным - значит запрещена и написано почему.

Но ваш robots.txt неудобен т.к. вы сразу директивой Allow: / разрешаете роботу индексировать все, а это неправильно. Есть еще куча служебных каталогов, файлы ядра и т..д., которые индексировать не нужно.

Вот мой robots.txt, первая директива Disallow без слэша, и поэтому не является запретительной. Но зато это дает мне возможность избирательно открывать необходимые для индексации каталоги директивой Allow

User-agent: *
Disallow: 
Host: www.mysite.ru
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /spektr/
Allow: /wp-content/uploads
Allow: /wp-content/themes/mysite
Allow: /wp-content/plugins
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category/
Disallow: /author/
Disallow: /20*/*
Disallow: /page/*
Disallow: */comment-page-*
Disallow: /pervyj-kommentarij/

В итоге - не могу сказать точно почему не работает ваш вариант. Но ручаюсь на 100% что мой сработает. Т.к. я уже не один десяток сайтом выпустил с ним. Вы можете также убедиться в его работоспособности, если подставите этот вариант в ссылку приведенную выше. Плюс этого сервиса в стом, что не нужно каждый раз делать изменения в реальном файле robots.txt, просто меняя его на этой странице вы видите как будет "в реале" работать та или иная директива. А затем выбрав нужный вариант - пропишите его в файле.

P.S. Мой файл для сайтов на WP, соответственно у вас могут быть другие запрещенные и разрешенные каталоги. Но суть от этого не меняется.

Хорошо спасибо

---------- Добавлено 30.08.2015 в 12:26 ----------

User-agent: *

Disallow: 

Host: www.mysite.ru

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/

Disallow: /spektr/

Allow: /wp-content/uploads

Allow: /wp-content/themes/mysite

Allow: /wp-content/plugins

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Disallow: /category/

Disallow: /author/

Disallow: /20*/*

Disallow: /page/*

Disallow: */comment-page-*

Disallow: /pervyj-kommentarij/

Спасибо, попробую тоже

Отписываюсь. Ошибка до сих пор осталась в google webmaster tools..

---------- Добавлено 30.08.2015 в 23:50 ----------

User-agent: *

Disallow: 

Host: www.mysite.ru

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/

Disallow: /spektr/

Allow: /wp-content/uploads

Allow: /wp-content/themes/mysite

Allow: /wp-content/plugins

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Disallow: /category/

Disallow: /author/

Disallow: /20*/*

Disallow: /page/*

Disallow: */comment-page-*

Disallow: /pervyj-kommentarij/

У меня сайт на чистом HTML, но я поспользовался проверкой в yandex webmaster tools и показало зеленеькое. НО, в google webmaster tools ошибка до сих пор вылезает, не понимаю почему, хотя сайт в Гугле проиндексировался, а в Яндексе наоборот пока нет..

User-agent: *

Disallow: 

Host: www.mysite.ru

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/

Disallow: /spektr/

Allow: /wp-content/uploads

Allow: /wp-content/themes/mysite

Allow: /wp-content/plugins

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Disallow: /category/

Disallow: /author/

Disallow: /20*/*

Disallow: /page/*

Disallow: */comment-page-*

Disallow: /pervyj-kommentarij/

А можно узнать что означает

Disallow: /20*/*

Disallow: /page/*

Disallow: /spektr/

и почему мы запрещаем индексировать Disallow: */comment-page-* ?

Явно что то с Гугл вебмастером. Сейчас по многим своим сайтам аналогичные проблемы. Причем в закладке Посмотреть как Гуглбот - невозможно добавить страницы. Опять эти Гуглы что то замышляют...

Иногда там не быстро происходит. У меня месяцами уменьшяются ошибки микроразметки после ее внедрения. Вы пользуйтесь инструментом проверки он есть и в Гугле.

---------- Добавлено 03.09.2015 в 10:11 ----------

Я выложил robots по умолчанию. Там закрыты типовые служебные каталоги WP. У вас этот перечень может быть другим.

На одном своем html-ном сайте я также закрыл:

Disallow: /errors/
Disallow: /cgi-bin/
Disallow: /css/
Disallow: /images/
Disallow: /fonts/ 

Важен принцип - закрывайте служебные каталоги, но помните, что в связи с мобильными версиями (если у вас адаптивный сайт) Гугл последнее время также требует доступа к файлам CSS и JS.

P.S. Яндекс индексирует по моим наблюдениям медленнее Гугла. Фактически это совпадает с апдейтами поисковой базы (раз прим. в 2 недели), и иногда он делает это по нескольку страниц (когда новых много) за один раз.

закроешь css или js от гугла он также начнет ругаться

Да, именно об этом я и написал. Это касается адаптивных сайтов.