Googlebot не может получить доступ к файлам CSS и JS на сайте

Уважаемые, можно так делать?

User-agent: * 
Disallow: /engine/
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex 
Disallow: /engine/
Host: site.ru

User-agent: Googlebot 
Disallow: /engine/
Allow: /engine/*.js
Allow: /templates/*.css
Allow: /uploads/*.png

Всем роботам запрещаю каталог /engine/, sitemap для всех роботов.

Хост только для Яндекса, так как по-моему это нужно только для них.

Гуглу запрещаю каталог /engine/, но разрешаю скрипты, картинки и стили.

Верно? Disallow: /engine/ необязательно дублировать?

Robots.txt используют для того что бы блокировать а не разрешать. Как по мне команда Allow бред

Так вот вопрос тогда, если дать доступ к js, то как теперь закрывать внешние ссылки?

Или придерживаться стандартных рекомендаций nofollow?

По всей видимости гугл интересует мобильная версия сайта отсюда и предупреждения, ведь многие знают фокус с css, когда не имея мобильной версии сайт проходил проверку гугла, как "отлично оптимизирован под мобильные устройства". Только теперь придётся от такого отказаться и открыть папки css и templates.

Открываем всё для гугла и закрываем от всех остальных.

Хорошая инструкция как устранить данную проблему:

http://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js.

Сделал как написано тут Норм расписано.

User-Agent: Googlebot

Allow: /*.js

Allow: /*.css

И все дела.

А если у Вас раздел на сайте (папка) в котором ещё штук 10 подразделов из которых нужно закрыть 9 и один открыть. Как будете закрывать?

Я бы сделал так:

Disallow: /content

Allow: /content/1

Если бы не было команды Allow

пришлось бы делать

Disallow: /content/2

Disallow: /content/3

Disallow: /content/4

Disallow: /content/5

и т.д.

Или есть ещё варианты? Наверное можно регуляркой указать, но в зависимости от кол-ва подпапок и их названий мне кажется это будет более проблематично.

Проблема целиком не решилась. Все равно предлагает исправить ошибки на сторонних сайтах..

Это находится уже на внешних сайтах ведь. Речь ведь идет что бот не может прочесть файлы на нашем сайте.

Тем более эти директивы - рекомендация от специалистов из Google (с небольшой правкой, иначе Яндекс начинал ругаться при проверке роботса).