Alena1980

Нет, это ошибка из-за плеера от ютуба.

Защиты? Обычно используют его для защиты от абуз.

Для защиты нужно покупать тариф Business или Enterprise точно не помню. Но PRO не защитит от хороших атак. Только от http флуда и тд.

С CF работаю более двух лет.

А у вас не приходило http://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js ???

Только стили и картинки почему-то всё равно не отображают http://prntscr.com/7z6h72 ....

Я уже предоставила конечный результат, мне нужен ответ, правильно или нет и сайтмап куда вставить. Как я поняла в самый низ? Но он будет относится к Яндекс-боту или я ошибаюсь?

Ну я перед тем, чтобы сюда написать прочитала официальную документацию Яндекса и Гугл.

Мне нужна помощь под конкретный пример.

Уважаемые, можно так делать?

User-agent: * 
Disallow: /engine/
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex 
Disallow: /engine/
Host: site.ru

User-agent: Googlebot 
Disallow: /engine/
Allow: /engine/*.js
Allow: /templates/*.css
Allow: /uploads/*.png

Всем роботам запрещаю каталог /engine/, sitemap для всех роботов.

Хост только для Яндекса, так как по-моему это нужно только для них.

Гуглу запрещаю каталог /engine/, но разрешаю скрипты, картинки и стили.

Верно? Disallow: /engine/ необязательно дублировать?

Ну, да. Это и имелось ввиду "мобильная версия сайта" -- "мобильный поиск" :o

У меня например - DLE и там стоит роботс от Алаева "_alaev.info/blog/post/3900" еще с 2013 года.

Был такой роботс:

User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

А в каталоге /engine/ были скрипты... Пришлось сделать:

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Решила проверить стили... Выходит ошибки при проверке "Получить и отобразить" ,так же посмотрела картинки из каталога /uploads/ такая же ерунда...

Видимо придется прописать:

Disallow: /engine/
Allow: /engine/*.js
Allow: /templates/*.css
Allow: /uploads/*.png

Только правильно ли..

Я с Яндексом никак не дружу из-за кликандера, поэтому всеми силами держусь за гугл.

Это же только для мобильной версии сайта...

Зачем вы смотрите "получить и отобразить" > "ПК"? 😂

Ответ модератора гугла https://plus.google.com/114797185128210423486/posts/hE8xCix7xkX

ПС же плохо относится к желтухе.

У меня там и там работает. Ростелеком