Апдейт поисковой выдачи 11.06.16

Откуда вы взяли, что "задержку" и главное зеркало нужно ставить после блока Disallow? Сайт-мэп отдается с www...я все равно делаю редирект в .htaccess

---------- Добавлено 12.06.2016 в 12:56 ----------

это полный текст файла

я понимаю, но у вас обе части для всех поисковиков-.User-agent: *. и в каждой разные инструкции..

сделайте один роботс для всех с теми инструкциями которые вам нужны.. например , как показали выше - sPoul

там есть все что вам нужно.. и запреты и сайтмап и хост..и указан User-agent - для всех, а если хотите каждому поисковику дать разные инструкции, то указывайте конкретный User-agent.- например Yandex итд

У меня один роботс для всех)

Вы видимо не понимаете. В файле на один поисковик лучше всего делать один блок инструкций. Ваш случай - два блока на поисковик * :) всмысле на все. Это избыточно и возможны баги.

А то, что задержку надо ставить после дизаллоу - во-первых она и так у вас после, а во вторых из описаний формата файла естественно.

---------- Добавлено 12.06.2016 в 13:58 ----------

Вот альтернатива с блоками под два поисковика:

User-agent: *

Disallow: /administrator/

Disallow: /bin/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /layouts/

Disallow: /libraries/

Disallow: /logs/

Disallow: /modules/

Disallow: /plugins/

Disallow: /tmp/

Disallow: /noindex/

User-agent: Yandex

Disallow: /administrator/

Disallow: /bin/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /layouts/

Disallow: /libraries/

Disallow: /logs/

Disallow: /modules/

Disallow: /plugins/

Disallow: /tmp/

Disallow: /noindex/

Crawl-delay: 4

Host: wwww.su

Sitemap: http://www.wwww.su/sitemap.xml

---------- Добавлено 12.06.2016 в 13:58 ----------

Но в данном случае, коль скоро регэкспы в Disallow Вы не используете - это совершенно не нужно.

---------- Добавлено 12.06.2016 в 14:01 ----------

Смотрим хелп https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#crawl-delay

Второй их пример - после Disallow, и не важно совершенно, запрещает она что-то или нет.

Аналогично про Host - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#host

По моему все предельно понятно.

я вот тоже пытаюсь обьяснить, что у человека их два, а он говорит - один).. файл может и один, да в нем два блока для всех поисковиков и каждый отличается инструкциями))

блок начинается с user-agent...

О как именно вам опять круто повезло из-за закупки ссылок, поздравляю! А где таритесь ссылочками крутейшими, которые Яндекс считает естественными?

Про "...и так через htaccess..." - ну и зачем лишняя нагрузка на Апач?

Что мешает СРАЗУ прописать и в robots корректное зеркало, с которого забирать сайтмэп, и в самом сайтмэпе линки сделать сразу куда надо, на нужное зеркало?

Без переадресаций, меньше нагрузка на сервак + убираем лишние запросы ботов к сайту, они сразу (один запрос), без пересылки (два запроса, смотрим логи Апача), попадают куда Вам надо.

---------- Добавлено 12.06.2016 в 14:11 ----------

И да, простите, накосячил, Crawl-Delay конечно должен быть в обоих блоках, в отличие от Хоста, которая проприетарная Яндексная.

User-agent: *

Disallow: /administrator/

Disallow: /bin/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /layouts/

Disallow: /libraries/

Disallow: /logs/

Disallow: /modules/

Disallow: /plugins/

Disallow: /tmp/

Disallow: /noindex/

Crawl-delay: 4

User-agent: Yandex

Disallow: /administrator/

Disallow: /bin/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /layouts/

Disallow: /libraries/

Disallow: /logs/

Disallow: /modules/

Disallow: /plugins/

Disallow: /tmp/

Disallow: /noindex/

Crawl-delay: 4

Host: wwww.su

Sitemap: http://wwww.su/sitemap.xml

Но как писал выше, и со мной согласились - два блока в данном случае совершенно не нужны.

Я что-то вас не понимаю, третий раз говорю у меня ОДИН блок в robots.txt с правилами для всех поисковых роботов. Где я указывал что у меня ДВА БЛОКА? Откуда вы это взяли?

А это что?

User-agent: * - РАЗ

Disallow:

Crawl-delay: 4

Host: wwww.su

Sitemap: http://www.wwww.su/sitemap.xml

User-agent: * - ДВА

Disallow: /administrator/

Disallow: /bin/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /layouts/

Disallow: /libraries/

Disallow: /logs/

Disallow: /modules/

Disallow: /plugins/

Disallow: /tmp/

Disallow: /noindex/

Ну в любом случае, совет дан, а нужен он или нет - дело хозяйское :)

Извиняюсь, вижу, скопировал с файла не верно