вопрос по роботсу

kusanagi, для всех роботов все разрешено.

так равильно?

или можно сократить второй кусок *?

kusanagi, правильно, первый кусок для яндекс, второй для остальных

Kost прав, как-то не заметил эти строчки

Можно убрать два

Disallow:

Они ничего не дают и не меняют.

а можно както обойтись без дублирования строк

Disallow: /out/

Disallow: /wp-admin/

или это необходимость?

Как сказал Kost

этого достаточно

вот так тоже работает

Такие строки жизненно необходимы причем абсолютно всем сайтам.

Или вы не согласны, профессор?

первый кусок задается для яндекс отдельно из-за директивы Host (только яндекс ее понимает) если делать без нее, то можно обойтись

User-Agent: *

Disallow: /out/

Disallow: /wp-admin/

Sitemap: http://ххх.ru/sitemap.xml

Остальные ПС просто проигнорируют эту директиву.

А можно, плиз, вклиниться в тему. Вот у меня так

Правильно это? Ибо яндекс почему-то продолжает индексировать эти страницы.