Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Можно ли добавлять в robots.txt url, а не папки из корня

12
M
На сайте с 30.12.2009
Offline
25
maralek
#11

Всем огромное спасибо. Если allow видется только яндексом, то не буду ее использовать. Я почитал советы к составлению роботс.ткст и составил свой.

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: dorogoe.com
Sitemap: http://dorogoe.com/sitemap.xml

Только вот я не понял, зачем для Джумлы запрещать ко всем папкам доступ. А как тогда будут индексироваться все категории на моем сайте, например testsite.ru/kategoriya? Будьте любезны, подскажите. Заранее благодарен.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий