Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как правильно составить robots.txt?

[Удален]
441

Здравствуйте уважаемые! Вопрос донный :)

Составил робот:

User-agent: *
Disallow: /subcategory/talaya-vodka/
Disallow: /subcategory/super-vodka/
и т.д.
Sitemap: http://site.ru/sitemap.xml
Host: http://site.ru/

1. ПС не станет индексировать категорию "/subcategory/talaya-vodka/", а к категории "/subcategory/" никаких санкций не будет? Там просто все новости.

2. Как задать ещё и яндексу пометку чтоб не индексировал то-же самое?

KB
На сайте с 06.06.2014
Offline
38
KostyanBr
#1

/ru/forum/828288

[Удален]
#2

Ни там ни сям не отвечают, вроде вопрос лёгкий хоть и тупой :)

vitvirtual
На сайте с 18.10.2007
Offline
248
vitvirtual
#3

Используйте директиву Allow: 

User-agent: *

Allow: /subcategory

Disallow: /subcategory/talaya-vodka

Disallow: /subcategory/super-vodka

Sitemap: http://site.ru/sitemap.xml

Host: site.ru
www.King-Servers.com - Dedicated Servers от 65$, VDS от 25$ / VPN - Open, Pptp, Double. Http proxy - http://secretsline.biz
[Удален]
#4

Спасибо понял. А директиву Allow нужно использовать только при таком виде сылок "/subcategory/super-vodka"? Или везде нужно проставить в разделах которые должен индексить?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий