Настройка robots.txt

12
anbarter
На сайте с 14.02.2013
Offline
99
2119

Люди добрые, подскажите можно ли как-то сократить кол-во правил для исключаемых страниц сайта. Например, запрет однотипных страниц заменить одним правилом?

Мог не учесть все допустимые возможности, так как при составлении руководствовался только краткой инструкцией от Яндекса.

Вот код:

User-agent: *

Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /pdf/
Disallow: /pechat.html
Disallow: /forum/category/list
Disallow: /component/users/?view=reset
Disallow: /component/users/?view=remind
Disallow: /component/virtuemart/cart?Itemid=0
Disallow: /catalog/gripsy-trialtech-foam.html
Disallow: /catalog/karetka-echo-urban-ti.html
Disallow: /catalog/koltsa-tsilindra-magura.html
Disallow: /catalog/bustery/buster-tnn.html
Disallow: /catalog/pokryshka-monty-pro-race-19x2-6.html
Disallow: /catalog/frivil-echo-sl-titanium.html
Disallow: /catalog/krepleniya-tormozov-because.html
Disallow: /catalog/krepleniya-tormozov-try-all-cnc.html
Disallow: /catalog/strit-trial/shatuny2012-12-02-10-40-32/
Disallow: /catalog/strit-trial/bolty2012-12-02-10-16-39/
Disallow: /catalog/strit-trial/oboda2012-12-02-10-26-06_/
Disallow: /catalog/strit-trial/ramy2012-12-02-10-28-52/
Disallow: /catalog/strit-trial/tormoza2012-12-02-10-39-26_/
Disallow: /catalog/strit-trial/pokryshki2012-12-02-10-28-41_/
Disallow: /catalog/strit-trial/ramy2012-12-02-10-28-52/
Disallow: /catalog/strit-trial/karetki2012-12-02-10-25-18_/
Disallow: /catalog/strit-trial/naklejki2012-12-02-10-25-42_
Disallow: /catalog/strit-trial/tormoza2012-12-02-10-39-26_/
Disallow: /catalog/strit-trial/obodnye-lenty2012-12-02-10-28-07_/
Disallow: /catalog/strit-trial/sjodla2012-12-02-10-35-58_/
Disallow: /catalog/strit-trial/tormoza2012-12-02-10-39-26_/
Disallow: /catalog/strit-trial/vtulki2012-12-02-10-21-40_/
Disallow: /catalog/strit-trial/pedali2012-12-02-10-28-15_/
Disallow: /catalog/strit-trial/ruli2012-12-02-10-32-03_/
Disallow: /catalog/strit-trial/bustery2012-12-02-10-16-11_/
Disallow: /catalog/strit-trial/gripsy2012-12-02-10-24-13_/
Disallow: /catalog/strit-trial/tsepi2012-12-02-10-40-09_
Disallow: /catalog/strit-trial/velosipedy2012-12-02-10-17-05/
Disallow: /catalog/strit-trial/natyazhiteli2012-12-02-10-25-36_/
Disallow: /catalog/strit-trial/kamery2012-12-02-10-25-03_/
Disallow: /catalog/strit-trial/vynosy2012-12-02-10-23-56_/
Disallow: /catalog/strit-trial/spitsy2012-12-02-10-36-13_/
Disallow: /catalog/strit-trial/uslugi2012-12-02-10-39-38_/
Disallow: /catalog/strit-trial/vilki2012-12-02-10-20-23/
Disallow: /catalog/strit-trial/tsepi2012-12-02-10-40-09_/
Disallow: /catalog/strit-trial/zvezdy2012-12-02-10-24-28_/
Disallow: /catalog/strit-trial/rulevye-kolonki2012-12-02-10-31-21_/
Disallow: /catalog/strit-trial/frivily2012-12-02-10-40-00/
Disallow: /catalog/strit-trial/instrumenty2012-12-02-10-24-47_/
Disallow: /catalog/strit-trial/aksessuary2012-12-02-10-15-24/
Disallow: /foto/1-foto-velikov/detail/2-velosipedy?tmpl=component
https://semotion.ru - позитивное продвижение сайтов ;)
Anderew
На сайте с 06.03.2010
Offline
125
#1
Disallow: /catalog/gripsy-trialtech-foam.html
Disallow: /catalog/karetka-echo-urban-ti.html
Disallow: /catalog/koltsa-tsilindra-magura.html
Disallow: /catalog/bustery/buster-tnn.html
Disallow: /catalog/pokryshka-monty-pro-race-19x2-6.html
Disallow: /catalog/frivil-echo-sl-titanium.html
Disallow: /catalog/krepleniya-tormozov-because.html
Disallow: /catalog/krepleniya-tormozov-try-all-cnc.html
Disallow: /catalog/strit-trial/shatuny2012-12-02-10-40-32/
Disallow: /catalog/strit-trial/bolty2012-12-02-10-16-39/
Disallow: /catalog/strit-trial/oboda2012-12-02-10-26-06_/
Disallow: /catalog/strit-trial/ramy2012-12-02-10-28-52/
Disallow: /catalog/strit-trial/tormoza2012-12-02-10-39-26_/
Disallow: /catalog/strit-trial/pokryshki2012-12-02-10-28-41_/
Disallow: /catalog/strit-trial/ramy2012-12-02-10-28-52/
Disallow: /catalog/strit-trial/karetki2012-12-02-10-25-18_/
Disallow: /catalog/strit-trial/naklejki2012-12-02-10-25-42_
Disallow: /catalog/strit-trial/tormoza2012-12-02-10-39-26_/
Disallow: /catalog/strit-trial/obodnye-lenty2012-12-02-10-28-07_/
Disallow: /catalog/strit-trial/sjodla2012-12-02-10-35-58_/
Disallow: /catalog/strit-trial/tormoza2012-12-02-10-39-26_/
Disallow: /catalog/strit-trial/vtulki2012-12-02-10-21-40_/
Disallow: /catalog/strit-trial/pedali2012-12-02-10-28-15_/
Disallow: /catalog/strit-trial/ruli2012-12-02-10-32-03_/
Disallow: /catalog/strit-trial/bustery2012-12-02-10-16-11_/
Disallow: /catalog/strit-trial/gripsy2012-12-02-10-24-13_/
Disallow: /catalog/strit-trial/tsepi2012-12-02-10-40-09_
Disallow: /catalog/strit-trial/velosipedy2012-12-02-10-17-05/
Disallow: /catalog/strit-trial/natyazhiteli2012-12-02-10-25-36_/
Disallow: /catalog/strit-trial/kamery2012-12-02-10-25-03_/
Disallow: /catalog/strit-trial/vynosy2012-12-02-10-23-56_/
Disallow: /catalog/strit-trial/spitsy2012-12-02-10-36-13_/
Disallow: /catalog/strit-trial/uslugi2012-12-02-10-39-38_/
Disallow: /catalog/strit-trial/vilki2012-12-02-10-20-23/
Disallow: /catalog/strit-trial/tsepi2012-12-02-10-40-09_/
Disallow: /catalog/strit-trial/zvezdy2012-12-02-10-24-28_/
Disallow: /catalog/strit-trial/rulevye-kolonki2012-12-02-10-31-21_/
Disallow: /catalog/strit-trial/frivily2012-12-02-10-40-00/
Disallow: /catalog/strit-trial/instrumenty2012-12-02-10-24-47_/
Disallow: /catalog/strit-trial/aksessuary2012-12-02-10-15-24/

Disallow: /catalog/

Спорим, мощней и дешевле VPS не знаешь? http://www.ihc.ru/?ref=2920
shabash
На сайте с 02.05.2008
Offline
97
#2
[Удален]
#3

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /pdf/

Disallow: /pechat.html

Disallow: /forum/category/list

Disallow: /component/

Disallow: /catalog/

Disallow: /foto/1-foto-velikov/detail/2-velosipedy?tmpl=component

softer
На сайте с 14.05.2009
Offline
102
#4

Disallow: /*2012-12-*/

anbarter
На сайте с 14.02.2013
Offline
99
#5
softer:
Disallow: /*2012-12-*/

Хоть один человек меня понял. Хорошая идея! Благодарю ;)

+

oxg
На сайте с 08.08.2011
Offline
218
oxg
#6

Тс извиняюсь за офФтоп.

Народ подскажите для 5-10ти страничника на html такой роботс является нормальным ? или чото еще стоит добавить

User-agent: *

Disallow:

Host: домен.ру

Прокси IPv6 Россия (http://proxy-ipv6.ru/proxy_ipv6.html) /32 сеть, каждый IP в отдельной /48 сети Прокси IPv4 (http://proxyk.ru/proxy-russia.html) более 160 подсетей А,B,C Прокси для Инстаграм (http://proxy-ipv6.ru/instagram-proxy.html)
V
На сайте с 26.02.2013
Offline
41
#7
oxg:
Тс извиняюсь за офФтоп.

Народ подскажите для 5-10ти страничника на html такой роботс является нормальным ? или чото еще стоит добавить

User-agent: *
Disallow:
Host: домен.ру

А зачем пустой Disallow:? Если закрывать ничего не планируете то пойдет.

oxg
На сайте с 08.08.2011
Offline
218
oxg
#8
Vids:
А зачем пустой Disallow:? Если закрывать ничего не планируете то пойдет.

ну так и закрывать нечего) всего 7 страниц..

спрашиаю лишь для оптимизаций--вдруг новые фишки есть какието...

Volnorez
На сайте с 15.02.2013
Offline
65
#9

Здравствуйте, подскажите как настроить робота.

Движок формирует ссылки которые мне в индексе ненужны.

http://сайт/collection/категория/product/конкретно-продукт

реально ссылки вот такие

http://сайт/product/конкретно-продукт

можно ли в роботе написать следующее

Disallow: /collection/*/product/*

чтобы исключить дубли

Спасибо.

anbarter
На сайте с 14.02.2013
Offline
99
#10

Disallow: /сайт/collection/ - закроет от индекса все страницы которые содержат в себе collection. К страницам вида http://сайт/product/конкретно-продукт влияние не окажет. Можно проверить через webmaster после добавления правила.

На конце звездочку не обязательно ставить так как она предполагается по умолчанию.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий