Форум Поисковые системы Яндекс

Запрет индексации в robots.txt

S
На сайте с 15.10.2010
Offline
45
seosofter
700

Уважаемые seoшники подскажите пожалуйста как закрыть от индексации Яшей, страницы такого вида: http://atput.ru/maldivi?Page=6&Re=62&Co=0, http://atput.ru/maldivi?Re=1470&Co=1&OrderBy=resortname, http://atput.ru/maldivi?OrderBy=name&OrderTo=asc&Re=2074&Co=0 нужно чтобы индексировалась только: http://atput.ru/maldivi. ЦМСка Joomla. Уже много вариантов запрета перепробовал, никак не справлюсь, помогите пожалуйста.:confused:

[Удален]
#1

Disallow: /maldivi?

DO
На сайте с 20.01.2010
Offline
55
dustyo_O
#2

User-agent: Yandex

Disallow: /*?page=shop.browse&category_id=1/

Disallow: /*?page=shop.ask*/

Disallow: /*OrderBy=

Disallow: /*OrderTo=

Disallow: /*?Re=

Disallow: /*&Re=

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Host: atput.ru

User-agent: Googlebot

Disallow: /*?page=shop.browse&category_id=1/

Disallow: /*?page=shop.ask*/

Disallow: /*OrderBy=

Disallow: /*OrderTo=

Disallow: /*?Re=

Disallow: /*&Re=

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

платно проведу аудит сайта и исправлю все технические проблемы, которые могут мешать продвижению (/ru/forum/594052)
K
На сайте с 31.01.2001
Offline
737
Kost
#3

dustyo_O, а чего так мало настрочили? :)

Может вам клиенты оплачивают каждую строчку в robots.txt, чем больше, тем лучше ? :)

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
DO
На сайте с 20.01.2010
Offline
55
dustyo_O
#4

это вариант, который опирается на существующий роботс на сайте - нет времени изучать сайт, чтобы проверять, все ли правила нужны там.

я просто сделал вариант, который с высокой степенью вероятности не закроет лишнего, более корректен чем изначальный роботс на сайте ТСа, и решит проблему, с которой ТС столкнулся

Рост ТИЦ сайта без Как запретить индексацию? URL с типа ?route=information/contact,
K
На сайте с 31.01.2001
Offline
737
Kost
#5

ОК, понял. Логично.

Disallow: /*?Re=
Disallow: /*&Re=

можно подсократить:

Disallow: /*Re=

S
На сайте с 15.10.2010
Offline
45
seosofter
#6

спасибо огромное, буду пробовать☝

DO
На сайте с 20.01.2010
Offline
55
dustyo_O
#7

Kost,

Все верно, но без детального рассмотрения сайта - опасная конструкция.

Неизвестно, как обрабатывают поисковые системы одинаковые URLs с разными регистрами букв (точнее, известно, что это проблемный момент часто).

Исходя из этого, ваш вариант сокращения может закрыть:

/index.php?id=1&more=yes

и подобные. Именно поэтому я сделал две строки, а не из любви к большому robots :)

Фильтр на пересечение аффилированных Регистр урлов Регистр букв в ссылке

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий