Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как прописать в robots.txt

L
На сайте с 30.03.2002
Offline
56
Leon
652

Хочу запретить Яндексом индексирование страниц вида:

index.php?op=cat&sec=49 (но чтобы страницы, на который она ссылается, не были запрещены)

?op=cat&sec=0 (чтобы страницы, на которые она ссылается БЫЛИ запрещены)

Верно ли написать так?:

User-agent: *

Disallow: /index.php?op=cat&sec=49/

Disallow: /?op=cat&sec=0

[Удален]
#1

Лучше зайди в личный кабинет яши и проверь на роботе http://passport.yandex.ru/passport?mode=auth&retpath=http%3A%2F%2Fwebmaster.yandex.ru%2Fwmconsole%2F

L
На сайте с 30.03.2002
Offline
56
Leon
#2
haxid23:
Лучше зайди в личный кабинет яши и проверь на роботе http://passport.yandex.ru/passport?mode=auth&retpath=http%3A%2F%2Fwebmaster.yandex.ru%2Fwmconsole%2F

Спасибо. Выяснил, что такая запись в robots ничего не запрещает. Яша говорит: использован недопустимый символ.

Так как же запретить индексацию вот такой страницы например: http://www.мойсайт.ru/?op=cat&sec=4

SF
На сайте с 11.10.2005
Offline
137
SellingFeis
#3
Leon:
index.php?op=cat&sec=49 (но чтобы страницы, на который она ссылается, не были запрещены)

Disallow: /index.php?op=cat&sec=49

Эта директива запретит индексацию этой страницы, так как страница запрещена к индексации робот не узнает какике ссылки стоят на этой странице. Поэтому вам надо будет как то с другой страницы указать какие страницы надо проиндексировать

Leon:
?op=cat&sec=0 (чтобы страницы, на которые она ссылается БЫЛИ запрещены)

Disallow: /?op=cat&sec=0

Запрещает к индексации эту страницу, чтобы запретить к индексации все страницы на которые ссылаются с этой страницы, их надо тоже запрещать в robots каждую персонально, или по общему началу в их адресе.

Если вы не запретите страницы которые не хотите индексировать, то роботы со временем все равно могут узнать эти страницы и проиндексируют.

Допустим у вас не будет ни одной ссылки указывать на страницу которую вы не хотите индексировать.

  • но роботы могут узнать ее адрес из сео-бара который учтановлен у вашего браузера, вы зашли на вашу страничку, а бар запросил у яндекса или google величину тиц или pr вашей страницы, так яндекс или google узнали адрес вашей страницы и через месяц она появится в индексе этих систем.
  • иногда статистика серверов у некоторых хостинг провайдеров оказывается проиндексированной и в ней оказывается адрес вашей страницы, так тоже поисковики узнают о странице.

SellingFeis добавил 31.08.2008 в 19:21

Leon:
Яша говорит: использован недопустимый символ.

это он наверное сругнулся на последний слеш в первой директиве (последний слеш в директиве указывает что вы запрещаете к индексации диреторию, но index.php?op=cat&sec=49 как я понимаю не директория, а страница).

SellingFeis добавил 31.08.2008 в 19:24

ну и не забывайте если у вас в коде есть гденибудь ссылка которая переставляет параметры в ссылке например так /index.php?sec=49&op=cat то такую страницу надо тоже запрещать в роботсе иначе она будет проиндексирована.

Инструкция: Как Правильно Делать Сайты: Домен, Хостинг, Установка CMS (http://www.3sd.ru/kak-delat-site/index.php).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий