Закрыть ссылки в robots.txt

[Удален]
1751

Добрый вечер! Как закрыть не нужные ссылки в robots.txt?

Пример:
site.com/index.php?do=blabla=N

Где N это номер новости.

Может?

Disallow: /index.php*

Или

Disallow: /index.php?do=blabla=*

:beer:

fine
На сайте с 01.12.2005
Offline
151
#1

Лучше

Disallow: /index.php?do=blabla=*

А если первым вариантом (Disallow: /index.php*), то еще многое закроется, помимо

site.com/index.php?do=blabla=N

Например, и

site.com/index.php?nedo=neblabla=neN
закроются.
K
На сайте с 31.01.2001
Offline
737
#2

Звездочки на конце - это бред. Хотя, с недавних пор работать будет.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
fine
На сайте с 01.12.2005
Offline
151
#3

Это не бред, это ненужный атрибут (именно на конце). :)

Почему с недавних пор работать будет? С давних не работало?

SlavMix
На сайте с 02.03.2009
Offline
64
#4

Не буду создавать новую тему, задам вопрос здесь. На сайте сделал ссылки на другие ресурсы через редирект, в результате несколько этих ссылок попали в индекс гугла. Как быть? Закрывать ли редиректные ссылки в robots.txt ?

N
На сайте с 23.01.2008
Offline
74
#5

в robots.txt закрываются страницы, а не ссылки.

mgarkunov
На сайте с 23.03.2009
Offline
130
#6
fine:
Почему с недавних пор работать будет? С давних не работало?

Robots.txt не поддерживает динамичные адреса, поэтому

Ew-ru:

Disallow: /index.php*
не является правильной инструкцией.

Yandex и Google начали поддерживать динамику, но на основе регулярки.

S
На сайте с 28.10.2005
Offline
319
#7
mgarkunov:
Robots.txt не поддерживает динамичные адреса, поэтому не является правильной инструкцией.

Чё это вдруг? :D

K
На сайте с 31.01.2001
Offline
737
#8
fine:
Почему с недавних пор работать будет? С давних не работало?

Раньше звездочки означали именно звездочки в урлах, никаких таких операторов не было.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий