запрет индексации в robots

T
На сайте с 16.08.2005
Offline
8
1176

Как запретить к индексации страницы вида:

/page1/?abc=...

/page2/?abc=...

...

/pageN/?abc=...

при этом не запрещая к индексации

/page1/

/page2/

...

/pageN/

Перечислить их все в robots.txt невозможно, т.к. N стремится к бесконечности.

Если решить вопрос с помощью <meta name='robots' content='noindex,follow'> не будет ли это мешать индексации файлов?

Amigo
На сайте с 21.07.2004
Offline
67
#1

Переделать все динамические урлы в псевдостатику и уже полученные файлы запретить в robots.txt:

/pageN/?abc=1 превращается в /pageN/abc1.html

в роботсе пишем

Disallow: abc1.html

Tagirov SEO блог (http://www.tagirov.org/blog/) - про SEO и не только... Интернет-журнал Etoday (http://www.etoday.ru/) - все самое яркое и актуальное в мире
K
На сайте с 31.01.2001
Offline
737
#2
Amigo:
/pageN/abc1.html

в роботсе пишем
Disallow: abc1.html

Извините, но вы написали ерунду. В Disallow пишется весь путь от начала сайта: /

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Amigo
На сайте с 21.07.2004
Offline
67
#3

Kost, видел информацию, что если написать имя файла без "/", то будут запрещены все фалы с таким именем,а не только в корне.

При беглом поиске не нашел.

Разве что здесь и то расплавчато

K
На сайте с 31.01.2001
Offline
737
#4

Почему бы не обратиться к первоисточнику, в котором написано черным по белому:

Disallow
The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.

partial path означает не любой кусок, выхваченный из середины, а кусок от начала URL.

Amigo
На сайте с 21.07.2004
Offline
67
#5

Хм... спасибо, что избавили от заблуждения

Хорошо, но как тогда решить вопрос запрета как у топикстартера?

K
На сайте с 31.01.2001
Offline
737
#6
Tagir:
<meta name='robots' content='noindex,follow'> не будет ли это мешать индексации файлов?

именно так. Насчет файлов - не понял, что за файлы.

Ayavryk
На сайте с 11.10.2003
Offline
209
#7
Kost:
Почему бы не обратиться к первоисточнику, в котором написано черным по белому:

первоисточник первоисточником, но всякое может быть в отдельных конкретных случаев на уровне фичей.

Яндекс придумывает host

Гугл - Allow

И ни у того ни у другого роботс не соответствует стандарту.

Что меня удивляет

Кстати, чекер http://tool.motoricerca.info/robots-checker.phtml

Тынгыр, мынгыр, комсомол (http://erum.ru). Ехари, ехари, (жалобно) аяврик. /народная тунгусская песня/
T
На сайте с 16.08.2005
Offline
8
#8
Kost:
именно так. Насчет файлов - не понял, что за файлы.

Имел в виду, страницы, а не файлы.

Если закрыть с помощью meta name='robots' content='noindex,follow' - не будет ли это замедлять индексацию - ведь перед тем как получить эти данные роботу нужно обратиться к странице (в отличие от способа robots.txt) ?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий