Форум Практика оптимизации Общие вопросы оптимизации

Правильный robots.txt для динамических страниц

12
SJ
На сайте с 08.06.2008
Offline
10
SKJ
1602

Добрый день!

Я подробно изучил следующую страницу http://help.yandex.ru/webmaster/?id=996567 по вопросу "robots.txt". Но вопрос все же остался.

Например, на сайте есть страницы вида:

site.ru/some_dir/get_book.php?side=XXX&book_id=123

Параметр side варьируется в 6-ти различных значениях: XXX, AAA, и т.п.

Полностью запретить параметр "side" нельзя, т.к. если в роботсе прописать

"Clean-param: side /some_dir/get_book.php", робот Яндекса сведет все адреса страницы к одному (http://help.yandex.ru/webmaster/?id=996567). Причем непонятно какой параметр "side" он возмет за основу. А мне нужно чтобы он взял за основу только например XXX, иначе страница отобразится некорректно.

Итог, как сделать так, чтобы яндекс учитывал, только параметр side=XXX и не учитывал при индексации другие значения этого параметра?

Я правильно понимаю, что в "Disallow" нельзя прописать например так:

Disallow: /some_dir/get_book.php?side=YYY

Disallow: /some_dir/get_book.php?side=ZZZ

?

S
На сайте с 28.10.2005
Offline
319
semenov
#1

Именно так и надо прописать

SJ
На сайте с 08.06.2008
Offline
10
SKJ
#2
semenov:
Именно так и надо прописать

Ок, спасибо.

Правильно ли я понимаю?

Если прописать следующим образом:

Disallow: /some_dir/get_book.php?side=YYY

, то

страница site.ru/some_dir/get_book.php?side=YYY&page=1&book_id=123 индексироваться не будет, а site.ru/some_dir/get_book.php?side=XXX&page=1&book_id=123 в индекс попадет?

A
На сайте с 30.11.2005
Offline
193
azazelka
#3

да все верно

D
На сайте с 12.04.2006
Offline
125
Dvoe
#4

Тоже спрошу:

Хотел закрыть от индексации все страницы вида ../page_with_params.php?a=b&x=y,

где параметров бесконечное множество.

Написал вот так: 


Host: www.site.ru

User-agent: *

Disallow: http://www.site.ru/dir/page_with_params.php

Чета не помогло, как правильно их закрыть?

Истинный самурай не должен бояться трудностей и не искать легких путей.
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#5
Dvoe:
Чета не помогло, как правильно их закрыть?

Мануалы читать нужно. Там разве где-нибудь про http в Disallow упоминается?

И Host сверху ...

D
На сайте с 12.04.2006
Offline
125
Dvoe
#6

Мануал изучен, видимо не досконально :) 


User-agent: *

Disallow: www.site.ru/dir/page_with_params.php

Host: www.site.ru

Так?

Надо ли дублировать для www.site.ru и site.ru?

Crucifer
На сайте с 19.01.2008
Offline
63
Crucifer
#7
Dvoe:
Мануал изучен, видимо не досконально :) 


User-agent: *

Disallow: www.site.ru/dir/page_with_params.php

Host: www.site.ru


Так?

Надо ли дублировать для www.site.ru и site.ru?

Страницы которые не надо индексировать уже существуют и будут существовать и дальше?

Новые тоже будут создаваться с параметрами которые не надо индексировать?

Так: 


User-agent: *

Disallow: /dir/page_with_params.php

Host: www.site.ru
D
На сайте с 12.04.2006
Offline
125
Dvoe
#8

Страницы существуют, они в индексе. Новые будут создаваться, с новыми уникальными параметрами.

Собственно задача убрать из индекса ненужные страницы и запретить индексацию новых.

Ошибка ясна, всем спасибо!

А с www|без www надо отдельно указать?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#9
Dvoe:
А с www|без www надо отдельно указать?

Что указать?

D
На сайте с 12.04.2006
Offline
125
Dvoe
#10

Достаточно так: 

User-agent: *

Disallow: /dir/page_with_params.php

Host: www.site.ru

Или лучше вот так: 


User-agent: *

Disallow: /dir/page_with_params.php

Host: www.site.ru



User-agent: *

Disallow: /dir/page_with_params.php

Host: site.ru
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий