как правильно сформировать robots.txt в такой ситуации

AD
На сайте с 23.11.2010
Offline
20
434

есть страница http://demo.ru/category/article/

и страница http://demo.ru/category/article/?param=2er08Khf6

они отличаются двумя словами.

если задать игнорирование ?param= в robots.txt, не посчитают ли поисковики это каким-то обманом. ведь страницы не идентичны

PS. закрывать страницы с ?param= не вариант - это по желанию юзеров

felix345
На сайте с 09.12.2009
Offline
91
#1

Да какая разница, идентичны они или нет, закрывать можно все, что угодно в роботсе, а не только дубли.

Никогда нельзя отказываться от мечты.
Я покажу тебе как они сбываются.
И твоя сбудется обязательно!
bon_eur
На сайте с 09.06.2012
Offline
40
#2
Alex_Dar:
не посчитают ли поисковики это каким-то обманом. ведь страницы не идентичны

Вы вольны писать в роботсе все, что вам хочется. Никаких санкций за это в принципе быть не может.

ivan_fok
На сайте с 30.04.2012
Offline
23
#3

только там есть один лимит, если файл превысит не помню сколько кб размер, то он не будет учитываться поисковиками. Так что сильно засорять его не стоит. Там есть какой то лимит символов

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий