Форум Сайтостроение Веб-строительство

Подскажите по роботсу

A
На сайте с 20.08.2010
Offline
775
awasome
333

Подскажите, как в роботсе закрыть ссылки ввида comment-page-1, что бы робот яндекса по ним не ходил? /comment-page* или */comment-page-*? И есть ли смысл в этом, если робот все равно получает 301 ошибку?

GC
На сайте с 09.04.2007
Offline
159
GKC
#1

Я бы написал Яндексу так: Disallow: */comment-page-1$

(Кстати - это для WP?)

Автоматическое удаление информации (http://www.gkclab.com/russ/terminator/terminator.html) ... Мистический туризм (http://mystictourism.com/) в гости к призракам...
A
На сайте с 20.08.2010
Offline
775
awasome
#2

Да, вп. Робот ни с того ни с сего начал ломиться по адресам site.ru/страница/comment-page-1, поэтому в вм выпадают ошибки

GC
На сайте с 09.04.2007
Offline
159
GKC
#3

может на самом деле бакс просит) поставьте бакс ему.. мож полегчает...

A
На сайте с 20.08.2010
Offline
775
awasome
#4

Какой бакс?

GC
На сайте с 09.04.2007
Offline
159
GKC
#5

Disallow: */comment-page-1$

На конце строки... его не все понимают, но Яшка точно

A
На сайте с 20.08.2010
Offline
775
awasome
#6

А, понял. Но я бы хотел такой поставить на конце *, т.к. есть страницы с комментариями, не нужными для индекса, хотя робот их все равно туда не добавляет, но они не закрыты от индексации

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#7
GKC:
Disallow: */comment-page-1$
На конце строки... его не все понимают, но Яшка точно

И зачем он там?

GC
На сайте с 09.04.2007
Offline
159
GKC
#8

Я по себе сужу, иногда строю более сложные правила с использованием символа '*'

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#9
GKC:
иногда строю более сложные правила с использованием символа '*'

Круто. Все строят более сложные правила с использованием *. А бакс всё-таки здесь необходим зачем?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий