Как закрыть динамические страницы в robots.txt

12 3
A7
На сайте с 15.07.2007
Offline
161
3700

Есть сайт, предположим 1.ru

Это магазин, в нем много страниц

Страница товара имеет стандартный вид

http://1.ru/pay.php?idd_n=1972

где 1972 - изменяющийся номер товара.

Здесь все в порядке, но вот в рамблере оказались проиндексированны

страницы имеющие вид http://www.babki.net/pay.php?p=0|173|&idd_n=1972

Это страница того же товара, но найденная через раздел.

В других поисковиках такие страницы не проиндексированы.

Как запретить подобные страницы к индексации в рамблере?

Подскажите, гуру!

TK
На сайте с 20.08.2007
Offline
24
#1

Здесь всё есть:

/ru/forum/86666

A7
На сайте с 15.07.2007
Offline
161
#2

Проштудировал инфу, ответа на свой вопрос не нашел!

Подскажите, гуру!

rmikel
На сайте с 25.05.2007
Offline
142
#3

Файл robots.txt должен иметь следующий вид:

# robots.txt for http://www.babki.net

User-agent: Rambler
Disallow: /pay.php?idd_n=1972
- Здесь (http://www.sape.ru/r.fa62530507.php) становятся богатыми буратинами... и здесь (http://www.mainlink.ru/?partnerid=11422) тоже. ;) - "В жизни нет ничего такого, ради чего стоило бы спешить" (c)то-то сказал.
A7
На сайте с 15.07.2007
Offline
161
#4

А если у меня каждый раз разное окончание, тоесть каждый раз в конце разный номер

Как тут быть?

rmikel
На сайте с 25.05.2007
Offline
142
#5
acid777:
А если у меня каждый раз разное окончание, тоесть каждый раз в конце разный номер. Как тут быть?

То есть у вас динамический адрес, который постоянно меняется ?

A7
На сайте с 15.07.2007
Offline
161
#6

Ну да!

Вот несколько примеров

http://www.babki.net/pay.php?p=0|173|&idd_n=1972

http://www.babki.net/pay.php?p=0|171|&idd_n=1007

http://www.babki.net/pay.php?p=0|54|&idd_n=2547

http://www.babki.net/pay.php?p=0|208|&idd_n=3541

и т д.

DG
На сайте с 18.02.2007
Offline
65
#7
acid777:
Вот несколько примеров
http://www.babki.net/pay.php?p=0|173|&idd_n=1972

А такой вариант не пройдет?

User-agent: Rambler

Disallow: /pay.php?p=0*

A7
На сайте с 15.07.2007
Offline
161
#8

Прокатит? Подскажите, гуру?

K
На сайте с 31.01.2001
Offline
737
#9
Denis Gorby:
А такой вариант не пройдет?

User-agent: Rambler
Disallow: /pay.php?p=0*

Забудьте про звездочки, они не работают ни в Рамблере, ни в Яндексе.

Я не очень понял, что надо запретить, а что оставить.

Возможно так:

User-agent: Rambler

Disallow: /pay.php?p=

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
A7
На сайте с 15.07.2007
Offline
161
#10

как же тогда?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий