Что прописать в robots.txt для Google

12
7910
На сайте с 18.07.2007
Offline
194
2378

Подскажите, пожалуйста, как можно в robots.txt запретить Гуглу индексировать ссылки вида

httр://домен/product_info.php/cPath//products_id/104

httр://домен/product_info.php/cPath//products_id/22

и т.д.

Пробовали

Disallow: /product_info.php/cPath//

но в гугловской панели вебмастера при проверке robots.txt ссылки вида httр://домен/product_info.php/cPath//products_id/22 все равно разрешены.

Похоже, что с двумя // шаблоны не работают

D
На сайте с 30.09.2008
Offline
107
#1
7910:
Подскажите, пожалуйста, как можно в robots.txt запретить Гуглу индексировать ссылки вида
httр://домен/cPath//products_id/104
httр://домен/cPath//products_id/22
и т.д.

А что такое product_info.php?

Так пробовали:

Disallow: /cPath//products_id/

Или так:

Disallow: /cPath
7910
На сайте с 18.07.2007
Offline
194
#2

Так

Disallow: /cPath
конечно работает, но тогда ссылки вида

httр://домен/product_info.php/cPath/22/products_id/22 тоже не работают.

А что такое product_info.php?

А это так работает стандартная настройка для ЧПУ в движке osCommerce

Можно ли использовать в robots.txt каке-то подстановочные символы кроме * и $?

Есть ли аналог знака вопроса ?

B
На сайте с 07.02.2005
Offline
161
#3

Во-первых, в robots запрещают к индексации не ссылки, а страницы.

Во-вторых, вот руководство Google:http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

В Вашем случае можно так:

Disallow:/cPath/ - вся директория.

Disallow:/*cPath - все урлы, содержащие cPath.

Или Вам надо только урлы с двумя слэшами запретить?

7910
На сайте с 18.07.2007
Offline
194
#4

Да, именно с двумя слешами

B
На сайте с 07.02.2005
Offline
161
#5
7910:
Да, именно с двумя слешами

Наверняка же это внутренние ссылки, т.е. кривоватые руки программиста - лучше всего исправить в движке.

А в robots может быть так:

Disallow:/*//

Хотя, честно говоря, не уверен именно насчет слэшей... Но если сработает и если это внутренние, то, скорее всего, массовое явление, и Вы уберете из индекса часть сайта таким образом...

7910
На сайте с 18.07.2007
Offline
194
#6
Disallow:/*//

не работает.

С двумя слешами в Disallow что-то никакие правила не срабатывают

A
На сайте с 10.01.2005
Offline
106
#7

Двойной слэш в роботсе никак не запретишь. Если нет возможности исправить движок, используйте rel=canonical

Сайты для людей - не выдумка, а быль. Если считать архитекторов и дизайнеров людьми:)Целевая реклама для целевой группы.
7910
На сайте с 18.07.2007
Offline
194
#8
amph:
Двойной слэш в роботсе никак не запретишь. Если нет возможности исправить движок, используйте rel=canonical

Спасибо.

А Google понимает этот тег?

A
На сайте с 10.01.2005
Offline
106
#9

Еще как понимает и настоятельно рекомендует его использовать в подобной ситуации. Правда, понадобится время. Кроме того, тег понимают также Яху и Бинг.

B
На сайте с 07.02.2005
Offline
161
#10
amph:
в подобной ситуации.

Так в какой ситуации? Это один из вариантов решения проблемы дублированного контента - разве у ТС это имеет место? Что, у Вас по ссылкам с двойным слэшем отдается та же страница, что и без двойного?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий