Форум Сайтостроение Веб-строительство

Можно ли запретить в robots.txt все ссылки содержащие "?"

Dweep
На сайте с 11.12.2006
Offline
207
Dweep
1291

Я хочу запретить для индексации все ссылки с параметрами, например

index.php?m=main

index.php?m=faq

index.php?p=topic

Это возможно как то зделать с помосчю robots.txt ?

SamCram
На сайте с 16.08.2006
Offline
163
SamCram
#1

Если руководствоваться этим - http://help.yandex.ru/webmaster/?id=996567

Яндекс.Вебмастер:

User-agent: Yandex
Disallow: /add.php?*user=
# запрещает все скрипты 'add.php?' с параметром 'user'

т.е. в вашем случае будет следущее:


User-agent: Yandex
Disallow: /add.php?*m=
Disallow: /add.php?*p=
Dweep
На сайте с 11.12.2006
Offline
207
Dweep
#2

Спасибо за ссылку.

В моем случае будет:


User-agent: Yandex
Disallow: /index.php?*

А для других ПС можно что то подобное делать, есть какая то общая запись?

T
На сайте с 11.07.2007
Offline
43
Toster
#3
Dweep:
А для других ПС можно что то подобное делать, есть какая то общая запись?

User-agent: Yandex

заменить на

User-agent: *

Но еще вам надо бы тогда закрыть "/?", ведь это дубль "/index.php?".... а вообще опасное занятие. Ведь ПС выкинет из индекса ВСЕ страницы с URI соот маске "/index.php?*" и "/?*" - т.е. например "/?news"

Californiy
На сайте с 12.12.2006
Offline
95
Californiy
#4
Но еще вам надо бы тогда закрыть "/?", ведь это дубль "/index.php?".... а вообще опасное занятие. Ведь ПС выкинет из индекса ВСЕ страницы с URI соот маске "/index.php?*" и "/?*" - т.е. например "/?news"

Признавайся че курил???

Тружусь в sapiense.com.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий