Нужна помощь: robots.txt для битрикс

Everrest
На сайте с 07.04.2009
Offline
35
1713

Здравствуйте, господа.

Снова о вечном... Нужна помощь ваша. Сайт на битрикс, на сайте есть блоги. В индексе Яндекса сейчас находятся мусорные страницы такого типа:

1.site.ru/blog/index.php?auth=Y&page=user&id=2211

site.ru/blog/index.php?auth=Y&page=post&blog=nickmane&post_id=2211 и т.п. (/index.php?auth= такого хлама очень много).

2. site.ru/blog/index.php?register=yes&auth=Y&page=post&blog=Ник_Автора&id=1123

3. site.ru/blog/index.php?page=blog&blog=Ник_Автора&year=2006&month=5

site.ru/blog/index.php?page=search&where=USER&q=абракадабра и т. п.

Я почитал хелп, поискал на форуме... Подскажите, закроет ли от индексации эти страницы нижеприведенная "конструкция"?

User-agent: *

Disallow: /blog/*auth=Y*

Disallow: /blog/*register=yes*

...

Кроме того, возникли трудности с п.3, поскольку полностью Disallow: /*page=* закрывать нельзя, там есть нужные страницы. Можно ли сделать так?

Disallow: /blog/*category=*

Disallow: /blog/*search=*

Господа, подскажите, пожалуйста, правильно ли?

В Топ за несколько кликов вместе с Wizard.Sape! (http://linkum.ru/to/8954/)
DominikanaUs
На сайте с 30.12.2005
Offline
101
#1

Все верно. Единственное, что у некоторых поисковиков разные взгляды на роботс и на то как он должен выглядеть. Посмотрите FAQ на яндексе и на гугле, там будет расписано как и что закрывается. Внутри одного файла роботс.тхт Вы можете указать инструкции для разных поисковиков, на понятных для них языках

Доминикана (http://www.dominikana.us) - купите себе кусочек рая ;) ЧАВО о Доминикане (http://dominicana-faq.livejournal.com) - ЖЖ о ДР
Everrest
На сайте с 07.04.2009
Offline
35
#2

Благодарю.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий