Вопросы по robots и sitemaps для битрикса

A
На сайте с 09.04.2010
Offline
49
327

Здравствуйте!

Недавно начал разбираться с этими файлами. Пока в основном с роботсом работаю. Вот хотел узнать все правильно я сделал или нет? Сайтмапа пока нет.

User-agent: * (или лучше задать директорию? сайт продвигается по яндексу)

Disallow: /bitrix/

Disallow: /search/

Allow: /search/map.php

Disallow: /auth/

Disallow: /auth.php

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*index.php$

Host: nalog-info.ru

Еще: с помощью этого сайта http://сайтрепорт.рф/ узнал о дубляжах страниц

Страница: http://nalog-info.ru/news/our_news/ и похожие на неё страницы:

Схожесть: Страница:

100% http://nalog-info.ru/news/our_news/?month=7&year=2012

100% http://nalog-info.ru/news/our_news/?month=&year=2012

Страница: http://nalog-info.ru/news/our_news/?PAGEN_2=3 и похожие на неё страницы:

Схожесть: Страница:

100% http://nalog-info.ru/news/our_news/?month=&year=2012&PAGEN_2=3

Страница: http://nalog-info.ru/news/our_news/?PAGEN_2=4 и похожие на неё страницы:

Схожесть: Страница:

100% http://nalog-info.ru/news/our_news/?month=&year=2012&PAGEN_2=4

97.2% http://nalog-info.ru/news/our_news/?month=6&year=2012&PAGEN_2=2

Страница: http://nalog-info.ru/news/our_news/?PAGEN_2=2 и похожие на неё страницы:

Схожесть: Страница:

100% http://nalog-info.ru/news/our_news/?month=&year=2012&PAGEN_2=2

100% http://nalog-info.ru/news/our_news/?month=7&year=2012&PAGEN_2=2

мне добавить в роботс:

Disallow: /*year=2012

Disallow: /*PAGEN_2=3

Disallow: /*PAGEN_2=2

Disallow: /*PAGEN_2=4

правильно?

Сайтпам для битрикса - чем-то отличается от сайтмапа других движков? мне там только частоту индексации проставить <changefreq>< / changefreq> и все?

Какие еще полезные советы вы бы дали при составлении этих файлов для сайта на битриксе? Например, если это интернет-магазин? Есть ли хороший шаблон роботса для битриксовских сайтов, как визиток, так и магазинов?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий