robots.txt

M
На сайте с 09.06.2011
Offline
16
373

Добрый день уважаемые форумчане

Хотелось что бы вы посмотрели мой Robots.txt и сказали правильно ли я его составил

User-agent: *

Disallow: /*index.php$

Disallow: /bitrix/

Disallow: /offices/

Disallow: /offices/?ELEMENT_ID=*

Disallow: /content/

Disallow: /content/links/

Disallow: /content/board/

Disallow: /forum/

Disallow: /forum/?PAGE_NAME=profile_view&UID=*

Disallow: /reviews/

Disallow: /reviews/add.php

Disallow: /reviews/get.php

Disallow: /reviews/register.php

Disallow: /actions/section.php

Disallow: /catalog/

Disallow: /catalog/index.php

Disallow: /stat/

Disallow: /different/

Disallow: /different/detail.php?ID=*

Disallow: /element.php

Disallow: /test.php

Disallow: /test2.php

Disallow: /list.php

Disallow: /otziv.php

Disallow: /job/vacancy/939/

Disallow: /jobs/rezume.php

Disallow: /shops/sity.php

Disallow: /shops/salon.php

Disallow: /shops/title.php

Disallow: /shops/index--.php

Disallow: /shops/cheremushki/

Disallow: /shops/baumanskaja/

Disallow: /shops/kashirskaja-ronc/

Disallow: /shops/kashirskaja-2/

Disallow: /shops/tekstilshhiki/

Disallow: /shops/pesochny/

Disallow: /shops/malysheva/

Disallow: /events/event.php

Disallow: /helpful_information/section.php

Disallow: /helpful_information/info.php

Disallow: /consultation_and_service/section.php

Disallow: /consultation_and_service/info.php

Disallow: /consultation_and_service/svaz.php

Disallow: /valea_recommends/list.php

Disallow: /choice_on_a_brand/opisanie_brands.php

Disallow: /choice_on_a_brand/opisanie_brands.php?ELEMENT_ID=*

Disallow: /filterbrands/

Disallow: /filterbrands.php

Disallow: /basket/

Disallow: /club/search/

Disallow: /club/group/search/

Disallow: /club/forum/search/

Disallow: /communication/forum/search/

Disallow: /communication/blog/search.php

Disallow: /club/gallery/tags/

Disallow: /examples/my-components/

Disallow: /examples/download/download_private/

Disallow: /auth/

Disallow: /auth.php

Disallow: /personal/

Disallow: /communication/forum/user/

Disallow: /e-store/paid/detail.php

Disallow: /e-store/affiliates/

Disallow: /club/$

Disallow: /club/messages/

Disallow: /club/log/

Disallow: /content/board/my/

Disallow: /content/links/my/

Disallow: /*/search/

Disallow: /*PAGE_NAME=search

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*/slide_show/

Disallow: /*/gallery/*order=*

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*action=ADD_TO_COMPARE_LIST

Disallow: /*action=DELETE_FROM_COMPARE_LIST

Disallow: /*action=ADD2BASKET

Disallow: /*action=BUY

Disallow: /*print_course=Y

Disallow: /*bitrix_*=

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Host: valea.ru

Sitemap: http://valea.ru/sitemap.xml

Заранее благодарю вас

L
На сайте с 13.11.2011
Offline
8
#1

Тут сами пробовали? http://webmaster.yandex.ru/robots.xml

M
На сайте с 09.06.2011
Offline
16
#2
LNataly:
Тут сами пробовали? http://webmaster.yandex.ru/robots.xml

то есть если бы не правильно был создан robots.txt он бы выдал ошибку?

Sano000
На сайте с 12.04.2009
Offline
54
#3
macentosh:
то есть если бы не правильно был создан robots.txt он бы выдал ошибку?

Нет, надо подставить в форму адреса из разных разделов и посмотреть, закрыто, то что должно быть закрыто, и видно ли то, что должно быть открыто.

Программирование было хобби - стало серьезной работой
M
На сайте с 09.06.2011
Offline
16
#4
Sano000:
Нет, надо подставить в форму адреса из разных разделов и посмотреть, закрыто, то что должно быть закрыто, и видно ли то, что должно быть открыто.

все понял, спасибо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий