robots.txt для Bitrix

R
На сайте с 27.10.2012
Offline
2
6438

избитая тема, но все же.

есть интернет-магазин на битриксе, есть у него роботс, конечно же.

на сайте всего 3700 страниц. плюс-минус..

вебмастером яндекса загружено 38 тысяч и всего 7 исключено из индексации и то, по причине 404 или нулевого размера документа.

в выдаче при этом 236 страниц.

если вебмастер яндекса ни одну страницу не запретил потому, что она запрещена в роботс, значит он составлен неправильно.

но я не могу найти ошибку - битрикс - не моя сильная сторона=) лексически вроде все правильно...

есть одна мысль, но я даже не знаю.. может поубирать слеш в начале правил для урлов?


User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /search/
Disallow: /auth/
Disallow: /noseo/
Disallow: /personal/
Disallow: /ajax/
Disallow: /color/
Disallow: /i/
Disallow: /include/
Disallow: /manager/
Disallow: /*sort=*
Disallow: /*size=*
Disallow: /*color=*
Disallow: /*brand=*
Disallow: /*season=*
Disallow: /*season=*
Disallow: /*price_min=*
Disallow: /*price_max=*
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*

Host: тут хост

Sitemap: тут карта
Статьи-советы о SEO (http://b23.ru/hjyn)
богоносец
На сайте с 30.01.2007
Offline
768
#1
Rinz:
если вебмастер яндекса ни одну страницу не запретил потому, что она запрещена в роботс, значит он составлен неправильно

А попробуйте добавить в аддурилку какую-то страницу, посмотрите, что ответит. Если она запрещена, то

Указанный URL запрещен к индексации в файле robots.txt на сайте ***
R
На сайте с 27.10.2012
Offline
2
#2

богоносец, хм. запретило... т.е написало, что запрещено.

а почему тогда в вебмастере нет списка запрещенных урлов?

богоносец
На сайте с 30.01.2007
Offline
768
#3

Просмотрите те, что в индексе... на предмет отсутсвия таких, которые в индексе нужны, и такую попробуйте добавить.

Если вы пооткрываете боту всякую чушь или что-то дублирующееся, то сайтику лучше не станет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий