Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Запрет индексации в robots.txt - как правильно?

T
На сайте с 12.08.2010
Offline
42
Tiroksin
534

Не могу разобраться с запретом от индексации Яндексом в robots.txt, читал и FAQ от Яндекса. Но чтобы полностью разобраться решил зарегистрироваться на вашем форуме.

Такая ситуация: при индексации сайта на Joomle Яндекс получал страницы, в которых добавлялись лишние символы ( vmcchk ). Проблему эту решил ( кеширование ), но сейчас надо выгнать из индекса эти страницы и заменит нормальными ( по сути страница с vmcchk и без vmcchk абсолютно одинаковые )

Сделал так

User-agent: Yandex

Disallow: /*vmcchk*

Бот побывал на сайте несколько раз до сегодняшнего апдейта, но изменений не наблюдаю, страницы робот не исключает. Как правильно указать запрет?

BuXPb
На сайте с 18.10.2008
Offline
26
BuXPb
#1

Кажется лучше поставить редирект через htaccess чтобы яндекс знал соответствие страниц. Нужно регулярное выражение.

UP: Что-то вроде ^(.*WORD.*)$ только нужно добавить необходимые параметры.

T
На сайте с 12.08.2010
Offline
42
Tiroksin
#2

Вот такого вида страницы в индексе - 

http://site.ru/index.php?page=shop.product_details&flypage=flypage.tpl&category_id=1&product_id=111&option=com_virtuemart&Itemid=2&vmcchk=1&Itemid=2

А нужны - 

http://site.ru/index.php?page=shop.product_details&flypage=flypage.tpl&category_id=1&product_id=111&option=com_virtuemart&Itemid=2&(нет vmcchk=1)Itemid=2

- эти страницы и выведены на скормление в sitemap.xml

BuXPb
На сайте с 18.10.2008
Offline
26
BuXPb
#3

Если не удастся через htaccess, то вместо Disallow возможно лучше использовать Clean-param

http://help.yandex.ru/webmaster/?id=996567

9 пункт.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий