Форум Поисковые системы Яндекс

Вопросик про роботс

[Удален]
927

Добрый день, уважаемые форумчане! Раньше не сталкивался с такой проблемой, вот и спрашиваю:

Есть сайт на CMS - РБК-софт. Эта CMS дублирует главную страницу вида:

/

/index.php

/ru/

/ru/index.php

Как мне прописать в роботс правила, чтобы бот Яндекса индексировал продвигаемую главную страницу ("/"), другие три - НЕ индексировал. Понимаю, что можно сделать так: 

Disallow: /ru/

Disallow: /index.php

Disallow: /ru/index.php

Но проблема в том, что весь контент строится в папке /ru/ и там тысячи страниц.

Т.е. мне необходимо исключить именно эти три страницы, а остальные - чтобы индексировались. Правильно ли будет сделать так: 

User-agent: Yandex

Disallow: /index.php

Disallow: /index.php?*

Disallow: /ru/$

Disallow: /ru/index.php

Disallow: /ru/index.php?*

host: www.****.ru



User-agent:*

Disallow: #
[Удален]
#1

Вот это тогда стоит убрать:

Disallow: /ru/$
ОБ
На сайте с 19.11.2009
Offline
12
Олег Брянский
#2

всегда тебе сможет помочь вот эта штуковина:

http://webmaster.yandex.ru/robots.xml?#results_table

пользуйся на здоровье..

ЗЫ - там же рядом есть хелп по командам от Яндекса. и много полезного

Webit
На сайте с 13.12.2006
Offline
240
Webit
#3

hunfi, все правильно, только строки с * на конце убери, они не имеют смысла, так как этот символ по умолчанию работает.

[Удален]
#4

Ага, вот в хелпе и написано:

чтобы отменить '*' на конце правила, можно использовать спецсимвол '$', например:

User-agent: Yandex
Disallow: /example$ # запрещает '/example',
# но не запрещает '/example.html'

Т.е., насколько я понимаю - страница www.***.ru/ru/ будет запрещена, а страницы www.***.ru/ru/filyk.php будут разрешены...

hunfi добавил 01.07.2010 в 12:39

Webit:
hunfi, все правильно, только строки с * на конце убери, они не имеют смысла, так как этот символ по умолчанию работает.

Понял, спасибо..:)

M
На сайте с 25.03.2009
Offline
44
mlsha
#5
hunfi:

Т.е. мне необходимо исключить именно эти три страницы, а остальные - чтобы индексировались.

а проще почему нельзя? через htaccess с трёх неугодных страниц поставьте редирект на четвёртую... да не сразу, но когда поклеит - будет железно, пару недель думаю вопрос потерпит...

/ru/forum/comment/1592771 () =)
M-Borman
На сайте с 12.05.2007
Offline
83
M-Borman
#6

Ошибся, опередили

Olenenok
На сайте с 08.09.2008
Offline
89
Olenenok
#7

согласна с mlsha, всегда в таких случаях делаем редирект

S
На сайте с 28.10.2005
Offline
296
semenov
#8 


User-agent: Yandex

Disallow: /index.php

Disallow: /ru/$

Disallow: /ru/index.php

Host: www.site.ru



User-agent: *

Disallow:

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий