Запрет на индексацию страниц. Ступор.

Denis_Ka
На сайте с 26.10.2006
Offline
25
547

Приветствую всех! прошу помощи ..

Как запретить к индексации отдельные страницы сайта, если все страницы сайта генерируются при помощи файла page.php (даже не .tpl), причем сам файл зашифрован при помощи zend?

сайт на CMS-ке Amiro ..

BN
На сайте с 12.08.2004
Offline
138
#1

нужно смотреть конкретный случай (структуру сайта)

например, заюзать robotx.txt

http://www.google.com/support/webmasters/bin/answer.py?answer=35303

зы

сылка выше - это не исчерпывающий материал по robotx.txt, а как пример

Denis_Ka
На сайте с 26.10.2006
Offline
25
#2

нужно для ПС Яндекс ..

точно не скажу но можно допустим на этом примере сайта - www.renault-avtomir.ru

есть в индексе следующие страницы:

www.renault-avtomir.ru/production/scenic/

www.renault-avtomir.ru/production/symbol/tehnicheskie-harakteristiki/

www.renault-avtomir.ru/contacts/avtomir-v-filjah/

если я хочу убрать из индекса страницу www.renault-avtomir.ru/production/symbol/tehnicheskie-harakteristiki/

я прописываю роботс:

User-agent: Yandex

Disallow: /production/symbol/tehnicheskie-harakteristiki/

Host: renault-avtomir.ru

в результате из индекса пропадают и следующие страницы www.renault-avtomir.ru/production/scenic/

как быть?

BN
На сайте с 12.08.2004
Offline
138
#3

http://help.yandex.ru/webmaster/?id=996567

глянь примеры использования расширенного формата robots.txt:

AN
На сайте с 20.03.2006
Offline
70
#4
Denis_Ka:
Приветствую всех! прошу помощи ..

Как запретить к индексации отдельные страницы сайта, если все страницы сайта генерируются при помощи файла page.php (даже не .tpl), причем сам файл зашифрован при помощи zend?

сайт на CMS-ке Amiro ..

А в менеджере сайта "галка" <<Заключить в noindex>> для нужных страниц не поможет ли?

I
На сайте с 22.10.2005
Offline
58
Iso
#5

Denis_Ka, если Вы напишите в robots.txt

Disallow: /production/symbol/tehnicheskie-harakteristiki/

то из индекса исчезнут только страницы, начинающиеся на "/production/symbol/tehnicheskie-harakteristiki/". То, что Вы написали странно - Вы предполагаете, что исчезнет и ещё множество страниц с другим началом урла. Поясните проблему, чтобы мы могли ответить.

antono
На сайте с 12.07.2004
Offline
258
#6

Я смотрю юзер агента и если это яндекс то вставляю в <head> страницы

<meta name="robots" content="noindex,nofollow">

Но это нужно чтобы код был открытый.

AN
На сайте с 20.03.2006
Offline
70
#7
antono:
Я смотрю юзер агента и если это яндекс то вставляю в <head> страницы
<meta name="robots" content="noindex,nofollow">
Но это нужно чтобы код был открытый.

Закрытый код не всегда означает, что нет возможностей модификаций. По кр. мере в Amiro есть немало мест где можно свой код вставить. Указанный пример в том числе.

Правда не совсем уловил - это для всех страниц запрет имелся ввиду? Врядли ТС это нужно. А если для избранных, то в коде хранить весь перечень исключений имхо неудобно...

antono
На сайте с 12.07.2004
Offline
258
#8
alex_nsk:

Правда не совсем уловил - это для всех страниц запрет имелся ввиду? Врядли ТС это нужно. А если для избранных, то в коде хранить весь перечень исключений имхо неудобно...

Нет, не для всех страниц, а только для тех какие нужно закрыть. У меня например хранятся данные о запрещении или о разрешении в базе в поле status.

Согласен что неудобно хранить список исключений в коде, особенно если сайт большой, но ведь некоторые случаи можно описать правилами а не списком.

Denis_Ka
На сайте с 26.10.2006
Offline
25
#9

даже такие страницы из индекса ушли www.renault-avtomir.ru/contacts/

а некоторые остались (остались страницы контакты и флтогалерея) .. www.renault-avtomir.ru/reglament/ - допустим такие

т.е. даже не понятно по какому принципу они из индекса ушли ..

решил попробовать так ..

User-agent: Yandex

Allow: /contacts/avtomir-v-filjah/

Allow: /production/scenic/

Disallow: /production/symbol/tehnicheskie-harakteristiki/

Host: renault-avtomir.ru

расширенный формат думаю не поможет ..

спасибо всем! попробую что получится, если не будет результата подниму тему ..

I
На сайте с 22.10.2005
Offline
58
Iso
#10

Denis_Ka, если какие-то страницы выпали из индекса после изменения Вами robots.txt, это не значит, что в этом изменении состоит причина выпадения.

Так что, пишите корректный robots.txt и ждите восстановления нужных страниц и удаления из индекса ненужных. Кстати, убрать из индекса можно и быстрее - http://webmaster.yandex.ru/delurl.xml

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий