Форум Практика оптимизации Любые вопросы от новичков по оптимизации

запретить роботу индексировать одно, а разрешить другое

PS
На сайте с 12.12.2007
Offline
22
ProSaifer
649

как сделать чтобы робот не индексировал страницу http://formens.ru/xmlrpc.php.

А остальное всё содержимое http://formens.ru конечно же индексировал?

Пока что robots.txt выглядит так:

User-agent: *

Disallow:

Host: formens.ru

I'mStartUp'er
На сайте с 16.12.2007
Offline
4
I'mStartUp'er
#1

User-agent: *

Disallow: /xmlrpc.php

User-agent: Yandex

Disallow: /xmlrpc.php

Host: formens.ru

PS
На сайте с 12.12.2007
Offline
22
ProSaifer
#2

спасибо, за совет.

rmikel
На сайте с 25.05.2007
Offline
142
rmikel
#3
ProSaifer:
как сделать чтобы робот не индексировал страницу, а остальное всё содержимое сайта конечно же индексировал?

ProSaifer, суть robots.txt и заключается в том, чтобы запретить конкретные разделы или страницы для индексирования. Если вы запретите один раздел для индексации, то соответвенно другие разделы останутся для свободной индексации.

# robots.txt for http://www.formens.ru/

User-agent: *
Disallow: /xmlrpc.php/

Это запрет всем роботам всех ПС.

- Здесь (http://www.sape.ru/r.fa62530507.php) становятся богатыми буратинами... и здесь (http://www.mainlink.ru/?partnerid=11422) тоже. ;) - "В жизни нет ничего такого, ради чего стоило бы спешить" (c)то-то сказал.
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#4
rmikel:

User-agent: *
Disallow: /xmlrpc.php/

rmikel, а слеш то зачем закрывающий ))) это же файл, а не папка ...

PS
На сайте с 12.12.2007
Offline
22
ProSaifer
#5

ок, буду знать. спасибо.

mastserg
На сайте с 14.04.2005
Offline
108
mastserg
#6

читаем про новые директивы в роботс.тхт яндекса

Постоянно покупаю места под статьи, много (/ru/forum/188576)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий