Форум Практика оптимизации Любые вопросы от новичков по оптимизации

правильный запрет robots.txt только яндекс и гугл

P
На сайте с 12.03.2009
Offline
18
Poseidon
574

правильно ли будет написать так? если надо запретить только яндек и гугл

User-agent:yandex,Googlebot

Disallow: ...

или для каждого отдельно надопрописывать?

User-agent:yandex

Disallow: ...

User-agent:Googlebot

Disallow: ...

D
На сайте с 14.10.2008
Offline
52
Domenin
#1

Для каждого отдельно.

http://robotstxt.org.ru/

S
На сайте с 28.10.2005
Offline
319
semenov
#2 


User-agent: *

Disallow:



User-agent: Yandex

Disallow: /



User-agent: Googlebot

Disallow: /
P
На сайте с 12.03.2009
Offline
18
Poseidon
#3

а поможет ли это при такой проблеме ?

Ссылка была исключена из каталога по причине:

Запрет в robots.txt;

-scream-
На сайте с 16.12.2007
Offline
156
-scream-
#4

Poseidon, из какого каталога исключена какая ссылка?

P
На сайте с 12.03.2009
Offline
18
Poseidon
#5

регался в каталогах, потом решил заблокировать страничку рекламы через robots.txt

для User-agent: * и мне стали прходить такие письма(((

S
На сайте с 28.10.2005
Offline
319
semenov
#6

Если только страницу с ссылками заблокировали, тогда забейте на письма

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий