robots, как правильно записать

12
Oksanchik
На сайте с 09.07.2004
Offline
99
1065

Подскажите, плиз, как правильно записать роботс.тхт для яндекса, да и для всех других поисковиков, чтоб запретить к индексированию полностью сайт.

romanov
На сайте с 13.01.2005
Offline
145
#1

User-agent: *

Disallow: /

зарабатываейте с нами (http://www.seowizard.ru/r.54b8561c00.php)
SS
На сайте с 03.09.2004
Offline
141
#2

Чтобы запретить индексацию всех страниц на сайте, запишите

Disallow: /

Взято из /ru/news/373

«Клянусь своей жизнью и любовью к ней, что никогда не буду жить ради другого человека и никогда не попрошу и не заставлю другого человека жить ради меня» (с) Джон Галт
Oksanchik
На сайте с 09.07.2004
Offline
99
#3

а зачем слеш?

SS
На сайте с 03.09.2004
Offline
141
#4
а зачем слеш?

Вопрос не понят.

Oksanchik
На сайте с 09.07.2004
Offline
99
#5

проблема в том, что индексируется, грубо говоря, сайт-зеркало

просто в дисалоу записать?

SS
На сайте с 03.09.2004
Offline
141
#6
Как писал Oksanchik
проблема в том, что индексируется, грубо говоря, сайт-зеркало
просто в дисалоу записать?

Что именно Вы хотите?

Oksanchik
На сайте с 09.07.2004
Offline
99
#7

запретить к индексации сайт для всех поисковиков

romanov
На сайте с 13.01.2005
Offline
145
#8

Оксанчик, поставьте 301 редирект и не морочте себе голову...

Oksanchik
На сайте с 09.07.2004
Offline
99
#9

неа, редирект не нужен!

скажите, плиз, так?

User-agent:*

Disallow:/www.site.ru/

B
На сайте с 07.10.2004
Offline
114
#10

Oksanchik, Вам уже сказали как.

Если используете свой вариант, закроете от индексации папку www.site.ru/www.site.ru/

Бородин Антон. 411-22-05, icq 199228260, bomass [at] ya.ru Домен .ru за 6,3$ (http://webst.ru/?id=146)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий