Закрыть от индексации в google

PAE
На сайте с 01.10.2009
Offline
14
PAE
349

Надо закрыть от индексации в google домен без www

User-agent: Googlebot

Disallow: site.ru

У меня сейчас закрыто так в robots.txt это верно?

металлические двери (http://www.metald.ru)
A
На сайте с 09.09.2008
Offline
113
#1
PAE:
Надо закрыть от индексации в google домен без www

User-agent: Googlebot
Disallow: site.ru

У меня сейчас закрыто так в robots.txt это верно?

Вот так правильно:

User-agent: Googlebot
Disallow: /

Причем такой роботс должен выдаваться только для site.ru, но не для www.site.ru.

Покупаю сайты (/ru/forum/734447), рассмотрю разные предложения
PAE
На сайте с 01.10.2009
Offline
14
PAE
#2
Arseo:
Вот так правильно:
User-agent: Googlebot

Disallow: /

Причем такой роботс должен выдаваться только для site.ru, но не для www.site.ru.

Странно мне казалось что таким способом мы полностью закрываем от индексации сайта..

PAE добавил 04.02.2010 в 10:42

Возможно будет проще сделать в .htaccess редирект

A
На сайте с 09.09.2008
Offline
113
#3
PAE:
Странно мне казалось что таким способом мы полностью закрываем от индексации сайта..

Да, правильно. Вы же так и спросили:

PAE:
Надо закрыть от индексации в google домен без www

Если у вас этот роботс будет только для домена без www, а для домена с www будет другой роботс, то домен c www индексироваться не будет.

С какой целью хотите закрыть поддомен? Может, вам что-нибудь другое поможет.

PAE:
Возможно будет проще сделать в .htaccess редирект

Как вариант. Или указать в панели вебмастера Гугла, чтобу домен отображался как домен c www. Или и то, и другое.

PAE
На сайте с 01.10.2009
Offline
14
PAE
#4
Arseo:
Да, правильно. Вы же так и спросили:

Мне надо что бы сайт индексировался в google только с www

PAE добавил 04.02.2010 в 10:55

Arseo:

Как вариант. Или указать в панели вебмастера Гугла, чтобу домен отображался как домен c www. Или и то, и другое.

Честно искал но не нашел....

A
На сайте с 09.09.2008
Offline
113
#5
PAE:
Честно искал но не нашел....

Конфигурация сайта -> Настройки -> Основной домен

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий