Вопрос по .htaccess и robots.txt

T
На сайте с 23.11.2005
Offline
298
960

Если в .htaccess прописано следующее:

RewriteEngine on

RewriteCond %{HTTP_HOST} ^www\.site\.ru

RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

то нужно ли для яндекса дублировать в robots.txt

User-agent: *

Disallow:

Host: site.ru

чтобы яндекс индексировал именно без www или наличие такого роботса при вышеперечисленных строчках в .htaccess излишне и яндекс и без роботса разберется по .htaccess, что сайт нужно индексировать без www?

K. Ermakov
На сайте с 10.12.2004
Offline
328
#1

При таком htaccess сайт с www просто не будет индексироваться, потому как его как бы и существовать не будет. В этом случае, как уже неоднократно говорилось, могут возникнуть проблемы со склейкой сайтов с www и без в яндексе.

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
FRaud
На сайте с 02.03.2006
Offline
123
#2
K. Ermakov:
При таком htaccess сайт с www просто не будет индексироваться, потому как его как бы и существовать не будет. В этом случае, как уже неоднократно говорилось, могут возникнуть проблемы со склейкой сайтов с www и без в яндексе.

А какие проблемы могут возникнуть?

Итальянская мебель для офиса (http://www.mebela.ru/). Офисные кресла (http://www.mebela.ru/catalog/) зарубежных производителей.
T
На сайте с 23.11.2005
Offline
298
#3

Да, мне тоже хочется узнать, что за проблемы возникнут? Все дело в том, что на сегодня яндекс видит этот сайт очень хорошо и только как сайт без www. Разве у яндекса на фоне присутствия таких строчек в .htaccess могут возникнуть глюки? Значит, не стоит убирать роботс? Я не могу отказаться от этих строчек в .htaccess, т.к. они прописывают на зеркале www именно мой реальный PR, который и сделан на сайте без www.

Думаю, что роботс тогда убирать не буду. Пусть яндекс видит напрямую :-) что от него требуется. Я же думал, что боты все-таки смогут проанализировать .htaccess нормально...

K. Ermakov
На сайте с 10.12.2004
Offline
328
#4
FRaud:
А какие проблемы могут возникнуть?
Thanx:
Да, мне тоже хочется узнать, что за проблемы возникнут?

Читайте форум. Я сам раза 2 или 3 об этом писал. Плюс, источник моих знаний тоже на форуме лежит :)

X
На сайте с 05.10.2005
Offline
140
#5

Я убрал из роботс.тхт Host: по причине того, что это все же только для яндекса. У меня тоже стоит безусловный редирект с site.ru на www.site.ru по 301. Яндекс

Если все же будет весомая ссылка site.ru без www, и, вдруг, Яндекс, взглюкнет, только тогда вижу смысл прописывать Host:.

В остальных случаях - нет.

Юр. услуги для ООО,ИП,СМИ,товарные знаки, Лицензии связи (хостинг,SMS), авторское право Оффшоры,merchant account,карты
T
На сайте с 23.11.2005
Offline
298
#6

Попробую убрать роботс. Я тоже не люблю избыточность.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий