Форум Практика оптимизации Общие вопросы оптимизации

301 редирект и robots.txt

Neformat
На сайте с 25.04.2006
Offline
58
Neformat
6828

Есть мнение, что если в .htaccess просто прописать 2 строчки редиректа, то Яндекс может не видеть robots.txt, поэтому нужно прописывать что-то ещё, чтобы он остался для Яндекса виден. Вопрос - если просто прописать 

RewriteCond %{HTTP_HOST} ^www\.site\.ru

RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

, то robots.txt останется доступным для Яндекса?

И вообще, к слову, правильный ли это код редиректа для склейки сайта с "www" и без? (В robots.txt Host прописан, без "www".)

богоносец
На сайте с 30.01.2007
Offline
769
богоносец
#1
Neformat:
редиректа для склейки сайта с "www" и без?

http://help.yandex.ru/webmaster/?id=1108951

при условии, что новый домен не является неглавным зеркалом, вы можете установить перенаправление (серверный редирект 301) со старого домена на новый.
Neformat
На сайте с 25.04.2006
Offline
58
Neformat
#2
богоносец:
http://help.yandex.ru/webmaster/?id=1108951

Спасибо. Но в данном случае речь не идёт о переезде на новый домен. Просто надо, чтобы индексировались только страницы без "www".

Slavonic
На сайте с 08.05.2010
Offline
77
Slavonic
#3

Я думаю вам надо вот это

RewriteCond %{REQUEST_FILENAME} robots.txt$ [NC]
RewriteRule ^([^/]+) $1 [L]

RewriteCond %{HTTP_HOST} ^www.site\.com$ [NC]
RewriteRule ^(.*)$ http://site.com/$1 [R=301,L]

Яндекс получит свой роботс, а гугл свой 301 редирект.

В итоге мы склеиваем и тиц и pr.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий