Форум Сайтостроение Веб-строительство

Создание robots.txt

B
На сайте с 31.01.2010
Offline
62
Barsam
531

Добрый день, сайту 5 лет, а robots.txt нет. Сейас столкнулся с необходимостью создать, да бы склеить сайт с www.site.ru и site.ru, причем чтобы www.site.ru было было бы главным доменом и всё вело бы на него, яндекс сейчас так и видит. Делаю это для того, чтобы ссылочное склеить.

1)Подскажите пожалуйста, что писать в robots.txt ?, незнаю совершенно, искал на форуме, но все очень размыто и очень много мнений.

2)как я понимаю для Яши нужно клеить в robots.txt, а в htaccess нужно что-то паралельно прописывать или нет?

Запрещать ничего не хочу, главное склеить и сделать главным сайт с www.

MyOST
На сайте с 22.01.2006
Offline
559
MyOST
#1

Barsam, чтобы реально склеить - нужен 301 редирект вида 

RewriteEngine on

RewriteCond %{HTTP_HOST} ^site.ru

RewriteRule (.*) http://www.site.ru/$1 [R=301,L]

тогда www.site.ru - будет главным

а в robots стоит прописать 

User-agent: *

Disallow: 

Host: www.site.ru

ну дисалоу уже используйте либо в пустом виде, либо пишите что там запретить (по любому есть что)

Блог (http://seom.info/) | Ты уже SEO профессионал? (http://www.key-collector.ru/) Развиваем семантику более 8 лет! ()
B
На сайте с 31.01.2010
Offline
62
Barsam
#2

Спасибо за ответ, получается, первый блок в htaccess прописываю, а второй создаю robots.txt и прописываю второй блок и всё.

А сколько ждать чтоб яша склеил? или как проверить что уже склеено?

[Удален]
#3 

Host: www.site.ru

UPD: сорри. я думал, что MyOST только про htaccess сказал. В сущности для поисковиков нужен только robots.txt, а редирект в апачевском htaccess для пользователей только.

B
На сайте с 31.01.2010
Offline
62
Barsam
#4

Спасибо, всё везде прописал, а как понять когда склеит? Я как понимаю ссылочное тоже должно склеить? верно?

MyOST
На сайте с 22.01.2006
Offline
559
MyOST
#5
So1:
В сущности для поисковиков нужен только robots.txt, а редирект в апачевском htaccess для пользователей только.

не совсем, чисто с хостом - у моря погоды ждать долго, с 301 - один максимум 2 апдейта зеркальщика, так что лучше и то и другое

B
На сайте с 31.01.2010
Offline
62
Barsam
#6
MyOST:
так что лучше и то и другое

так и сделал, ребят подскажите, а как потом понять-то, что склеено?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий