Про зеркала и robots.txt

123
kimberlit
На сайте с 13.03.2007
Offline
370
#11

Нет, неправильно.

В 301-ом местами домены поменяйте. Сейчас у вас там с без www на с www идёт редирект. А в роботсе без www главный указан.

kimberlit
На сайте с 13.03.2007
Offline
370
#12

И robots.txt лучше так сделать:


User-Agent: Yandex
Disallow:
Host: yoursite.com

User-Agent: *
Disallow:
Exayder
На сайте с 25.06.2007
Offline
23
#13
kimberlit:
И robots.txt лучше так сделать:
User-Agent: Yandex
Disallow:
Host: yoursite.com

User-Agent: *
Disallow:

Пожалуйста, обьясните почему лучше так сделать.

Информационный портал о рекламе (http://peklamka.com/) | Всё о КПК, FAQ, история (http://propda.net/)
kimberlit
На сайте с 13.03.2007
Offline
370
#14

Host - это директива исключительно Яндекса.

Зачем напрягать других ботов непонятными для них директивами?

С той же целью секция Яндекса стоит в файле первой.

6666
На сайте с 10.01.2005
Offline
505
#15
Exayder:
поиском пользовался, читал долго и вдумчиво

1. Нифига Вы не пользовались.

Exayder:
Возникла такая проблема

А в чем проблема? Каким образом Вам мешает наличие (отсутствие) буковок в выдаче?

Каждое мое сообщение проверила и одобрила Елена Летучая. (c) Для меня очень важно все что Вы говорите! (http://surrealism.ru/123.mp3) .
Exayder
На сайте с 25.06.2007
Offline
23
#16

Спасибо, понял.

А вот по поводу .htaccess, на предыдущей страице, parovozov предлагал сделать именно так:

RewriteEngine on

RewriteCond %{HTTP_HOST} ˆyoursite.com
RewriteRule ˆ(.∗)$ http://www.yoursite.com/$1 [R=301,L]

Вот теперь не знаю кого слушать:)

Exayder
На сайте с 25.06.2007
Offline
23
#17

6666, почему Вы в таком грубом тоне со мной разговариваете?

А в чем проблема? Каким образом Вам мешает наличие (отсутствие) буковок в выдаче?

я раньше писал, что всегда ставлю ссылки на сайт без www, и предположил, что страницы без www, будут релевантнее, чем страницы с www.

kimberlit
На сайте с 13.03.2007
Offline
370
#18
Exayder:
Вот теперь не знаю кого слушать

У него идёт редирект с без www на с www.

SZ
На сайте с 17.08.2005
Offline
63
#19

Exayder, вам написали, какой надо делать роботс

User-Agent: Yandex
Disallow:
Host: yoursite.com

User-Agent: *
Disallow:

И написали какой надо редирект

rewritecond %{HTTP_HOST} !^site.ru [NC]
rewriterule ^(.*)$ http://site.ru/$1 [L,R=301]

Просто сделайте так, и не городите идей, правильнее не найдете. Только вот фишка так может лечь, что страницы с www из поиска удалятся из-за редиректа, а зеркало ещё не переклеится, так что не удивляйтесь выпадению сайта.

Ну или как вариант, сделайте сперва роботс, а когда переклеится (через неделю? месяц? год?) уже ставьте редирект.

Exayder
На сайте с 25.06.2007
Offline
23
#20

SergoZD, Вот что я на яндексе нашёл:

Для того, чтобы индексировалось выбранное вами зеркало, достаточно запретить индексацию всех остальных зеркал при помощи robots.txt. Это можно сделать, используя нестандартное расширение robots.txt - директиву Host, в качестве ее параметра указав имя основного зеркала. Если www.glavnoye-zerkalo.ru - основное зеркало, то robots.txt должен выглядеть примерно так:
User-Agent: *
Disallow: /forum
Disallow: /cgi-bin
Host: www.glavnoye-zerkalo.ru

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Host необходимо добавлять в группе, начинающейся с записи User-Agent, непосредственно после записей Disallow.

и как это понять?

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий