Очевидный глюку с обработкой robots.txt

12
KA
На сайте с 25.09.2006
Offline
3
1322

Может я туплю, но всё-же...

Пишу специально для Яши в роботах:

User-Agent: *

Disallow:
Host: mat-mex.ru

Проверяю с помощью: http://www.yandex.ru/cgi-bin/test-robots

И получаю: :madd:

Запрещена индексация всех URL, начинающихся с указанных префиксов:

/
Индексация сервера mat-mex.spb.ru:80 запрещена полностью.

Ну чё за бред?

P.S. Я, естественно удалил robots.txt.

Старый файл лежит тут: http://mat-mex.spb.ru/old_robots.txt

Образовательная тематика тИЦ 400, PR 5 Порабощение мира
P5
На сайте с 31.05.2004
Offline
47
#1

А Disallow: вам там зачем ?

Дурвейчик (http://www.originality.ru)
SS
На сайте с 03.09.2004
Offline
141
#2
KoshAK:
Ну чё за бред?

Собственно говоря, а почему бред?

Все вполне корректно. Вы сказали, что главное зеркало mat-mex.ru, так почему пытаетесь скормить и заставить индекировать mat-mex.spb.ru?

Pro50:
А Disallow: вам там зачем ?
Это запрет к индексации, уберите.

Поскольку справа от двоеточия нет ничего, то она ничего не запрещает.

А как минимум один Disallow должен быть в файле robots.txt согласно стандарту.

«Клянусь своей жизнью и любовью к ней, что никогда не буду жить ради другого человека и никогда не попрошу и не заставлю другого человека жить ради меня» (с) Джон Галт
P5
На сайте с 31.05.2004
Offline
47
#3

Поскольку справа от двоеточия нет ничего, то она ничего не запрещает.

А как минимум один Disallow должен быть в файле robots.txt согласно стандарту.

Да и нехватает хотябы /

Утро, туплю :)

AVV
На сайте с 31.07.2006
Offline
84
AVV
#4

Все работает правильно.

Основное зеркало указано mat-mex.ru

а индексация зеркала mat-mex.spb.ru соответственно запрещена полностью.

Если нужно наоборот, то напишите


User-Agent: *
Disallow:
Host: mat-mex.spb.ru
KA
На сайте с 25.09.2006
Offline
3
#5

Так я же не пытаюсь запретить его к индексации. Я пытаюсь сказать: "Яша, смотри, там зеркало! Фас!"

Если он воспринимает такую штуку как запрет индексации, а сайты ещё не склеил, то не будет-ли большого облома? С потерей всех бонусов 1-го сайта?

KA
На сайте с 25.09.2006
Offline
3
#6
AVV:
Все работает правильно.
Основное зеркало указано mat-mex.ru
а индексация зеркала mat-mex.spb.ru соответственно запрещена полностью.

Это получается аналог того, что я прописал бы в .htaccess

RewriteEngine On

RewriteBase /
RewriteCond %{HTTP_HOST} !^www.mainsite.ru$
RewriteRule ^ http://www.mainsite.ru/%{REQUEST_URI} [R=301,L]

Но я читал, что такое можно делать ТОЛЬКО ПОСЛЕ СКЛЕЙКИ, лишь для выбора главного зеркала. Или я не прав?

AVV
На сайте с 31.07.2006
Offline
84
AVV
#7
KoshAK:
Но я читал, что такое можно делать ТОЛЬКО ПОСЛЕ СКЛЕЙКИ, лишь для выбора главного зеркала. Или я не прав?

Склеить с помощью mod_rewrite можно сразу и без проблем.


RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} ^www.mainsite.ru [NC]
RewriteRule ^(.+) http://mat-mex.spb.ru/$1 [R=301,L]

или так:


RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} ^mat-mex.spb.ru [NC]
RewriteRule ^(.+) http://www.mainsite.ru/$1 [R=301,L]

в зависимости от того, на каком из зеркал находится этот .htaccess и какое из зеркал выбрано главным.

P.S. Директива Host указывает Яндексу основное зеркало, соответственно - запрещает к индексации другое.

KA
На сайте с 25.09.2006
Offline
3
#8
AVV:
Склеить с помощью mod_rewrite можно сразу и без проблем.

Извиняюсь, что переспрашиваю.

Я правильно понял, что если на неосновном зеркале прописать такую ботву в .htaccess, то Яндекс именно склеит сайты (передаст новому все бонусы старого), а не тупо перестанет индексировать старый, проиндексирует новый и станет его оценивать с нуля?

Это 100пудово годится для указания какое зеркало основное.

Кто-нибудь уже так делал именно для склейки, а не для выбора основного зеркала?

AVV
На сайте с 31.07.2006
Offline
84
AVV
#9

Склеит 100%.

Для этого и делается редирект 301


301 - Moved Permanently. Ресурс перемещен на постоянной основе.
KA
На сайте с 25.09.2006
Offline
3
#10

Спасибо, сейчас попробуем =)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий