robots.txt и яша

vinic
На сайте с 06.05.2005
Offline
126
407

Есть несколько информационных сайтов на DLE, у всех стоит следующий robots.txt

User-agent: Yandex

Disallow: /favorites/

Disallow: /user/

Disallow: /?do=register

Disallow: /2009/

Disallow: /2010/

Disallow: /page/

Disallow: /engine/

Disallow: /*print:

Host: site.ru

User-agent: *

Disallow: /favorites/

Disallow: /user/

Disallow: /?do=register

Disallow: /2009/

Disallow: /2010/

Disallow: /page/

Disallow: /engine/

Disallow: /*print:

Host: site.ru

Специально для Яши написал User-agent (чтобы он "понял" что к нему обращаются), а он гад все равно домены с www за главные считает. Или я туплю или яша глючит как всегда.

Б
На сайте с 30.06.2008
Offline
200
#1

vinic, директива Host является рекомендацией для зеркальщика, но не руководством к действию. Это не баг, это фича. Возможно, есть жирные беки на адрес без www. Дождитесь склейки зеркал и поставьте 301-й редирект.

Будь мудрее. Выгляди глупее.
vinic
На сайте с 06.05.2005
Offline
126
#2

Вот именно что ссылок на домены с www нет

"Я.вебмастер" показывает ссылки на страницы домена без www

Б
На сайте с 30.06.2008
Offline
200
#3

vinic, 301-й стоит?

vinic
На сайте с 06.05.2005
Offline
126
#4
Беобахтер:
vinic, 301-й стоит?

нет не стоит

Б
На сайте с 30.06.2008
Offline
200
#5

vinic, и не ставьте, пока зеркальщик не придёт. А он нонеча редкий гость. Успеете ещё Платону написать...

Цахес
На сайте с 15.03.2007
Offline
205
#6
vinic:
а он гад все равно домены с www за главные считает.

Зеркальщик медленный тип. Ждите его визита.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
vinic
На сайте с 06.05.2005
Offline
126
#7

т.е. получается что зеркальшик еще не видел мой роботс, а "по умолчанию" яща домены главными считает с www? Просто пару лет назад, я запамятовал и забыл роботс выложить на одном домене. Так яша посчитал главным с www, хотя все ссылки шли на домен без www. Потом я выложил роботс, и через какое-то (продолжительное) время все встало как надо.

Б
На сайте с 30.06.2008
Offline
200
#8

vinic, по умолчанию домен с www - это поддомен третьего уровня, который не обязан быть идентичным домену второго уровня. Пару лет назад, видимо, Вас успели склеить, а потом Host в роботсе помог определить главное зеркало.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий