robots.txt (host: site) не исполняется

12
[Удален]
#11
BigBrother:
Два резона из нескольких приведу:
1) Сайт, на который указывает хост - полный редирект на другой сайт
2) Сайт, на который указывает хост - мертв.

Есть логика?

Чтобы я вас правильно понял:

1) На сайте www.aaa.ru в дир. host: www.bbb.ru, а сайт www.bbb.ru делает редирект на www.ccc.ru, верно я понял? 🙄

2) На сайте www.aaa.ru в дир. host: www.bbb.ru, а www.bbb.ru отдает 404.

Ну, в этих случаях, конечно, директиву исполнять не нужно :)

BigBrother
На сайте с 16.06.2006
Offline
96
#12
XTR:
Чтобы я вас правильно понял:
1) На сайте www.aaa.ru в дир. host: www.bbb.ru, а сайт www.bbb.ru делает редирект на www.ccc.ru, верно я понял? 🙄

2) На сайте www.aaa.ru в дир. host: www.bbb.ru, а www.bbb.ru отдает 404.

Ну, в этих случаях, конечно, директиву исполнять не нужно :)

1) Чаще на aaa бывает :-)

2) Или просто не резолвится по DNS или не отвечает.

А так все верно.

So many kings, but few jokers!
[Удален]
#13
BigBrother:
1) Чаще на aaa бывает :-)
2) Или просто не резолвится по DNS или не отвечает.

А так все верно.

Ну, тогда все понятно 🚬

Спасибо за пояснение.

upyrj
На сайте с 17.09.2005
Offline
140
#14

Xover, у вас Дизаллоу написан? Есть мнение, что без Дизаллоу не работает.

Хотя на самом деле, я бы не советовал никому без особой нужды баловаться с переклейкой зеркал. Раз уж Яндекс скушал без www, то пусть так и остается. Иначе можно огрести много лишнего геморроя.

Денис Иванов Важно: обменом валют я не занимаюсь.
Xover
На сайте с 22.05.2006
Offline
101
#15

да написан.

Я не переклеивал, а на новом сайте изначально поставил.

Сейчас робот уже нормально запрашивает(вроде).

Просто если поменять запись Host: то робот вообще может запутаться.

Покупаю внутренние PR4 на sape.ru (http://www.sape.ru/r.f3cfb23480.php)
C
На сайте с 20.11.2006
Offline
11
#16
BigBrother:
Два резона из нескольких приведу:
2) Сайт, на который указывает хост - мертв.

Подскажите определение мертвости сайта?

C
На сайте с 20.11.2006
Offline
11
#17

У меня два ресурса, на доменах второго уровня. Они зеркала. Хост прописан. В январе зеркала поменяль местами, основное стало не основным. Почему. Скоро месяц как обещали ответить, ответа нет.

finny
На сайте с 22.02.2007
Offline
19
#18

У моего сайта 3 зеркала.

Где то в середине февраля Яша их все почему то расклеил и все никак не склеит. Причем с каждым апом у зеркал появляется все больше проиндексированных страниц.

Писала Платону, он ответил как обычно - ждите зеркальщика, возможно зеркальщик не может добраться до ваших сайтов.

Но дело в том, что физически это один сайт, просто на него ссылаются 4 домена.

И в чем причина расклейки я так и не поняла...

MaxiK
На сайте с 20.06.2005
Offline
223
#19

По поводу директивы хост, вот такой комментарий:

Host не должна быть отделена от блока указаний роботам пустой строкой

Правильный роботс такой:


User-agent: *
Disallow: /sex.php
Host: www.site.ru

а не

User-agent: *
Disallow: /sex.php

Host: www.site.ru
Логистика из Китая. Полный цикл. UA.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий