User-Agent: *Disallow: / - когда сработает?

12
Astaldo
На сайте с 28.01.2006
Offline
174
1903

Есть основной сайт, есть зеркало. Я не индексирует зеркало, мол нефег нам серпы заспамлять.

/странно, что они оба в каталоге присутствуют/

Надо поменять местами. что бы в серпах был второй, а парвый канул в лету, но только, просто, удалять его нельзя пока.

Положил в роботс.тхт первого сайта.

User-Agent: *

Disallow: /

Всё я правильно понял/сделал?

Когда он пропадёт из Я и можно будет добавить на индексацию второй?

Можно это как-то ускориь процесс?

спасибо

Live as if you were to die tomorrow. Learn as if you were to live forever. Mahatma Gandhi
Vetra
На сайте с 07.04.2005
Offline
200
#1

Astaldo, не стоит так делать. Вы наступили на мои грабли :) От

User-Agent: *

Disallow: /

Яндекс (по крайней мере) может выкинуть оба зеркала из индекса. Ну, он зайдет на главное, увидит, что индексировать нельзя, и выкинет... (Только вот непонятно, почему он другое зеркало выкидывает, но факт остается фактом)

Вместо этого напишите в роботсах:

User-Agent: *

Host: www.главное_зеркало(какое вам надо).ru

Ускорить процесс, насколько мне известно, нельзя.

Astaldo
На сайте с 28.01.2006
Offline
174
#2

Vetra, а Disallow: / в закрываемом сайте убрать?

Vetra
На сайте с 07.04.2005
Offline
200
#3

Astaldo, да :)

Astaldo
На сайте с 28.01.2006
Offline
174
#4

Vetra, в жж говорят наоборот дописать после хост:...

http://community.livejournal.com/ru_seo/228602.html

вот...

User-Agent: *

Host: www.сайт2.com (тот что должен вылезкти)

Disallow: /

м?

K
На сайте с 31.01.2001
Offline
737
#5

Не надо использовать ЖЖ, как справочник.

Смотрите тут: http://web.archive.org/web/20041124015459/http://www.yandex.ru/info/webmaster2.html

P.S. То, что убрали старый FAQ на Яндексе, настораживает.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Vetra
На сайте с 07.04.2005
Offline
200
#6

Хмм.. ну, я бы не стала пока закрывать от индексации главное зеркало.. Пусть он сначала он паравильно переклеет. А то будете, как я сидеть и ждать, когда он переиндексируется, потом переклеется.. Черт знает, что творится в голове у этих роботов-индексаторов? :)

Кстати, почитайте соседнюю тему: /ru/forum/43622

K. Ermakov
На сайте с 10.12.2004
Offline
328
#7
Vetra:
Вместо этого напишите в роботсах:
User-Agent: *
Host:

Насколько я помню, Disallow стоит в любом случае писать, чтобы не нарушать стандарты. Сейчас лениво искать документацию, желающие смогут уточнить, прав я или нет, самостоятельно :)

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
Astaldo
На сайте с 28.01.2006
Offline
174
#8

K. Ermakov, документацию? стандарты?

Vetra
На сайте с 07.04.2005
Offline
200
#9

Astaldo, ага :) вот - http://www.robotstxt.org/wc/exclusion-admin.html

K. Ermakov, да я как-то в роботсах не шипко разбираюсь, просто не хотелось, что бы человек наступил на те же грабли :)

K. Ermakov
На сайте с 10.12.2004
Offline
328
#10
Vetra:
просто не хотелось, что бы человек наступил на те же грабли

Так я ж ничего ж против не имею :) Наоборот - очень даже за :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий