Проблемы с нагрузкой

Здравствуйте.

Стоит сделать это через robots.txt:

User-agent: Mail.Ru

Disallow: /

Host: вашдомен.ру



User-agent: Mail.Ru

Disallow: /

Host: www.вашдомен.ру

Скажите, а host надо писать несколько раз, для каждого робота (в этом случае для заркал с www и без - у меня host прописан на сайтах, см. robots.txt). Я например, ограничил робота Яндекс, надо ли ещё раз host писать или одного раза хватит?

User-agent: *

Disallow: /admin/

Disallow: /fckeditor/

Disallow: /sendmail/

Disallow: /services.html

Disallow: /add/select/cat/

Disallow: /add/select/region/

Disallow: /css/

Disallow: /js/

Disallow: /pay/

Disallow: /change_region/

Disallow: /region_changer/

Disallow: /users/

Disallow: /*users

Disallow: /cgi-bin/

Disallow: /billing/

Disallow: /commands/

Disallow: /includes/

Disallow: /locale/

Disallow: /smarty/

Disallow: /templates/

Disallow: /uploads/

Disallow: /profile

Disallow: /registration

Disallow: /*type=

Disallow: /*noimg=

Disallow: /*price=

Disallow: /*users=

Disallow: /*name=

Disallow: /*from=

Disallow: /*notepad

Disallow: /*redirect.php

Disallow: /*redirect

Crawl-delay: 4

User-agent: Yandex

Disallow: /admin/

Disallow: /fckeditor/

Disallow: /sendmail/

Disallow: /services.html

Disallow: /add/select/cat/

Disallow: /add/select/region/

Disallow: /css/

Disallow: /js/

Disallow: /pay/

Disallow: /change_region/

Disallow: /region_changer/

Disallow: /users/

Disallow: /*users

Disallow: /cgi-bin/

Disallow: /billing/

Disallow: /commands/

Disallow: /includes/

Disallow: /locale/

Disallow: /smarty/

Disallow: /templates/

Disallow: /uploads/

Disallow: /profile

Disallow: /registration

Disallow: /*type=

Disallow: /*noimg=

Disallow: /*price=

Disallow: /*users=

Disallow: /*name=

Disallow: /*from=

Disallow: /*notepad

Disallow: /*redirect.php

Disallow: /*redirect

Crawl-delay: 40

Host: site.ru

---------- Добавлено 15.08.2013 в 12:53 ----------

Запрет через robots.txt начнёт действовать недели через две?

Насколько я понимаю, вы хотите, чтобы все боты не видели этих ссылок, поэтому итоговый robots.txt должен выглядеть так:

User-agent: *

Disallow: /admin/

Disallow: /fckeditor/

Disallow: /sendmail/

Disallow: /services.html

Disallow: /add/select/cat/

Disallow: /add/select/region/

Disallow: /css/

Disallow: /js/

Disallow: /pay/

Disallow: /change_region/

Disallow: /region_changer/

Disallow: /users/

Disallow: /*users

Disallow: /cgi-bin/

Disallow: /billing/

Disallow: /commands/

Disallow: /includes/

Disallow: /locale/

Disallow: /smarty/

Disallow: /templates/

Disallow: /uploads/

Disallow: /profile

Disallow: /registration

Disallow: /*type=

Disallow: /*noimg=

Disallow: /*price=

Disallow: /*users=

Disallow: /*name=

Disallow: /*from=

Disallow: /*notepad

Disallow: /*redirect.php

Disallow: /*redirect

Crawl-delay: 40

Host: site.ru



User-agent: *

Disallow: /admin/

Disallow: /fckeditor/

Disallow: /sendmail/

Disallow: /services.html

Disallow: /add/select/cat/

Disallow: /add/select/region/

Disallow: /css/

Disallow: /js/

Disallow: /pay/

Disallow: /change_region/

Disallow: /region_changer/

Disallow: /users/

Disallow: /*users

Disallow: /cgi-bin/

Disallow: /billing/

Disallow: /commands/

Disallow: /includes/

Disallow: /locale/

Disallow: /smarty/

Disallow: /templates/

Disallow: /uploads/

Disallow: /profile

Disallow: /registration

Disallow: /*type=

Disallow: /*noimg=

Disallow: /*price=

Disallow: /*users=

Disallow: /*name=

Disallow: /*from=

Disallow: /*notepad

Disallow: /*redirect.php

Disallow: /*redirect

Crawl-delay: 40

Host: www.site.ru

Яндекс, насколько мне известно, проверяет robots.txt примерно раз в 24 часа. Mail.ru реже, примерно раз в неделю. [возможно можно пошаманить в панели управления вебмастера для мгновенной перепроверки]

Я же Host писал, в Robots.txt, чтобы склеить зеркала с www и без, добавил редирект 301 в htaccess, может надо 2 раза, например, с www написать, если гл. зеркало с www