Как правильно писать robots.txt

I
На сайте с 21.08.2009
Offline
33
691

Скажите пожалуйста, правильно ли написан на моем сайте robots.txt

<?

header("Content-Type: text/plain; charset=windows-1251");

if($_SERVER["HTTP_HOST"]=="www.a-practic.ru"){?>User-agent: *

Disallow: /?

Disallow: /ru/clients/

Disallow: /ru/services/sms/order/

Disallow: /forum/

Host: www.a-practic.ru<?}else{?>User-agent: *

Disallow: /<?}?>

если да, то что это за скрипты и зачем они нужны?

akaBlacK
На сайте с 02.07.2008
Offline
26
#1
iljatka:
Скажите пожалуйста, правильно ли написан на моем сайте robots.txt

<?
header("Content-Type: text/plain; charset=windows-1251");
if($_SERVER["HTTP_HOST"]=="www.a-practic.ru"){?>User-agent: *
Disallow: /?
Disallow: /ru/clients/
Disallow: /ru/services/sms/order/
Disallow: /forum/
Host: www.a-practic.ru<?}else{?>User-agent: *
Disallow: /<?}?>

если да, то что это за скрипты и зачем они нужны?

Скрипты в самом файле .txt как раз и не нужны...

Тут у вас примерно прописано следующее(по мимо того, что с начало вы указываете кодировку):

Сравнить имя сервера с вашим адресом, при совпадении запретить доступ всем работам к некоторым подкаталогам и указать в качестве основного зеркала "www.a-practic.ru", если не совпало то полный запрет индексации опять же всем...

Я не могу понять ход ваших мыслей, вы чего с помощью такого расклада добиться хотели?

Рассчитать бюджет на продвижение сайта? Легко! (http://seobudget.ru/seo/1a76f3ea65c8ad9268332af5ea68125a/)
I
На сайте с 21.08.2009
Offline
33
#2

В том то и дело что это не я писал, я вообще не знал что в роботс.тхт можно скрипты какие то размещать, нигде вообще не нашел об этом инфу, akaBlacK - спасибо огромное за ответ - вы мне очень помогли, если не трудно, скажите где можно прочитать про такие скрипты в роботс.тхт, и вообще имеют ли они смысл?

RI
На сайте с 07.06.2006
Offline
65
#3

Этот робот имеет только один смысл:

за основной хост выбирается www a-practic.ru, а не основной хост (a-practic.ru) запрещается к индексации.

Это имеет значение для поисковых систем которые игнорируют диррективу Host (например для Google).

Советую отказаться от такого способа склеивания сайта. Проще просто прописать:

User-agent: *

Disallow: /?

Disallow: /ru/clients/

Disallow: /ru/services/sms/order/

Disallow: /forum/

Host: www.a-practic.ru

akaBlacK
На сайте с 02.07.2008
Offline
26
#4
iljatka:
если не трудно, скажите где можно прочитать про такие скрипты в роботс.тхт, и вообще имеют ли они смысл?

В смысле в общем о robots.txt прочитать? Тогда тут

iren K
На сайте с 28.12.2008
Offline
222
#5
iljatka:
Скажите пожалуйста, правильно ли написан на моем сайте robots.txt

<?
header("Content-Type: text/plain; charset=windows-1251");
if($_SERVER["HTTP_HOST"]=="www.a-practic.ru"){?>User-agent: *
Disallow: /?
Disallow: /ru/clients/
Disallow: /ru/services/sms/order/
Disallow: /forum/
Host: www.a-practic.ru<?}else{?>User-agent: *
Disallow: /<?}?>

если да, то что это за скрипты и зачем они нужны?

пример robots.txt для Вас:

User-Agent: *

Disallow: /ru/

Disallow: /forum/

Sitemap: http://www.a-practic.ru/sitemap.xml

Host: www.a-practic.ru

User-agent: Yandex

Disallow: /ru/

Disallow: /forum/

Sitemap: http://www.a-practic.ru/sitemap.xml

Host: www.a-practic.ru

также вписала строку для sitemap.xml - настоятельно рекомендую создать sitemap.xml и прописать

c уважением Iren
I
На сайте с 21.08.2009
Offline
33
#6

нет об общем не надо. нужно узнать, правильно ли составлен этот роботс тхт, и если да, то где почитать об этих скриптах, я просто первый раз со скриптом в роботс.тхт столкнулся

Delarante
На сайте с 13.07.2008
Offline
69
#7
iren K:
пример robots.txt для Вас:

User-Agent: *
Disallow: /ru/
Disallow: /forum/
Sitemap: http://www.a-practic.ru/sitemap.xml
Host: www.a-practic.ru

User-agent: Yandex
Disallow: /ru/
Disallow: /forum/
Sitemap: http://www.a-practic.ru/sitemap.xml
Host: www.a-practic.ru

также вписала строку для sitemap.xml - настоятельно рекомендую создать sitemap.xml и прописать

Зачем нужен Host в первом блоке? Кроме Яши кому он нужен?

И зачем нужен Sitemap в блоке Яши, если он есть в первом универсальном? Яндекс его прекрасно оттуда читает...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий