Форум Поисковые системы Яндекс

robots.txt для классического сайта html css?

12
Z
На сайте с 13.03.2009
Offline
81
zifanchuck
#11

IveRy? спс!

ViZa
На сайте с 20.10.2007
Offline
93
ViZa
#12

zifanchuck, можно и по короче:

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Host: www.site.ru (site.ru)

В директиве Host вы указываете главное зеркало сайта по которому продвигаете сайт. Либо с www, либо без www как в скобках.

Хороший трафик от 2.5 у.е. за 1000 уников здесь (http://ruclicks.com/?ref=ViZa) На колбаску я зарабатываю здесь (http://www.setlinks.ru/?pid=7171) Оценка - стоимости поискового продвижения (http://seobudget.ru/seo/de381081332dfb3ad140ca7ba5d71881/)
JD
На сайте с 08.12.2008
Offline
471
Jet D.
#13

ViZa, еще короче:

User-agent: *

Disallow:

Host: www.site.ru (site.ru)

Pakimon
На сайте с 03.09.2007
Offline
49
Pakimon
#14
Jet D.:
ViZa, еще короче:

User-agent: *
Disallow:
Host: www.site.ru (site.ru)

Неа :-)

Директиву Host корректной считает только Яндекс. Поэтому правильнее

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Host: www.site.ru (site.ru)

SAlex
На сайте с 27.07.2008
Offline
409
SAlex
#15
Pakimon:

Директиву Host корректной считает только Яндекс. Поэтому правильнее

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: www.site.ru (site.ru)

Только сначала для яндекса, потом общее для всех, потом (если нужно) для гугла.

User-agent: Yandex

Disallow:

Host: www.site.ru

User-agent: *

Disallow:

Pakimon
На сайте с 03.09.2007
Offline
49
Pakimon
#16

Да, конечно же. Копипастил -не обратил внимание..:-)

JD
На сайте с 08.12.2008
Offline
471
Jet D.
#17

Pakimon, в стандарте написано:

The file consists of one or more records separated by one or more blank lines...
...
The record starts with one or more User-agent lines, followed by one or more Disallow lines, as detailed below. Unrecognised headers are ignored.

Т.е. незнакомые headers игнорируются. Под headers здесь имеются ввиду директивы. И никак не записи (records).

Разработчики GoogleBot, вероятно трактовали headers как records (или просто перепутали), это привело к тому, что при обнаружении незнакомой директивы GoogleBot игнорировал всю запись. Но это было давно, и насколько мне известно, в настоящее время этой проблемы нет.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий