Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt - как правильно!

1 23
A7
На сайте с 15.07.2007
Offline
161
acid777
#21

Может тогда так правильно будет -

User-agent: Yandex

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

User-agent: Googlebot

Sitemap: http://site.ru/sitemap.xml

User-agent: *

Disallow: /go/

Disallow: /stat.html

Sitemap: http://site.ru/sitemap.xml

При этом папку "go" и файл "stat.html" закроет яндекс и гугль?

piligrimm
На сайте с 30.07.2010
Offline
74
piligrimm
#22
При этом папку "go" и файл "stat.html" закроет яндекс и гугль?

нет, не закроет. вы для них отдельно прописали блок.

Возьму новые сайты на аутсорсинг в GGL и прочих биржах. Подробности в теме "ваш менеджер в GoGetLinks (/ru/forum/679141)"! Выполняем заявки от Wizard.Sape.
K
На сайте с 31.01.2001
Offline
737
Kost
#23
piligrimm:
можешь почитать это

Мало ли, что на заборе написано. Это не аргумент.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
piligrimm
На сайте с 30.07.2010
Offline
74
piligrimm
#24
Мало ли, что на заборе написано. Это не аргумент

мммммм ну как бы не в качестве аргумента ссылка давалась. просто для ознакомления.

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий