Форум Сайтостроение Веб-строительство

Вопрос по robots.txt

SO
На сайте с 10.08.2009
Offline
82
silverman_oleg
527

Я хочу прикрыть от индексации страницы 1-999, будет ли достаточно написать:

User-agent: *

Disallow: /1

User-agent: *

Disallow: /2

User-agent: *

Disallow: /3

User-agent: Yandex

Disallow: /4

User-agent: *

Disallow: /5

User-agent: *

Disallow: /6

User-agent: *

Disallow: /7

User-agent: *

Disallow: /8

User-agent: *

Disallow: /9

Robin_Bad
На сайте с 24.12.2007
Offline
85
Robin_Bad
#1

Каждый раз повторять User-agent: * нет нужды. Сделайте вот так:

User-agent: *

Disallow: /1

Disallow: /2

Disallow: /3

и да, этого достаточно.

G1
На сайте с 06.08.2010
Offline
196
Gagarin12
#2
silverman_oleg:

User-agent: Yandex
Disallow: /4

В каких случаях вобще нужно скрывать страницу только от Яндекса? Т.е. другим поисковикам разрешать индексацию, а Яше запретить.

SO
На сайте с 10.08.2009
Offline
82
silverman_oleg
#3
Robin_Bad:
Каждый раз повторять User-agent: * нет нужды. Сделайте вот так:
User-agent: *
Disallow: /1
Disallow: /2
Disallow: /3

и да, этого достаточно.

а вообще нужны ещё какие-то строки в этом файле или таких хватит? задачу описал выше, других задач нет

V
На сайте с 13.09.2010
Offline
1
vasiatka
#4

Вообще есть замечательные мануалы (всего 4-5 страниц):

http://robotstxt.org.ru/

http://help.yandex.ru/webmaster/?id=996567

Все грамматические ошибки являются авторским стилем изложения материала® Математика (http://mathinfinity.net.ru) для всех | Разработка сайтов (http://a-develop.ru) и веб-программирование

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий