Ombudsman

Рейтинг
9
Регистрация
01.04.2005
Cherny:
Не вопрос. Вот стандарт, в нем можно найти следующие фразы:

Выделение мое.

Благодарю! :)

Cherny:
User-agent: Aport

User-agent: Googlebot
User-agent: StackRambler
Disallow: /ua/link
Disallow: /ua/click

User-agent: *
Disallow: /

Спасибо! :)

Извиняюсь конешна, но не могли бы Вы указать источник информации, это не недоверие, поймите правильно, играться с редакцией данного файла - непозволительная роскошь, а попробовать как фурычит нет можливости, т.е. хочу "7 раз отмерить и раз отрезать" 🙄

Vetra:
Повторю вопрос Bomassа

Остаются все, кто выше записи User-agent: * <br>Disallow: / :)

Прошло полгода я так и не дождался ответа. 🙄

Попробую еще раз.

Есть такое

# robots.txt for …

User-agent: Aport
Disallow: /ua/link
Disallow: /ua/click

User-agent: Googlebot
Disallow: /ua/link
Disallow: /ua/click

User-agent: StackRambler
Disallow: /ua/link
Disallow: /ua/click

… еще 10 однотипных определений

User-agent: *
Disallow: /

Как правильно написать такое (в статье написано что можно, но каким способом или чем разделять, перечисляя?):

# robots.txt for …

User-agent: Aport, Googlebot, StackRambler, … еще 10 спайдеров
Disallow: /ua/link
Disallow: /ua/click

User-agent: *
Disallow: /

Вот статья, которая подвинула к такому вопросу

url статьи

User-Agent

если в записи указано более одного имени робота, то права доступа распространяются для всех указанных имен.
Как писал OLEGz
еще один умник нашелся
Disallow: /link

А чем те не понравилась директория Link, да я прячу линки, мне так проще считать переходы, что дальше?

Как писал tester999
1. Если даже и некоректно перечислены названия ботов, то это
User-agent: *
Disallow: /
закрывает все от всех.

Я так и не понял, корректно ли указывается перечисление Спайдеров? А что вам не нравится в последних двух строках, я читаю в целом так: идет перечисление спайдеров для которых есть исключения, все остальные нах, и в чем проблемма?

2. Правда настолько, насколько И.П. Васильева переименовали в Петровича. ;)
Как по вашему тогда понимать данную статью? http://help.yahoo.com/help/us/ysearch/slurp/slurp-01.html
1 234
Всего: 36