Пару вопросов по robots.txt

12
O
На сайте с 01.04.2005
Offline
9
903

Предвкушая ответы в день 1 апреля, всех проздравляю с праздником смеха, прошу в этом топике не флудить и если вы в состоянии сегодня ответить серьезно на два вопроса:

1. На сколько корректно перечислены Спайдеры в данном примере файла robots.txt

# robots.txt for _http://…

User-agent: Aport, BigmirSpider, Googlebot, Meta, MSNBot, Search.com.ua, StackRambler, Uaportal, Uasearch.kiev.ua, YahooBot, Yandex

Disallow: /link

Disallow: /click

User-agent: *

Disallow: /

2. Правда ли, что Bot Yahoo переименовали в Slurp

tester999
На сайте с 21.10.2004
Offline
149
#1

1. Если даже и некоректно перечислены названия ботов, то это

User-agent: *

Disallow: /

закрывает все от всех.

2. Правда настолько, насколько И.П. Васильева переименовали в Петровича.

;)

O
На сайте с 17.11.2004
Offline
60
#2

еще один умник нашелся

Disallow: /link

C
На сайте с 19.09.2001
Offline
120
#3

1. Неправильно

2. А был когда-то такой YahooBot?

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
B
На сайте с 07.10.2004
Offline
114
#4

Ombudsman, а кого же вы оставить-то хотите?

Бородин Антон. 411-22-05, icq 199228260, bomass [at] ya.ru Домен .ru за 6,3$ (http://webst.ru/?id=146)
O
На сайте с 01.04.2005
Offline
9
#5
Как писал tester999
1. Если даже и некоректно перечислены названия ботов, то это
User-agent: *
Disallow: /
закрывает все от всех.

Я так и не понял, корректно ли указывается перечисление Спайдеров? А что вам не нравится в последних двух строках, я читаю в целом так: идет перечисление спайдеров для которых есть исключения, все остальные нах, и в чем проблемма?

2. Правда настолько, насколько И.П. Васильева переименовали в Петровича. ;)
Как по вашему тогда понимать данную статью? http://help.yahoo.com/help/us/ysearch/slurp/slurp-01.html
O
На сайте с 01.04.2005
Offline
9
#6
Как писал OLEGz
еще один умник нашелся
Disallow: /link

А чем те не понравилась директория Link, да я прячу линки, мне так проще считать переходы, что дальше?

6666
На сайте с 10.01.2005
Offline
505
#7
Как писал OLEGz
еще один умник нашелся
Disallow: /link

Это не по данному поводу - а вообще и вцелом Вопрос для Знатоков -- я себе позволил провести небольшое исследование - и примерно из 20 сайтов прячущих линки роботсом, ноиндексом итд - так у них у всех ПР страниц линкс=0. Но "утечка" пр перекрыта намертво. Не говоря о том, что ПР то не снижается, а снижается вес ссылки. А если страница имеет много линков - то ПР с нее по-любому невелик. Вообще - высказывались уже по этому поводу - скажите , наконец авторитетно, в каких конкретных случаях РЕАЛЬНО стоит пытаться (и корректно по отношению к тем кто тоже ставил на тебя ссылку!?) не индексировать внешние линки???? :(

ПС.Не говоря о том, что если страница линкс.хтмл не проиндексируется, то в плане пр от нее толку НЕ МОЖЕТ быть как такового - или я опять ничего не понял???

Каждое мое сообщение проверила и одобрила Елена Летучая. (c) Для меня очень важно все что Вы говорите! (http://surrealism.ru/123.mp3) .
O
На сайте с 01.04.2005
Offline
9
#8

Прошло полгода я так и не дождался ответа. 🙄

Попробую еще раз.

Есть такое

# robots.txt for …

User-agent: Aport
Disallow: /ua/link
Disallow: /ua/click

User-agent: Googlebot
Disallow: /ua/link
Disallow: /ua/click

User-agent: StackRambler
Disallow: /ua/link
Disallow: /ua/click

… еще 10 однотипных определений

User-agent: *
Disallow: /

Как правильно написать такое (в статье написано что можно, но каким способом или чем разделять, перечисляя?):

# robots.txt for …

User-agent: Aport, Googlebot, StackRambler, … еще 10 спайдеров
Disallow: /ua/link
Disallow: /ua/click

User-agent: *
Disallow: /

Вот статья, которая подвинула к такому вопросу

url статьи

User-Agent

если в записи указано более одного имени робота, то права доступа распространяются для всех указанных имен.
Vetra
На сайте с 07.04.2005
Offline
200
#9
идет перечисление спайдеров для которых есть исключения, все остальные нах, и в чем проблемма?

Повторю вопрос Bomassа

Ombudsman, а кого же вы оставить-то хотите?
C
На сайте с 19.09.2001
Offline
120
#10

User-agent: Aport

User-agent: Googlebot
User-agent: StackRambler
Disallow: /ua/link
Disallow: /ua/click

User-agent: *
Disallow: /
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий